MARS8モデルファミリー:技術仕様とベンチマーク結果

はじめに

本日、私たちは初の本格的なテキスト読み上げ(TTS)モデルファミリーであるMARS8を発表します。エンターテインメント、スポーツ放送、AIエージェントにわたる実環境での展開を通じて、私たちは根本的な教訓を学びました。それは、単一のTTSモデルがあらゆるユースケースで卓越することはできない、ということです。異なる領域では、表現力、レイテンシ、制御性、堅牢性の間で異なるトレードオフが求められます。

私たちの歩みは、ライブスポーツ実況に求められるレベルの高強度なプロソディを扱える初のTTSシステムであるMARS5から始まりました。MARS5は英語でオープンソース化され、瞬く間にHugging Faceで第3位に上昇し、GeminiやLlamaといったモデルのすぐ下に位置しました。その後、MARS6とMARS7で拡張し、これらはそれぞれAWS BedrockとGoogle Model Gardenに採用された初のTTSモデルとなりました。

本ドキュメントでは、MARS8の機能を紹介し、ファミリー内の各モデルを概説するとともに、詳細な技術的・学術的ベンチマーク評価を共有します。私たちは、Cartesia Sonic-3、ElevenLabs Multilingual v2/v3、Minimax Speech-2.6-HDを含む業界の主要なTTSシステムと、MARS8-ProおよびMARS8-Flashを直接比較評価しました。すべての評価とデータセットは完全にオープンソースであり、私たちのベンチマークが透明性を持ち、より広い研究者・開発者コミュニティによって再現可能であることを保証します。

MARS8の何が違うのか

ほとんどのTTSベンチマークは、スタジオ環境で録音された長くクリーンな参照音声という理想的な条件下でモデルを評価します。しかし、実環境のアプリケーションでそのような好条件が得られることはめったにありません。ユーザーが提供するのは、多くの場合スマートフォンで録音された、背景ノイズや自然な表現を含む短いクリップです。私たちはMARS8を、他のモデルが苦戦するまさにその領域で卓越するように設計しました。その決定的な能力は、限られたデータからの卓越した性能です。わずか2秒という短い音声でも、MARS8は極めて一貫した話者アイデンティティと性能を維持します。これは競合システムでは通常、10〜30秒のクリーンな音声を必要とするものです。

MAMBA:TTSベンチマークにおける「Kobe Bryant」

これらの主張を検証するために、私たちはMAMBAベンチマークを開発しました。これは、理想化されたスタジオ環境ではなく、最も要求の厳しい実環境条件を反映するように設計された厳格なストレステストです。3つの重要な設計上の決定により、このデータセットは特に難易度の高いものとなっています。サンプルの70%が言語をまたぐ音声クローニングを必要とすること、参照音声の平均長がわずか2.3秒であること、そして参照音声が中立的な朗読ではなく自然な表現を含んでいることです。私たちはMAMBAをオープンソースとして公開し、より広いコミュニティが独立して私たちの結果を再現・検証できるようにしています。

結果

音声品質に関して、MARS8はContent Enjoymentで首位に立ち、Production Qualityでは最高性能のモデルに肩を並べます。MARS8-Flashは5.67%の文字誤り率を達成し、多言語テストセット全体にわたって高い発音精度を示しています。話者類似度では——MARS8が真価を発揮する領域です——MARS8-Proが両指標で最高スコアを達成しています。wavlm-base-svのコサイン類似度で0.87、CAM++で0.71です。CAM++の0.71というスコアは、次点の競合を38%上回り、ElevenLabs Multilingual v2のスコアの2倍以上に相当します。これらはすべて、平均参照長わずか2.3秒で達成されたものです。

MARS8ファミリー

• MARS-Flash(600M):超低レイテンシで、TTFBは最短100ミリ秒。エージェント型の会話向け——コールセンターやライブ会話エージェント。
• MARS-Pro(600M):速度と忠実度のバランスに優れ、TTFBは800ミリ秒〜2秒。表現力豊かなダビング、オーディオブック、デジタルメディア向け。
• MARS-Instruct(1.2B):ハイエンドのテレビ・映画制作向けの監督レベルの感情制御を備え、話者とプロソディを個別に調整可能。
• MARS-Nano(50M):オンデバイスアプリケーション向けに非常に高効率で、TTFBは最短50ミリ秒。Broadcomなどのパートナーとともに展開。

MARS8-Flash、MARS8-Pro、MARS8-Instructは複数の言語で提供され、それらを合わせると世界の話者人口の99%をカバーします。PremiumおよびStandardのサポート階層は、(出力品質ではなく)データ規模を反映したものです。これに加えて、CAMBはロングテールとして最大150言語をサポートします。