ライブスポーツ配信向け最小レイテンシーTTS：200ミリ秒未満の構成を比較

実況者がラストシークの得点を伝えます。観客が沸き立ちます。そして、ヒンディー語、スペイン語、フランス語の吹き替え音声は、2秒遅れてではなく、まさに同じ瞬間に届かなければなりません。ライブスポーツ放送にとって、テキスト読み上げのレイテンシーは、リアルに感じられる放送と壊れて感じられる放送との分かれ目です。

最初のバイトまでの時間（TTFB）が200ミリ秒未満であることが、ライブスポーツTTSの最低ラインです。それを超えると、画面上のアクションとそれを描写する音声との間に、はっきりと分かるずれが生じます。ファンは気づきます。放送局は信頼を失います。そして多言語ストリーム全体が崩壊します。

なぜ200ミリ秒未満のTTFBがライブスポーツ放送にとって重要なのか

TTFBは、TTSシステムがテキスト入力を受け取ってから最初の音声チャンクを返すまでの速さを測定します。人間の会話では、250ミリ秒を超える遅延は不自然に感じられます。一瞬のプレーを実況が追うライブスポーツでは、許容範囲はさらに厳しくなります。

TTS構成がライブスポーツに対応できるかどうかは、2つの指標で決まります。

• TTFB（最初のバイトまでの時間）：テキスト入力から最初の音声出力までの速さ。ライブ実況では、デモだけでなく常に200ミリ秒未満が必要です。
• リアルタイムファクター（RTF）：モデルが再生速度に対してどれだけ速く音声を生成するか。RTF 0.3は、音声が再生されるより3.3倍速く生成されることを意味し、ネットワークのジッターや処理の遅延に対する余裕を残します。

3つ目の要素も同じくらい重要です。それは同時実行数です。1回のリクエストでは100ミリ秒のTTFBを達成するが、20の言語ストリームを同時に処理すると性能が低下するTTS APIは、本番のスポーツ放送には対応できていません。

ライブスポーツTTSは標準的なテキスト読み上げとどう違うのか

標準的なTTSは、予測可能で事前に書かれたテキストを扱います。eラーニングモジュールのナレーションやポッドキャストのイントロは、時間的なプレッシャーのないクリーンなパイプラインを通ります。ライブスポーツの吹き替えは、まったく異なる制約のもとで動作します。

予測不能な入力の長さ

実況は、2語の反応（「Goal scored.」）と30秒のナラティブなシーケンスの間を行き来します。TTSモデルは、レイテンシーのスパイクなしにその両方を処理しなければなりません。

複数話者のストリーム

一般的なスポーツ放送には2〜3人の実況者がいます。吹き替え出力が元の話者と一致するよう、各声には独立した音声クローンと話者ダイアライゼーションが必要です。

同時並行の言語出力

1つの英語放送が、10以上の言語で同時に吹き替えストリームを必要とする場合があります。各ストリームは独自のTTSパイプラインを実行し、すべてが同期を保たなければなりません。

感情の保持

得点時の実況者の高揚感を、単調な合成音声に平板化することはできません。元の話者のエネルギーとトーンを保持する能力である感情転写は、ファンが吹き替えストリームに留まるか、元の放送に戻ってしまうかに直接影響します。

ライブ配信向けの200ミリ秒未満のTTS構成を比較する

すべてのTTS APIがライブ放送向けに作られているわけではありません。ここでは、スポーツにとって重要な指標について、主要な選択肢を比較します。

TTFBの生の数値は、物語の一部しか語りません。1回のリクエストで40ミリ秒のベンチマークを出すモデルでも、10の言語ストリームを同時に扱うライブ放送の負荷のもとでは、その数値を維持できないかもしれません。

MARS8-Flashがライブスポーツ向けに作られている理由

CAMB.AIは、レイテンシーと同時実行数が譲れないリアルタイム音声アプリケーションのために、MARS8-Flashを特別に開発しました。6億パラメータのこのモデルは約100ミリ秒のTTFBを実現し、この数値はLigue 1、NASCAR、MLS、Australian Openのライブ放送で本番環境において実証されています。

本番で実証された同時実行性

MARS8-Flashは、SRT、RTMP、HLSのフィードを取り込み、多言語ストリームを同時に出力するライブ吹き替え製品DubStreamを支えています。1つの英語実況フィードが、レイテンシーや音質の低下なしに、並行して動作する10、15、20の言語ストリームになります。

話者を認識する音声クローン

元の放送の各実況者には、独立した音声クローンが与えられます。話者ダイアライゼーションが誰が話しているかを識別し、MARS8-Flashがすべての対象言語で各声の独自の特徴を保持した音声を生成します。

スピードを伴った感情転写

出力が平板に聞こえるなら、低レイテンシーは何の意味もありません。MARS8-Flashは元の実況の感情の起伏を保持します。興奮した実況は興奮したまま。静かな分析は落ち着いたまま。MAMBAベンチマークがその品質を裏付けています。MARS-Proは、WavLM話者類似度0.87を達成しており、これはCAM++指標で最も近い競合と比べて38%の改善です。

ライブスポーツ向けのTTS構成を評価する方法

いずれかのプロバイダーに決める前に、次のパラメータで実環境のテストを実施しましょう。

• 可変長のテキスト入力（5語から50語）を送信し、100件以上のリクエストにわたってTTFBの一貫性を測定する。
• 10の同時ストリームを開き、TTFBが維持されるか低下するかを測定する。
• クリーンなスタジオ用テキストではなく、実際のスポーツ実況サンプルでテストする。実況には名前、略語、急な話題の切り替えが含まれる。
• レイテンシーだけでなく、負荷時の音質を測定する。ロボットのように聞こえる速い応答は、少し遅くても自然に聞こえる応答より悪い。
• プロバイダーのレイテンシー数値が、単独のベンチマークによるものか、本番デプロイによるものかを確認する。

ベンチマークのデモと、数百万人の視聴者を抱えるライブ放送との差は甚大です。実際の放送デプロイからの推薦事例を求めましょう。

あなたの放送を、すべての言語で、遅延ゼロで

ライブスポーツ放送は、例外ではなく標準として、完全な多言語配信へと向かっています。ファンは自分の言語での実況を期待し、放送局は遅延、複雑さ、品質のトレードオフを加えることなくそれを届けるインフラを必要としています。ライブの多言語スポーツ放送を構築しているなら、DubStudioで無料で始めて、制作品質のライブTTSが実際にどう聞こえるかを試してみてください。