はじめに：生成音声の「品質低下・崩れ」をどう客観評価するか
Qwen3-TTSなどの高度な音声合成（TTS）モデルは、リアルで表現力豊かな音声を生成できる一方で、長文の入力や句読点のないテキストを入力した際に「後半で発話が崩れる（いわゆる日本語が崩れる現象）」や、「意図しない多言語の混ざり込み」などの不自然なエラーが発生することが実運用上の大きな課題です。
これらの品質劣化は、耳で聴くだけでは主観的な評価に留まり、パラメータ調整やアルゴリズム変更の効果を定量的に測定することが困難でした。そこで、生成モデルとは完全に独立した高性能音声認識モデル Whisper (`faster-whisper-medium`) を用い、生成された音声を再文字起こしして原稿と照合する「独立ASR品質判定ゲート」を導入しました。
本稿では、このASR品質判定ゲートを活用し、公式プリセット設定と、我々が最適化した日本語向け設定の二者において、どちらが日本語として明瞭に発話できているかを一括測定・評価（ベンチマーク）したプロセスと結果について、コードレベルの解説を交えて報告します。
1. 自動品質判定ゲートの設計と判定ロジック
品質判定エンジン（jp_tts_studio/quality.py）は、Whisperによるテキスト書き起こし結果と元の原稿を比較し、以下の指標を基に100点満点での減点方式で品質スコアを算出します。合格基準（PASS）、要確認（REVIEW）、不合格（FAIL）の3段階で判定します。
- CER (Character Error Rate / 文字誤り率): 編集距離（レーベンシュタイン距離）を元に算出。15%を超えるとREVIEW、30%を超えるとFAIL。
- 脱落率 (Deletion Rate): 原稿から読み飛ばされた文字の割合。
- 挿入率 (Insertion Rate): 原稿にない不要な発話（ノイズや言葉の繰り返し）が挿入された割合。
- 音響特徴量: 無音時間の割合（
silence_pct）、クリップ率（音割れの有無）、および平均音量（RMS dBFS）。
特に、文字誤り率や脱落率が閾値を超えた場合は「日本語が崩れている疑い（melted_suspected）」として検知し、即座に不合格判定とするセーフティが組み込まれています。
2. 比較検証におけるプリセット設定の仕様
今回のベンチマークでは、以下の2つの対照的なパラメータ設定で比較を行いました。
A. Official (公式設定)
公式のデモや一般的なTTSアプローチに近い設定です。句読点による強制分割を行わず、長文をそのまま一括でモデルに入力します。文脈を一括で捉えられる反面、後半のデコード崩れが発生しやすい傾向があります。
B. Japanese Natural (日本語向け最適化設定)
本プロジェクトで開発した最適化パイプラインです。日本語向け話し方指示プロンプト（DEFAULT_INSTRUCTION）の適用に加え、文中の句読点（、。！？）を検出し、1区間が適切な文字数（最大80文字）以下になるよう動的に文分割を行います。各区間を個別に生成した上で、文末種別に応じたポーズ長を設定し、結合部でのプチプチ音を防ぐために短いエッジフェード（8ms）で高精度に合成結合します。
3. ベンチマーク結果の比較分析
日常会話や技術文章、ニュース調、長文、感情表現など、多様な5つのケース（計10パターンの生成音声）に対して、自動ASRベンチマークを実行しました。結果の要約は以下の通りです。
総合評価サマリー
| 設定名 | 平均CER (文字誤り率) | 平均一致率 | 平均スコア | 平均RTF (生成速度) | 合格率 (PASS率) |
|---|---|---|---|---|---|
| Official (公式設定) | 5.4% | 96.2% | 93.4点 | 1.138 | 100.0% |
| Japanese Natural (日本語向け設定) | 3.1% | 97.5% | 96.0点 | 1.086 | 100.0% |
分析と考察
- 文字認識率の向上 (CERの低減): 平均CERにおいて、公式設定の 5.4% に対し、日本語向け設定は 3.1% と誤り率を低減させました。ケース3（技術説明）などの英数字や単位を含む文章では、公式設定は「ミリ秒」を「ms」と省略認識されたり、不要な読点が挿入されて減点（CER 6.2%）されましたが、日本語最適化設定では正確に一致（CER 0.0% / 100点満点）して発話の安定性を示しました。
- 生成速度 (RTF) の優位性: 日本語向け設定の平均RTFは 1.086 であり、公式設定の 1.138 に比べて高速に動作しました。これは、一括で長い文を処理するよりも、適切な長さ（80文字以下）に分割して生成することで、Transformerのアテンション計算（コンテキスト長の二乗に比例する計算コスト）が抑制された効果と考えられます。
- 音響特徴とASRの相乗効果: 日本語向け設定で導入されたエッジフェード結合処理は、単に人間にとって自然な間（ポーズ）を作るだけでなく、結合部での突発的なノイズ（クリップ）を完全に防ぐことで、Whisper等のASR認識器にとってもクリアでデコードしやすい音声波形を提供し、認識エラーを抑え込む相乗効果を生んでいます。
まとめと実装コードの展望
今回の自動ASRベンチマークの導入により、Qwen3-TTSの日本語最適化の恩恵が人間の主観だけでなく、独立した音声認識技術を通じても定量的に裏付けられました。実装したベンチマーク機能は、CLI（Quality-Check.bat benchmark）およびGradio WebUIの新しいタブからいつでもワンクリックで実行可能です。
今後は、特定の固有名詞や専門用語の読み誤りを防ぐ「ユーザー読み辞書」の登録機能をさらに強化し、さらなるCER 0%化を目指して開発を継続します。