speech-to-text14分で読めます

単語誤り率2.4%、それでも誰が話したかは分からない

MicrosoftのMAI-Transcribe-1.5は単語誤り率2.4%を記録しました。そして同じモデルの公式ドキュメントには「話者分離はサポートされていません」と書かれています。WERが何を測っているのか、なぜリーダーボードが下限に密集しているのか、そして文字起こしを実用的な議事録に変えるのは音声認識の上のどの層なのかを、平易に整理します。

T
Telli.sh Team
#speech-to-text#word-error-rate#transcription#diarization#meeting-notes#mai-transcribe#ai-notetaker

6月初め、MicrosoftのAI Superintelligenceチームが MAI-Transcribe-1.5 をリリースし、独立系ベンチマークである Artificial Analysis のリーダーボードで単語誤り率2.4%を記録しました。単一モデルで43言語をカバーし、訛りや騒がしい会議室でも崩れず、1時間の音声を15秒足らずで処理します。

ところが、同じモデルのAzure公式ドキュメントを開くと、利用上の注意にこの一行があります。「話者分離(diarization)はサポートされていません」。

話者分離とは、誰が話したのかを示す機能です。つまり今年最大の話題となった音声モデルは、ほぼ完璧な単語の壁を作り出しながら、その言葉が誰の口から出たのかをまったく把握していません。これはリリースノートの手落ちではありません。この業界が今どこに立っているかを正確に映した一枚です。聞き取りはほぼ解決しました。そして聞き取りは、もともと議事録の難所ではありませんでした。

本稿のテーマは、正確な文字起こしと、実際にチームへ共有できるノートとの距離です。単語誤り率が何を測り、構造上何を測れないのか。そして音声認識の上にどんな層が積み上がり、静かに結果を決めているのか。技術的には完璧なのに実務では使えない文字起こしを受け取った経験があるなら、その感覚の説明がここにあります。

TL;DR:

  • 単語誤り率はすでに下限に密集しています。Artificial Analysis の独立リーダーボード上位9モデルは1.73%から3.31%の間に収まっており、「より正確な」エンジンに乗り換えても、一般的な1時間の会議で数十語しか改善しません。
  • WERはすべての単語を等価に扱います。決定文から「〜しない」が抜けることと、言い淀みの「えー」が抜けることが同じ0.016%です。この指標は誤字と反転した合意を区別できません。
  • 残された仕事は文字起こしの上にあります。話者の特定、区切り、整形、要約です。Microsoft自身のモデルカードがその証拠です。最高水準の精度、話者分離なし、ストリーミングなし。

48チャンネルのスタジオ・ミキシングコンソールが画面いっぱいに広がり、フェーダーとつまみ、チャンネルメーターが並んでいる

画像: Steve Knight, Rockfield Studios, Wikimedia Commons, CC BY 2.0.

2.4%は、実際に読む側にとってどう感じられるか

単語誤り率は音声認識で最も古く、最も粗い数字です。そして頻繁に引用されるからこそ、正確に理解しておく価値があります。実際に話された内容、すなわち人間が作成した正解の文字起こしを用意します。モデルが書いたものを並べます。そして誤った単語を三種類に分けて数えます。置換(「デプロイ」と言ったのに「ディレイ」と書いた)、削除(単語をまるごと落とした)、挿入(話されていない単語を作り出した)です。これらを合計し、正解側の単語数で割ったものがWERです。低いほど良い。

つまり2.4%とは、およそ42語に1語が誤っているという意味です。

実際の会議に当てはめてみます。1時間の会議で実際に話している時間が45分ほど、通常の会話速度である毎分140語とすると、およそ6,300語になります。WER 2.4%なら、そのうち約150語が誤りです。文字起こし全体に散らばれば、1画面ごとに数個ある計算になります。

ここで、この指標が答えることを拒む問いが出てきます。どの150語なのか、ということです。

WERは言語中のすべての単語に同じ重みを与えます。助詞の「の」と否定の「ない」がまったく同じ価値です。「第3四半期にはリリースしない」を「第3四半期にはリリースする」と書いた文字起こしを考えてみてください。削除が一つ。6,300語のうちの1語、全体の0.016%、2.4%という予算に対しては丸め誤差です。それでもノートは、会議室が実際に下した決定の正反対を記録しています。

同じ非対称性は、人名、製品コード、社内の略語にも及びます。文字あたりの意味が最も重く、学習データには最も出てこない語群です。つなぎの6,150語を完璧に当てて、会議室の固有名詞をすべて潰しても、WERは優秀に見えます。自分のチームのスタンドアップの文字起こしを読み返したことがある人なら、この感覚を知っているはずです。単語は合っている。そして会議がない。

リーダーボードは下限に密集している

ここがこの分野全体の見方を変える箇所です。2026年8月4日に Artificial Analysis の音声認識リーダーボードを確認しました。ベンダー自身の成績表ではなく、独立したベンチマークです。AA-WER v2 指標は、三つのデータセットから取った約8時間分を音声長で加重平均した値です。内訳は AA-AgentTalk 50%、VoxPopuli-Cleaned-AA 25%、Earnings22-Cleaned-AA 25%。上位はこうなっています。

順位モデルAA-WER
1Fun-Realtime-ASR-preview1.73%
2Scribe v22.18%
3MAI-Transcribe-1.52.38%
4Smallest AI Pulse Pro2.43%
5Voxtral Small2.77%
6Gemini 3.1 Pro Preview (High)2.82%
7Universal-3.5 Pro3.02%
8Solaria-3 (Gladia)3.23%
9GPT Transcribe3.31%
11Whisper Large v34.07%

出典: Artificial Analysis 音声認識リーダーボード、2026年8月4日取得(AA-WER v2、非ストリーミング)。

二点が際立ちます。第一に、Microsoftの2.4%は本物であり、独立して測定されています。ただし1位ではなく3位です。43言語すべてでFLEURSにおいて最高精度という、より強い主張はMicrosoft自身の報告なので、社外で測定されるまではベンダー数値として読むのが妥当です。

第二に、そしてこちらがはるかに重要ですが、9つのモデルが1.6ポイント幅の帯に詰め込まれています。6,300語の会議に戻して換算しましょう。首位のモデルは約109語を誤ります。9位のモデルは約209語。今なお多くの製品が動かしているオープンなベースライン Whisper Large v3 は約256語です。

これが導入判断において何を意味するかを考えてください。中位のエンジンから首位のエンジンへ移ると、1時間あたり100語ほど改善します。無意味ではありませんし、医療や法務の文字起こしでは実際に重要です。しかし、信頼して使えるノートと一から書き直すノートの差には遠く及びません。まともなエンジンはすでに軒並み96%の精度を超えています。議事録が使えるかどうかを決める変数は、まったく別の場所にあります。

Microsoftのリリースノートは、この分野で最も正直な文書である

そこで、本稿の出発点となった一行に戻ります。MicrosoftのAzure Speechドキュメントは、MAI-Transcribeの制約を淡々と列挙しています。話者分離は非対応、プロンプトチューニングは非対応、そしてLLM Speech API経由のパブリックプレビュー段階であること。発表時の報道では、ネイティブのストリーミングAPIもないためリアルタイム用途が限られる点が加わります。

この形をしばらく眺めてください。この会社は聞き取りの問題に膨大なエンジニアリングを投じました。前世代の25言語から43言語へ、18言語を精度を落とさずに追加しています。そのうえで、話者ラベルなし、ストリーミングなしで出荷しました。どちらもライブの会議がまさに必要とするものです。

私たちの見立てはこうです。これはMicrosoft製品の欠落ではなく、この分野全体の階層構造についての宣言です。認識はもう製品ではなく部品になりました。購入し、ベンチマークし、差し替える対象です。そして面白い仕事は、その周囲を包むすべてに移りました。

速記者の天井

社内で繰り返し使っている言い回しがあります。速記者の天井です。より良く聞き取ることが役に立たなくなる地点、残された仕事が聞き取りではないために生じる限界線です。

完璧な速記者は、単語の完璧な記録をくれます。しかし「はい、いいですよ」という二度の返事が別々の人物から出たもので、別々の意味を持っていたとは教えてくれません。ある話題がどこで終わったかも記しません。オフィス移転の20分がそもそもノートに入るべきではない、とも言いません。文字起こしの上には四つの層があり、それぞれが固有の形で崩れます。

話者の特定、すなわち話者分離。 単一の音声ストリームを「話者1、話者2、話者3」に切り分け、そのラベルを1時間を通じて一貫させる仕組みです。認識とはまったく別の問題であり、独自の失敗様式を持ちます。二人が重ねて話すとき、誰かが途中から参加したとき、同じ人物がスピーカーフォンとヘッドセットで違って聞こえるとき。そして失敗するときは破壊的に失敗します。合意を誤った人物に紐づけた文字起こしは、誰にも紐づけていない文字起こしより悪い。読む側が信じてしまうからです。そしてこれこそが、最高スコアのモデルが提供していない機能です。

区切り。 認識の生出力は川です。実際の発話は文の単位で届きません。言い直し、尻すぼみ、割り込みを伴って届きます。モデルは、文がどこで切れるか、一人の発言の番がどこで終わるか、会話がどこで話題を変えたかを判断しなければなりません。ここを誤ると、技術的には正確でも誰も読まない段落ができます。目を休める場所がないからです。正しく処理すれば、同じ単語列が拾い読みできる文章になります。この改善はWERには一文字も現れません。

整形。 生の文字起こしとノートの間には、片付けの工程があります。言い淀みと言い直しを取り除き、数字と日付を正規化し、音響モデルには知りようがなかった専門用語を直します。「第三四半期」が「Q3」になり、もっともらしい一般語三つとして流れ出た社内コードネームが元に戻ります。ドメイン知識が入る層であり、法廷記録のように読める文書と、ノートとして読める文書を分ける地点です。

要約。 最後に判断が入ります。1時間のうちどこが決定で、どこが未解決の論点で、どこが特定の担当者に作業が割り当てられた瞬間で、どこが駐車場の話の20分だったのか。ほとんどの読者が実際に読む唯一の層でありながら、前の三層に全面的に依存する層です。話者も区切りも整理されていない文字起こしから作業する要約器は、誰が何を約束したかを推測しています。きれいな発言の区切りを与えれば、推測をやめます。

依存関係が一方向に流れること、だからこそ精度の議論がこれほど誤解を招くことが要点です。WERを2.4%から1.7%に下げるのは、そもそも誰も測っていない四段階の連鎖の入力を改善する作業にすぎません。

キーワードバイアシングは、業界が静かに認めた点である

MAI-Transcribe-1.5 のリリースには、この構図を自ら明かしてしまう機能が一つあります。そしてそれが、今回の発表で最も有用な部分でもあります。

このモデルはキーワードバイアシング、別名エンティティバイアシングに対応しています。参加者名、製品名、社内略語といったドメイン固有語を最大200件までリストで渡すと、モデルが予測をその方向へ寄せます。無理に一致させるのではなく、周囲の文脈を見てバイアスを適用すべきかを判断します。Microsoftは、バイアシング使用時にFLEURS基準でWERが最大30%低下すると報告しています。公開されている例は非常に具体的です。キーワードリストなしでは、三つの名前が「Sean」「Oif」「Societal」として出力されます。リストを与えると、モデルは「Shaun」「Aoife」「Xochitl」を復元します。

ここで何が起きたかをよく見てください。音声は変わっていません。音響が改善したわけでもありません。モデルは以前もっと聞き取れなかったのではなく、きちんと聞き取ったうえで見当違いの推測をしていたのです。会議室に誰がいるかを知らなかったからです。参加者名簿を渡した途端、誤りの三分の一近くが消えました。

これが本稿の主張のすべてであり、最高スコアのモデルを持つベンダーがそれを製品機能として出荷したことになります。今年最大の話題作における最も効果的な精度改善手段が、音声にはもともと存在しなかった情報を注入することで機能しています。つまり文字起こしに残された最前線は音響ではなく文脈です。そして文脈こそ、文字起こしの上の層が作られる材料にほかなりません。

一方で、業界はより多くの音声を捉えようと走っている

ハードウェア市場は正反対の結論を出しており、それは指摘しておく価値があります。INMOのGO3グラスは599ドルで、98以上の言語のリアルタイム翻訳をレンズに投影し、あらゆる会話と会議を自動で録音・文字起こし・要約すると謳っています。背後にはChatGPTとGeminiがあるとされます。いずれも製品ページに掲載されたベンダー自身の主張であり、狙いは明快です。どこでも、手を使わず、すべてを捉える。

捉えることは、もともとボトルネックではありませんでした。テーブルの上のスマートフォンは10年前から会議を十分に録音できています。捉える行為を常時化すれば、同じ未解決のパイプラインへ流れ込む音声の量が増えるだけです。むしろ問題は鋭くなります。一日中すべての会話を録音する機器は、「何が重要かを決める」処理を適用すべき素材をはるかに大量に生み出すからです。

WERの数字を読む代わりに試すべき三つのテスト

文字起こしや議事録ツールを評価しているなら、公開されている精度の数値では候補を選り分けられません。すべて数ポイントの幅に収まっているからです。代わりに、三つのテストが差を出します。

3人以上が参加し、実際に発話が重なる区間のある会議を録音し、話者ラベルが5分時点から50分時点まで一貫しているかを確認してください。話者分離はまさにそこで静かに劣化します。次に、否定形で述べられた決定(「今四半期は移行を行わない」)を一つ選び、要約の中で探してください。否定を反転させたり落としたりするシステムは、ここで正体を現します。最後に、要約を自分の会議の記憶と照らし合わせ、二つを別々に数えてください。重要でないのに入っているもの、そして重要なのに抜けているもの。後者の数字は誰も公表しない数字であり、3か月後もそのツールを使っているかどうかを決める数字です。

結論

単語誤り率は「機械はその単語を聞き取れたか」という問いに答えるものでした。そして業界はすでにその答えを出しました。どのリーダーボードも答えていない問いは、「これは会議で何が決まったかを教えてくれるか」です。

この二つは別の問いであり、もともと要点だったのは片方だけです。文字起こしは音の記録です。ノートは決定の記録です。その間の隔たりはパーセントポイントで測れませんし、より良いマイクやより低いWERで埋まるものでもありません。埋めるのは、その上に積み上げるすべてです。誰が話したかを知ること、思考がどこで終わったかを知ること、どの言葉が雑音だったかを知ること、そして1時間のうちどの三文がこの会議を開いた理由だったかを知ること。

文字起こしは成果物だったことは一度もありません。原材料でした。

Telli.sh の作り方はまさにこれです。音声認識は部品の一つであり、私たちが製品と見なしている仕事はその上の層です。話者分離、区切り、整形、そして決定と雑談を切り分ける要約を15言語で提供しています。文字起こしとノートの違いをご自身の会議で確かめたいなら、一つ録音して数分後に結果を読んでみてください。

ライブAIノートを始める

出典


ブログに戻る