文字起こしは問題なかった：Confident AIが会話の音を評価に加える

以下の出典をもとにKen Joが作成したオリジナルの解説図です。

顧客が質問し、エージェントが正しく答え、文字起こしも完璧に見えます。ところが録音を聴くと、違うやり取りが現れます。エージェントは早く話し始めすぎ、訂正の声にかぶさり、再び応答するまで長い沈黙を残しています。

Confident AIの 2026年10月23日 の更新は、こうした耳で聴く体験を評価に取り込みます。音声を直接扱う分類器、人による確認段階、Observatoryプレーヤーでの問題時刻表示、Pipecatの音声トレースが発表されました。疑わしい問題と、実際に聴ける瞬間を結び付ける機能です。公式変更履歴。

Confident AIはAIアプリ向けの評価・可観測性ツールを提供します。今回の更新は、不快な会話をどう再現可能な問題に変えるかという問いから理解できます。文字起こしと音声が提供する証拠を区別し、よくある三つの音声エージェント場面に小さな確認手順を作ります。

公式 Confident AI文書画像、© 2024 Confident AI Inc.、Apache 2.0。実行証拠の整理方法を示す一般的なトレース画面です。新しい音声分類器や本記事の測定結果を示しているわけではありません。

文字起こしは言葉を、音声はやり取りを残す

文字起こしは、期待した情報が回答に含まれるかを手早く調べられます。間違った日付、抜けた案内、矛盾を見つけられます。多くの会話を検索・比較することも容易です。

音声は別の問いに答えます。相手は話し終えたのでしょうか。間に見えた時間は、考えている最中ではなかったでしょうか。正しい文章でも、エージェントの話し方が理解を妨げていなかったでしょうか。整えたテキストだけでは、不満の原因そのものを見逃します。

二種類の証拠が食い違うとき、この区別は特に役立ちます。文字起こしには質問全体が残っていても、エージェントは途中で回答を始めていたかもしれません。逆に文字では不自然な断片も、会話の流れの中では自然な相づちかもしれません。両方を残して、文脈で判断できるようにします。

音声ガイドは、役割とテキストを持つメッセージに録音を添付し、トレース内で再生する仕組みを説明しています。これにより確認者は、文字で表現された内容と実際に聞こえたものを行き来できます。音声文書、2026年10月27日確認。

音声評価には、この第二の経路が必要だと私たちは考えます。話し言葉でのやり取りも製品の一部であり、最終テキストだけでは品質を表し切れません。録音をアプリのイベントに結び付けると、品質を正確に議論しやすくなります。

役立つ指摘には時点と理由がある

10月23日の更新は、割り込み、不自然な沈黙、話し方の問題などを検出する音声分類器を追加しました。また、人が聴いてからラベルを確定する段階も追加します。プレーヤーは問題時刻を示し、該当箇所に戻れるようにします。新しい音声評価手順。

これは「エージェントの話し方がおかしい」という一般的な苦情より、行動につながる指摘です。開発者には位置、観察した動作の説明、本来どうなるべきかを理解する周辺文脈が必要です。分類は見る順番を決め、クリップは確認可能な証拠を供給します。

確認者は、疑いと確定を区別してください。相手が資料を調べている間の沈黙は適切かもしれません。重なった発話も、妨害ではなく役立つ相づちかもしれません。ラベルは、チームが期待する会話を反映して初めて意味を持ちます。

期待を普通の言葉で書きましょう。例えば割り込みは、相手が情報を伝えている間にエージェントが本格的な回答を始め、情報が失われたり繰り返しが必要になったりする場合、と定義できます。これは確認手順の例であり、製品が課す定義ではありません。

分類が問題候補の位置を探します。聴き直しと明確な基準の適用によって、対応可能な指摘になります。

三つの会話が示すタイミングの文脈

まず予約アシスタントを考えます。相手は予約を変更したいと伝え、予定表を確認するために止まり、その後で日付を言います。その間にエージェントが時刻を提案すると、意味は関連していても作業を妨げます。

この例では、割り込みの前後を聴くべきです。エージェントは受け付けたことを伝えただけか、相手が終わる前に解釈を確定したのか。相手は自然に続けられたか、最初から言い直したか。こうした観察が、許容できる習慣と修正すべき欠陥を分けます。

二つ目は、慣れない製品のカスタマーサポートです。回答は正しくても、相手は聞いてもらえたのか分かりません。応答のない時間が長いと質問を繰り返し、それが新規要求と解釈されるかもしれません。録音と実行トレースを併せて見ると、感じられた遅延の始まりを探れます。

一例から万能の沈黙しきい値を決めないでください。アカウント照会と簡単な案内の確認では、期待される待ち方が違います。その作業で意図する対話を決め、観察された間と比べます。相手が何が起きていると合理的に理解したかが重要です。

三つ目は、住所や製品コードを扱う多言語アシスタントです。文字起こしがもっともらしくても、元の発音は別の語を示しているかもしれません。相手の音声と応答を聴き直すことで、認識、解釈、発話のどこに原因があるかを分けやすくなります。

すべての誤りが音声分類器で解けるわけではありません。確認段階、語彙への対応、重要な情報の言い直しを求める明確な方法が必要かもしれません。単に親しげな声を目指すのではなく、適切な対話の変更につながるとき、評価に価値が生まれます。

トレースの取得だけでは録音の再生を保証しない

音声を評価する前に、証拠が存在するか確かめてください。マルチモーダル文書は、インラインメディア、メディアへのリンク、トレースから省略されたファイルを区別します。一般的なモデル呼び出しの取得は対応するインライン画像とPDFを保存しますが、音声には適切な添付か対応音声連携が必要です。マルチモーダル文書、2026年10月9日更新。

この違いは日々の調査に影響します。トレース内のURLはファイルの参照であり、保存されたコピーとは限りません。元の場所が失効したり、確認者がアクセスできなかったりすると、トレースは見えても音声の証拠は使えません。最初の連携確認には再生を含めてください。

同文書では メディア一件あたりの既定上限は5 MiB、TypeScript SDKのスパン合計は既定16 MiB です。超過メディアは切り詰めず省略されます。テキストトレースが届いたから大きい録音も入ったはずだと考えず、明示的に処理しましょう。メディア上限。

音声ガイドでは、役割と内容を持つメッセージに音声を配置します。評価ではこの関連が重要です。誰が話した録音か、どのテキストに対応するかを保持してください。誤ったメッセージに付いたクリップは、再生できても判断を誤らせます。

作業を説明できる十二本から始める

実用的な試行は、意図して選んだ 12本のクリップ から始められます。普通の成功四本、明らかな失敗四本、議論が必要な曖昧な例四本を選びます。確認基準を合わせる出発点の提案であり、統計的な代表標本やベンダーのベンチマークではありません。

曖昧な事例は特に重要です。割り込み、許される待ち時間、明瞭な発話について、確認者の定義が共通かを示します。意見が違えば、合意済みと思い込んだラベルを自動分類器に再現させる前に、その理由を記録します。

最初の評価を印象の集まりで終わらせないため、繰り返せる手順を使いましょう。

1. 一つの音声エージェント用途にプロジェクトを作ります。 同じ会話上の期待を適用できる程度に範囲を絞ります。
2. 録音と文字起こしを同じ対話に関連付けます。 文書の添付方法か適切な音声連携を使い、代表的な会話の両側を再生できるか確認します。
3. 既定のメディア上限で証拠を確認します。 省略表示、利用不能なリンク、誤ったメッセージ関連を探します。音声欠落を平穏な通話と解釈する前に取得を直します。
4. 少数の確認ラベルを定義します。 各動作を具体的に説明し、似ていても許容する例を含めます。
5. 分類を実行して指摘箇所を聴きます。 候補ラベル、確定判断、確認者の理由を保存します。見逃しを探すため、未検出のクリップも聴きます。
6. 関係する部分を一つ変えて繰り返します。 同じケースで変更後を比較し、手順を広げる前に新しい例も追加します。

分類器ガイドは、ラベル説明が分類に影響し、結果が絞り込み可能なシグナルになると説明します。古い一般ガイドと10月23日の更新は製品の異なる段階を扱っています。新しい音声手順は現在のワークスペースの操作項目を使ってください。変わらない原則は、別の確認者も適用できるほど望ましい行動を具体化することです。分類器のガイド。

エージェントに加えて確認手順も測る

検出数の増加には複数の意味があります。エージェントが悪化したのか、分類器が敏感になったのか、難しい会話が増えたのかもしれません。設定と確認対象の通話を見える形で保ち、区別できるようにします。

試行では、指摘されたクリップの何件を確定し、未検出クリップから何件の問題を見つけたかを記録します。該当時点を探す時間も記録してください。これはチームの手順についての観察であり、分類器の万能な精度を主張する必要はありません。

改善した場合は、何が変わったかを述べます。質問が終わってから答えた、照会中に受領の返事が聞こえた、不確かなコードで動く前に確認した、といった結果です。「自然に聞こえる」という広い主張より、具体的な結果が品質の議論を助けます。

信頼できる確認手順は、証拠、解釈、変更の効果をそれぞれ確認します。

録音へのアクセスと保存も設計に含める

録音には、すべての確認に必要とは限らない情報が含まれます。どの会話を残し、誰が聴き、いつまで証拠として役立つかを決めましょう。評価目的なく広く集めるより、試行に必要な最小限の組を使います。

データ取り扱いガイドは、プロジェクトごとにデータとアクセス権が分離されたワークスペースを説明します。これは組織上の境界として使えます。一つの用途を確認する人に、別の用途の録音が自動的に必要になるわけではありません。データ取り扱い、2026年10月14日更新。

10月23日の変更履歴は、クレジット計算とGB-month単位のトレース保存も導入しています。収集を広げる前に、現在のプランと実使用量を確認してください。技術的に取り込めることは、費用を管理し保守できる確認手順の一部分です。使用量の変更。

会話品質は再生できると改善の根拠になる

今回の興味深い方向は、品質判断と実際の体験を結ぶことです。時刻、再生できるクリップ、確認結果が、開発者に具体的な改善対象を与えます。モデルや対話ルールを変えた後に戻れる記録にもなります。

自然なエージェントは、やり取り全体で信頼を得ます。相手を聴き、適切な瞬間に応じ、作業を明確に終えることが必要です。これらをまとめて評価すれば、録音は監視システムのファイルではなく、より良い会話のための証拠になります。

出典

• Confident AIの変更履歴、2026年10月23日。
• トレース内の音声、2026年10月27日確認。
• マルチモーダルトレースとメディア上限、2026年10月9日更新、10月27日確認。
• 分類器タスク、2026年10月6日更新。新しい音声・スパン機能の根拠は10月23日の変更履歴です。
• データ取り扱い、2026年10月14日更新。
• 公式文書画像とリポジトリ、Apache 2.0ライセンス。シナリオと12本の試行は説明用です。検出精度のベンチマークは実施していません。

Telli.shからのおすすめ

会話の変更を支えた確認メモ、文字起こし例、判断を、後から探しやすく保管しましょう。Telli.shアカウントを作り、録音と参考メモを整理する。