转写文本没问题：Confident AI把对话的声音纳入评估

Ken Jo根据下方列出的来源制作的原创说明图。

客户提出问题，代理给出正确答案，转写文本看起来十分完美。但听录音时，另一种互动浮现出来：代理开口太早，盖过了客户的更正，并在再次回应前留下漫长沉默。

Confident AI在 2026年10月23日 的更新中，将更多可听见的体验带入评估流程。公司宣布直接音频分类器、人工审核环节、Observatory播放器中的问题时间标记，以及Pipecat音频追踪。这些功能把疑似问题连接到人们真正能听见的时刻。官方更新日志。

Confident AI为AI应用提供评估与可观测性工具。理解此次发布，可以从一个实际问题出发：团队怎样把令人不适的对话转成可复现的问题？我们先区分转写文本与音频各自提供的证据，再为三个常见语音代理场景建立小型审核流程。

官方 Confident AI文档图片，© 2024 Confident AI Inc.，Apache 2.0。这是展示执行证据组织方式的通用追踪界面，并非新的音频分类器，也不包含本文的测量结果。

转写保留文字，音频保留互动

转写文本能简洁地检查答案是否包含预期信息。它可以暴露错误日期、遗漏说明或矛盾，也方便在大量对话间搜索和比较。

音频回答另一组问题。对方说完了吗？看似停顿的时刻，其实是在思考吗？代理的表达是否让正确的句子变得难懂？只阅读整理后的文本，可能会错过让通话令人沮丧的事件本身。

两种证据不一致时，这一区分尤其有用。转写可能记录了完整问题，但代理在问题说到一半时就开始回答。相反，文字里显得突兀的片段，在流畅对话中可能只是自然的应答。保留两种形式，审核者才能结合上下文判断。

Confident AI音频指南介绍了把录音与角色、文本一起附加到消息上，并在追踪中播放的方法。审核者因此可以在文字表达与实际听觉之间切换。音频文档，2026年10月27日查阅。

我们认为语音评估需要这第二条证据路径。口头交流也是产品的一部分，最终文本无法完整呈现其质量。把录音与应用事件关联，能让质量讨论更精确。

有用的发现包括时刻和理由

10月23日更新加入音频分类器，用于发现打断、尴尬沉默和表达问题等情况，也增加了由人听过再确认标签的步骤。播放器标出问题时间，方便返回相关片段。新音频流程。

这比泛泛抱怨“代理听起来不对劲”更能推动行动。开发者需要位置、观察到的行为描述，以及足够上下文来理解本该发生什么。分类帮助决定先看哪里，片段则提供可检查的证据。

审核者应保留疑似与确认之间的区别。客户查资料时暂停可能恰当。重叠发言也可能是有帮助的应答，而非打断。标签只有反映团队实际的对话预期时才有价值。

用普通语言写下预期。例如，可以把打断定义为：客户仍在提供信息时，代理已经开始实质性回答，导致信息丢失或需要重说。这只是团队审核标准的示例，并非产品强制的定义。

分类定位候选问题。实际聆听并应用清晰标准，才能将其转化为团队可处理的发现。

三段对话说明时机需要上下文

先考虑预约助手。客户说想改预约，停下来查日历，然后才给出日期。如果代理在这段停顿中开始提供时段，答案即使语义相关，也可能干扰任务。

在这个示例中，审核者应听打断前后。代理只是表示收到请求，还是在对方说完前就确定了解释？客户是否自然接续，还是不得不重新开始？这些观察帮助区分可接受的习惯与值得修复的缺陷。

第二个场景是陌生产品的客户支持。代理回答正确，却让客户不确定它是否听到了自己。长时间没有回应会让客户重复问题，而重复可能被当作新请求。结合录音与执行追踪，可以帮助查明用户感受到的延迟从哪里开始。

不要根据单个例子规定通用沉默阈值。不同任务有不同预期：查询账户与确认简单指令的等待感受并不一样。先建立该任务应有的互动方式，再与观察到的停顿比较。关键是对方合理地认为当时正在发生什么。

第三个场景是处理地址或产品代码的多语言助手。转写可能是一句看似合理的话，但原始发音指向另一个词。重听客户音频和代理回答，有助于区分问题始于识别、理解还是表达。

这不意味着所有错误都能靠音频分类器解决。应用可能需要确认步骤、更好的词汇支持，或更明确地要求用户重述关键细节。评估的价值在于引导适当的互动修改，而非笼统地让代理听起来更友善。

捕获追踪不等于保留了可播放录音

评估音频前，先确认存在证据。Confident AI多模态文档区分内联媒体、媒体链接，以及追踪中被省略的文件。一般模型调用捕获会保留支持的内联图片与PDF，而音频需要适当附件或受支持的语音集成路径。多模态追踪文档，2026年10月9日更新。

这一区分影响日常调试。追踪中的URL是文件引用，不一定是已保留副本。原位置过期或审核者无权访问时，追踪仍可见，但音频证据已无法使用。请把播放检查纳入初始集成验证。

同一文档给出 每项媒体默认5 MiB上限，以及 TypeScript SDK每个span默认总计16 MiB上限。超限媒体会被省略，而不是截断。因此，大录音需要主动处理，不能因为文本追踪成功到达，就认为录音也一定容得下。媒体限制。

音频专门指南把音频放在包含角色和内容的消息上。评估流水线应保留这种关联：谁说了这段录音，它对应哪些文字。即使文件能播放，附到错误消息上的片段也会把审核者引向错误结论。

从能解释任务的十二段录音开始

实用试点可以从 12段有意挑选的录音 开始：四个普通成功案例、四个明显失败案例，以及四个需要讨论的模糊案例。这是校准审核标准的起点建议，不是统计上有代表性的样本，也不是厂商基准测试。

模糊案例尤其有价值。它们揭示审核者是否共享对打断、可接受等待和清晰表达的定义。如果有分歧，应先记录原因，再要求自动分类器复现那个自以为已经一致的标签。

使用可重复流程，让首次评估不仅是一组印象：

1. 为一个语音代理用途创建项目。 缩小初始范围，使同一套对话预期适用于这些片段。
2. 把录音和转写关联到同一次互动。 使用文档规定的音频附件或相关语音集成，确认审核者能播放一次代表性交谈的双方音频。
3. 按默认媒体限制检查证据。 查找省略标记、失效链接和错误消息关联。先修复捕获问题，不要把缺失音频当成无事发生的通话。
4. 定义一小组审核标签。 具体描述每种行为，并加入相似但应当允许的例子。
5. 运行分类并聆听标记时刻。 保留候选标签、确认结果与审核者解释。也要听未标记片段，以发现遗漏问题。
6. 修改互动中一个相关部分，再重复评估。 用相同案例比较修改前后，在扩大流程前再加入新案例。

Confident AI分类器指南说明，标签描述影响分类，结果可成为能筛选的信号。旧版通用指南与10月23日更新描述产品的不同阶段；新音频流程应以当前工作区控件为准。不变的原则是把预期行为写得足够具体，让另一位审核者也能应用。分类器指南。

同时衡量审核流程与代理

发现的问题数量增长，可能有多种原因。代理变差了，分类器变敏感了，或流量里出现了更难的对话。保持评估配置与已审核通话集合可见，团队才能区分这些可能。

试点中记录审核者确认了多少标记片段，又在未标记片段中发现多少问题。也记录定位相关时刻所需时间。这些是对团队流程的简单观察，不需要声称分类器拥有普遍适用的准确率。

修改使片段改善时，要说清改善了什么：客户说完问题后代理才回答；查询期间听到了接收确认；助手在依据不确定代码行动前先询问。具体结果比“模型听起来自然”这种笼统说法更有助于质量讨论。

可靠的审核流程分别检查证据、解释与修改效果。

录音访问与存储也属于设计

录音可能包含并非每次审核都需要的信息。请决定哪些对话适合保留、谁能听，以及证据多久仍有价值。试点使用最小但有意义的集合，避免缺乏评估目的的大范围收集。

Confident AI数据处理指南将项目描述为拥有各自数据和访问权限的独立工作区。这提供了一种实用的组织边界：负责一种用途的审核者，不会自动需要另一种用途的录音。数据处理，2026年10月14日更新。

10月23日更新日志还引入积分计费及按GB-month衡量的追踪存储。扩大音频收集前，团队应检查现行方案与实际用量。技术上成功摄取，只是成本可承受且可维护的审核流程的一部分。用量变化。

能重播的对话质量才更容易改进

此次发布值得关注的方向，是把质量判断与底层体验连接起来。时间标记、可播放片段和审核结论，为开发者提供具体的改进对象，也留下更换模型或互动规则后可以回看的记录。

自然的代理通过完整交流赢得信任：听见对方，在合适时刻回应，并清楚地完成任务。把这些一起评估，录音就会成为更好对话的证据，而非监控系统中的另一个文件。

来源

• Confident AI产品更新日志，2026年10月23日。
• 追踪中的音频，2026年10月27日查阅。
• 多模态追踪与媒体限制，2026年10月9日更新；10月27日查阅。
• 分类器任务，2026年10月6日更新。新音频与span功能以10月23日更新日志为依据。
• 数据处理，2026年10月14日更新。
• 官方文档图片与仓库、Apache 2.0许可证。场景与12段录音试点仅作说明；本文未进行检测准确率基准测试。

Telli.sh推荐

让对话修改背后的审核笔记、转写示例与决策日后仍容易查找。创建Telli.sh账户，整理录音与参考笔记。