AI Tools阅读约 7 分钟

电话里的 AI 客服该在什么时候停下来听?

ElevenLabs 预览了一款处理轮流发言、打断和模型路由的引擎。用一次预约改期,看看怎样检验整段对话。

K
Ken Jo

电话里的自动客服正准备确认周四上午的预约,来电者插了一句:“抱歉,我说的是下周四。”即使 AI 说话流畅,继续念原来的确认信息,或者还没听完就去改日期,也会让事情变得更难办。问题是它能不能让对方把话说完,再根据正确的预约状态作答。

2026 年 11 月 11 日,ElevenLabs 在纽约峰会上预览了 Interaction Engine。据公司介绍,它能处理轮流发言和打断,也能在对话的不同阶段选择不同的语言模型。公司举例说明,可让成本较低的模型承担初步分流,把更复杂的任务交给能力更强的模型。峰会公布的是预览,未给出正式上线日期。ElevenLabs 峰会公告

一次预约改期就是合适的测试案例。系统要听清来电者,让新意图替代旧意图,最终确认的内容还要和预约系统一致。检测停顿和声音重叠只是第一步。

停得恰到好处,对方才能把话说完

AI 说话时,来电者可能出于至少三种原因开口:纠正一项重要细节,用一声“好”表示在听,或者和身边的人说话。打断检测要经常能区分这几种情况,才有实际用处。听见任何声音都停下来,第一次可能显得灵敏,一整通电话下来就容易让人觉得不稳定。别人明明在纠正,系统却一直念下去,五秒能说完的事可能得重讲一遍。

听听预约例子的两个版本。第一个版本里,AI 在念新的时间,来电者说了声“对”,AI 可以继续。第二个版本里,对方说:“等一下,我说的是下周四,午饭以后。”AI 要停下原来的句子,把时间留给对方,听到改成下周以及改到午后这两个要求。下一次回复是否反映这两个细节,就是判断成功的标准。

AI 听到来电者纠正后停止发言,听完要求,再确认修改内容

把话让给对方,才能听完一次完整的纠正。Telli.sh 原创插图。

电话音频让这个判断更难。来电者可能停顿一下才报日期,说几个语气词,或因线路中断重复一段话。用人们实际使用的渠道测试,并记录音频条件。干净的演示可以证明设计能实现。多听一些日常的嘈杂通话,才能知道自己的系统是否应付得了来电者真实的打断方式。

从听得见的声音开始计时。真正发生纠正时,记录从来电者发出第一个有意义的声音,到 AI 的声音实际停止的时间。要把线路中已进入缓冲的音频也算进去。还要测从来电者说完,到回复中第一个有用的词出现的时间。一句快速的“请稍等”能让较长的查询更可预期。如果有用的答复几秒后才到,就分开计时。

说出来的内容可能与预约记录不同步

假设来电者插话时,AI 只是查到本周四的一个空档。它可以放弃原方案,查一下下周四,再提议一个可约时间。另一个系统却可能在听见“周四可以”时就发送更新,还没读回完整日期。等来电者纠正,之前的修改可能已到达预约服务。让回复静音,并不能撤销那次变更。

把这些情况分别放进测试。预约还处于建议阶段,就重新读出日期和时间。更新正在处理,就先确认后端的结果。如果更新成功,AI 要说明当前状态,并沿用获准的纠正流程。如果失败或超时,要先查当前状态,再判断能否宣告成功或重试。具体补救方式遵循预约系统现有的规则。

来电者的行为预期的语音表现预期的预约状态
读回信息时说“对”如果对方没接过话,就继续不产生额外写入
确认前说“等一下,是下周四”停止念旧信息,把纠正听完新日期确认前不更新
更新处理中提出纠正应答并查询处理结果采取下一步前先报告经核实的状态
要求转人工确认请求并启动现有交接流程移交当前状态和未处理完的要求

用包含虚构预约的沙箱测试。把通话与预约操作的时间线都记录下来。时间戳应采用同一参考时钟,或写清时差。然后去找这样的时刻:通话听起来已经改好了,系统却没有记录;或者来电者撤回指令之后,写入仍然成功。这些问题和开场问候慢是不同类型的缺陷。

一轮话里的不同工作,也可以用不同模型处理

ElevenLabs 将这次预览描述为在对话进行时决定何处使用哪个模型。预约电话能让这件事变得具体。识别对方想改期,通过获准的工具查询记录,理解少见的规则,判断是否要转接,所需的推理各不相同。查一个常见日期很容易,涉及多项服务且规则彼此冲突的改动,可能需要更多判断或交给人工专员。

语音工作流把常规分流、经过核验的操作和复杂异常送到不同路径

根据任务影响选择处理路径,交接时保留对话状态。Telli.sh 原创插图。

比模型名称更重要的是切换路径时传递什么。常规请求变得复杂时,带上已核实的细节,比如预约标识、当前状态和仍不确定的信息。转给人工时,简要说明来电者的要求以及哪些步骤已经完成。好的交接让来电者少重复一次,也给接手的人足够的信息去核实。

测一测路由把请求送错地方的频率。例如对方说“把两次预约都改一下”,流程可能不同于只换一个日期。检查 AI 在征求确认前有没有发现两项预约。复杂请求从初步分流开始,也可以及时升级;只要带足上下文,这种恢复可能可以接受。如果它导致新旧预约不一致,前面省下的模型成本就变成了下游的处理成本。

预览把较低的 token 消耗列为让便宜模型承担分流的潜在收益。联络中心的实际成本还取决于重复来电、升级转接和中途放弃。对比正确解决一件事的成本,并把系统带来的人工跟进算进去。通话 40 秒就结束,如果第二天还得再打一次,只是把成本挪到了别处。

设计一组可以反复使用的小测试

从预期结果明确的场景开始,比如把一个虚构的周四预约改到下一周。记录预期的语音回复和预约系统状态。再加几个版本,分别包含确认前的打断、说到一半的纠正和一句简短的附和。还可以特意留一段沉默。来电者停下来翻日历时,应该能回来接着说,系统不应急着给出无关答复。

  1. 标记每次纠正的起止时间,以及 AI 声音真正停下的时刻。
  2. 检查回复是否保留了所有改动,记录来电者是否不得不重复某一项。
  3. 对照对话和后端状态,找出重复写入、错误日期和无依据的完成声明。
  4. 在安静与嘈杂条件下使用同一脚本,安排几名不同说话人和不同连接条件。
  5. 比较各实现的完成率、直到结果经核实的用时和路由错误。

测试要能覆盖重要的失败,同时保持在审核人员能逐通听完的规模。如果两套系统在安静场景里只差零点几秒,选用前可以先看影响更大的情况。可靠的确认和清楚的交接,可能比这点时间更重要。如果时间差会改变来电者不得不打断两次的频率,同样的数字就有了实际意义。

也要看反应最慢的通话

假设有十通虚构测试电话,九通都能很快听见纠正。第十通里,AI 念了很长一句,来电者盖着它的声音重复纠正,系统才停下来。平均延迟看着可能合理,可最后那通最容易让人失去信任。保留具体案例,样本够多时报告响应较慢的一端。小规模试点可以展示实际范围,并逐一听听最慢的几通。

如果系统听见与当前轮次无关的声音也停下,就可能把这种停顿误当成改善。用同一段背景说话声,分别干扰一条短确认和一段较长说明。看有多少次误停,随后能不能从听得懂的位置继续。再安排一通配对测试,在同一个时刻真的提出纠正。这一对能帮助分辨检测器是反应及时,还是太敏感。加入目标来电群体常用的不同异议说法,毕竟照本宣科说“等一下”只是其中一种。

分别判断各种结果给来电者带来什么负担。把随口的“嗯”误当成打断,也许只多出一小段停顿。漏听改期要求,可能让人不知道究竟约在哪一天。路由错误则可能让人反复解释。把频率与恢复所需的工夫并排列出来,可以帮助团队决定先修哪一种。也要试试看,接手的 AI 或人工能否说明当前预约,而不用让来电者从头讲。

不同渠道也会改变语音时序。安静房间里的浏览器通话和经过压缩的手机通话,提供的轮流发言证据不同。记录每份录音在哪里采集、是否使用免提,以及时间戳指的是来电者听到的声音还是服务内部事件。比较新旧方案时用同样的测量办法,才能解释来电者会在什么情况下感到区别。

大范围推出前,可以请少数审核人员在不知道使用哪套系统的情况下给通话打分。告知预期的预约结果,请他们判断来电者的意思是否得到理解、纠正是否得说第二次、最后的口头确认是否准确。再把听评和预约记录的审计结果合起来看。这样能发现说话自然和正确办完事情之间的差距。

ElevenLabs 已提供用于配置和运行语音及聊天智能体的 ElevenAgents 平台。峰会公告把 Interaction Engine 作为独立预览介绍,也分别说明了其他功能的时间安排。这里的试验可以先在现用的语音系统上做,等预览功能对你开放时,再用同样的通话脚本和预期结果复测。ElevenLabs 峰会及平台公告

一次临时改口,比一通照着脚本说的电话更值得演示

客户在一句话说到一半时改变主意,能听到修改后的确认,事后查到的也是正确预约,整套系统才算处理好了一次普通对话。比起请来电者完美照着脚本念,再听 AI 的声音够不够自然,这是更贴近实际使用的目标。

来源


想把客户通话和复盘会议的笔记整理成可检索的记录,可以创建 Telli.sh 账户。


← 返回博客