AI Tools阅读约 7 分钟

新 AI 能更好地处理同一笔退款吗?上线前先比较

NiCE Cognigy 的多变量测试让联络中心在部署前比较智能体。用退款、取消和转人工的场景,找出流畅演示容易漏掉的问题。

K
Ken Jo

退货八天前就到了仓库,退款却还没到账,客户打电话来问。第一个 AI 保证明天到账。第二个先查订单,说明退款已经发起但尚未结算,在客户对金额有异议时转给人工。两者听起来都很能干。实际发生了什么,要看订单系统和交接记录。

2026 年 11 月 12 日,联络中心软件供应商 NiCE Cognigy 推出新版智能体平台。Multivariate Testing 多变量测试可以并排运行不同智能体版本、语言模型、智能体或场景的模拟。公告还介绍了可检查技能、工具调用和模型使用情况的执行轨迹。新环境于 11 月 12 日开放给试用账户,现有客户从 11 月起逐步获得更新。NiCE Cognigy 产品更新

第一次有用的比较,是让同一智能体的两个版本处理同一个客户问题。退款、取消和要求转人工,可以展示在把版本交给客户使用前,需要核实哪些结果。从客户应该得到的服务出发,再检查支持这一结果的系统状态。

一段对话需要一个可检验的结果

退款例子可能有多个正确答案。款项仍在处理中,AI 可以说明状态并告诉客户去哪里查。退货已经收到却没发起退款,可能需要按现有规则处理,或者转给有权限的团队。来电者无法证明自己有权访问账户时,AI 应避免披露订单状态。把这些都放进一个叫“退款咨询”的场景,很容易掩盖三个不同的判断。

给每条测试设定明确的起始记录和允许的最终状态。例如,一条测试数据写明退款正在处理,已有参考编号。通过测试的智能体应读取状态,不再发起第二笔退款。另一条测试里,查询订单返回错误。通过测试的智能体会说明无法确认状态,并通过可用的支持渠道交接。预期结果由业务规则和系统状态决定。

客户的措辞仍然重要。“我就想赶紧结束”可能是在问退款状态,也可能想取消某项服务,或只是对等待感到不满。用不同说法表达同一种情况,避免测试只奖励某条对话中的固定措辞。既纳入直接要求转人工的说法,也纳入“能不能找人跟我一起看看”之类更委婉的问法。

同一客户场景在两种配置上运行,同时比较对话记录和最后的订单状态

固定客户案例,把对话与系统结果放在一起比较。Telli.sh 原创插图。

实际联络中心还要区分提问与授权操作。客户可能先问取消要花多少钱,然后决定保留服务。测试应检查智能体能否提供有依据的金额,同时让账户维持有效。工具调用会产生实际变更、事后需要人员撤销时,这一点尤为重要。

情况应该发生什么审核时看的证据
退款已经在处理中解释当前状态,避免重复发起订单状态、工具调用记录和对话文本
客户询问取消费用告知费用,无法核实时转接政策来源及账户未发生变更的证据
客户明确要求转人工转到适当的队列并传递获准的上下文路由事件与接手人员收到的信息
订单无法查询准确说明查询状态并提供下一步工具报错、面向客户的说法和重试或转接记录

一次只改一项,并排结果才容易解释

Cognigy 的更新说明提到可比较 Snapshots、模型、智能体和场景。先只改变其中一个。同时换掉模型和指令,即便回答更好了,也很难知道哪项改动奏效。交接流程和模型一起变更,路由退化也很难归因。一次控制一个变量,结果更容易用来改进。NiCE Cognigy 产品更新

第一次实际运行,可以固定对话规则与工具,只比较现用模型和候选模型。确定某个版本有潜力后,再用它比较两套提示词或流程配置。每次使用同样的订单记录、时间假设和测试数据。每轮从干净状态开始,以免前一轮关掉的案例改变后一轮看到的内容。

即使用固定输入,测试对话也可能有变化。存在多个有效路径时,模型第二轮可能作出不同选择。涉及付款、同意或交接的情况,要多试几次,看看有没有明显的不稳定。记录次数时也写上分母。三次试验里一次交接失败与一百次里一次,解释不同,两者都无法直接确定生产环境的失败率。

执行轨迹让退化更容易定位。智能体说“我查过您的退款”,轨迹里却没有查询订单,这是回答缺乏依据。如果查询正确执行,返回“处理中”,却被概括为“已到账”,那是读取或解读出了问题。对客户来说,这两种说法都可能误导,但修复位置不同。NiCE Cognigy 列出的轨迹明细包括技能执行、工具调用、模型调用和 token 用量。NiCE Cognigy 产品更新

把业务规则放在可以核验的环节

Cognigy 表示,现有客户可以保留 Flows 与 Flow Agents,也可以与新的 AI Agents 搭配,或采用新版的智能体主导架构。流程可以继续负责检查同意等确定性步骤,智能体则处理前后的对话。公告也介绍了把控制交回流程的方式。这让团队能单独调整某项行为,同时保留成熟的处理路径。NiCE Cognigy 产品更新

设想客户先请求退款,然后在 AI 说话时要求找人工。对话模型能理解请求发生了变化。固定的交接流程可以选择队列,并在获准时传递联络原因和已验证的账户标识。测试可检查接收方,确定转接是否真的发生。“我正在为您转接”只是中间信号,队列事件才是转接的证据。

再给同一个电话换一个结尾。适当的队列已经关闭,工具只返回转接不可用。按顺序查看轨迹,应能看出智能体是否选了预期队列、目标有没有拒绝,以及系统是否提供了另一个获准的支持渠道。智能体准确说明状况,可能通过沟通检查,路由配置却仍要改。如果工具报告成功,但工单没有送到队列,那是支持团队要调查的另一个问题。

因此,状态名称需要让团队对含义达成一致。“已请求转接”表示流程尝试了操作。“转接已接收”表示目的地收到请求。“交接完成”应表示接手人员或获准队列收到了已承诺传递的信息。记录最后一个可核实的状态,并写清队列关闭时应得到什么结果。

给这个案例配一个范围明确的取消任务。账户变更前,可以要求流程在客户看到适用条款后得到明确确认。模拟中,客户只是问价时,应在操作前停止。前置条件失败时也应停止。对话和操作值得分别打分,因为礼貌解释可以和错误的状态变更同时发生。

AI 处理客户说的话,授权、账户操作和转人工由明确的流程检查

把灵活的对话与管理重要操作的业务检查一起比较。Telli.sh 原创插图。

模拟和真实联络回答不同的问题

模拟能在不同配置上重放同一案例,也便于重新检查罕见但重要的失败。实际电话有真实等待、背景噪音、打断以及工具或人员变动,测试数据未必能复现。异常清晰的测试通话只能展示受控条件下的表现。可以设计一段线上观察,看看同一行为在日常使用中怎样。

在语音里,听一听来电者等了多久才收到下一句有用的回答,以及有人打断时系统会不会停下。账户状态即使回答正确,AI 盖过客户的纠正,依然会让人觉得无用。测试短停顿与长停顿、同一请求的不同口音,以及从询问状态改为要求转人工的来电。Cognigy 公告列出了支持轮流发言和工具调用的实时语音到语音功能。电话路由与实际声音条件都会影响客户体验。NiCE Cognigy 产品更新

聊天里,看看会话中断后发生什么。客户可能离开去找订单号,过一会儿回来。上下文仍有效时应正确使用,已经无法确认时应重新询问。两个版本都使用同一政策比较。对于长时间停顿很常见的渠道,这项检查很重要。

模拟希望改进的每种决策,都至少挑一个生产指标。转接减少,可能是智能体多解决了一些问题,也可能是客户更难找到人工。将重复联络、系统里的结果和交接成功率与转接率一起比较。检查案例的抽样方式,避免把来电结构的变化当成配置更新的成果。

从能向接手人员解释清楚的测试开始

  1. 在试用环境或符合资格的客户环境中,选择一个客户流程和一套现有配置作为基线。记录候选版到底改了什么。涉及重要操作时,用合成或获准的数据及测试集成。
  2. 为四种情况准备可重复的起始记录:退款已在处理、查询不可用、询问取消费用、直接要求转人工。看任何对话前,先写下预期最终状态。
  3. 条件允许时,用 Multivariate Testing 让两个配置运行同样的测试数据。一起看发言、工具事件和系统最终状态。每轮之间重置记录,重复受措辞或时机影响较大的情况。
  4. 错误披露信息、未经授权变更账户、悄悄丢失客户要求的交接,应与措辞问题分开。找出第一个出乎预期的步骤,修正负责该行为的环节,再重跑对应场景。
  5. 对符合条件的线上流量安排一段有限观察期。比较同一组结果,并和接收转接的人员一起查看实例。重要行为退化时,要能方便地退回基线。

对已经使用 Cognigy 的企业,产品更新说明生产环境将逐步收到这些功能,届时会通知客户。想先看看设计,可以使用试用环境。计划在真实电话中比较之前,再核实目标环境是否已经能用。NiCE Cognigy 的开放与试用说明

更好的联络中心智能体会留下清楚的记录,说明它说过什么、做过什么。同一条测试中,如果能展示退款状态、授权步骤和接收队列,支持团队就能用这个比较决定哪个版本应该面对客户。

来源


想让支持复盘中的对话记录和决定可以检索,可以创建 Telli.sh 账户。


← 返回博客