AI分析阅读约 8 分钟

Block的Dessa提出一个问题:语音模型在阅读文字之前能学到什么?

Dessa是Block仅用语音训练的研究预览。它的全双工演示让我们重新审视时机、准确性,以及自然对话究竟能证明什么。

K
Ken Jo

先用如释重负的语气说“这样可以”,再停顿很久、用平淡的声音说一次。词语没变,对话却变了。

Block在2026年10月23日推出Dessa,介绍它是一个从人类对话中学习、未使用文本或预训练模型的模型。这家拥有Square与Cash App的公司将其描述为全双工语音系统:可以一边说,一边听。此次发布属于研究预览,提供公开录音,并向少数安全研究人员开放访问,而非一般可用的语音API。

有意思的问题是:如果时机与声音表现从一开始就成为学习材料,会发生什么?本文解释这个区别,提供一种实际聆听演示的方法,并讨论三类会受到对话行为影响的工作。我们的看法是,下一代有用的语音系统,需要像处理词语本身一样认真地处理词语之间的空隙。

说明图: Block的Dessa提出一个问题:语音模型在阅读文字之前能学到什么?

主图:关于语音与对话时机的原创编辑插图,不代表Dessa安装界面或实测音频轨迹。

语音包含整洁转写可能遗漏的信息

转写能把对话变成可搜索、可引用、可检查的内容,因此很有用。但通常它给读者的表达范围小于原始录音。重音、时机、重叠发言和非语言声音,都会影响一句话应该如何理解。

考虑一个假设的日程对话。有人说“周四可以”,随即补充“等等,午饭以后”。有用的助手需要保留这次纠正,不能把前半句当成已经完成的指令。纠正到来的时机很重要,因为系统此时可能已经开始准备回答。

另一个例子是简短回应。“嗯”可能表示“我还在听”,并不意味着“我想接过话头”。把每个声音都当成一个完整新轮次的系统,会让交流很累;把所有短促插话都忽略的系统,则可能错过真正的纠正。

这就是 对话节奏 问题:决定何时继续、等待、回应或让出话语权。仅仅让合成声音更有表现力并不能解决它。系统还必须对交流如何推进作出选择。

2024年发表的Moshi研究明确把重叠语音与插话视为分段轮流发言管线的局限。它是有用的背景,因为全双工对话早于Dessa。Block此次公告的独特主张是仅用语音训练,应与同时聆听和说话这一更广泛的类别分开评估。

三个问题,避免混淆三种不同能力

“语音原生”可以指不同的东西:训练数据、运行时组件之间传递的信息,或交互的时机。模型在某一维度取得进展,并不意味着另外几个维度也已解决。

下表将这些维度分开,供阅读产品公告时参考。它是概念比较,不是基准排名,也不是任何模型内部实现的完整说明。

问题它在问什么单凭这一点不能证明什么
模型用什么训练?学习过程用了语音、文本,还是两者特定任务或语言的准确性
运行时处理什么?音频直接进入模型,还是经过其他表示系统如何自然地处理打断
输入和输出能否重叠?系统能否在生成语音时继续聆听是否正确理解情绪或意图

2026年10月27日核对的Dessa页面在三个维度都提出了主张:仅语音学习、音频到音频的交互,以及全双工时序。这些是开发团队的描述,并未提供覆盖用户可能经历的每种对话的公开质量分数。

Moshi说明了这些区分为何重要。其论文描述的是建立在文本语言模型骨干之上的全双工语音—文本系统。它与Block描述的Dessa学习路径不同,但同样处理重叠的口头对话。若把所有语音系统都叫作转写管线,就会抹掉这种区别。

产品团队应该问:对这项工作,哪一个维度最重要?可搜索的档案需要可靠的文字记录;互动导师需要有用的反馈与合适的会话节奏;面向客户的智能体还需要完成业务任务的知识和权限。

训练材料、音频处理和对话时机是语音系统的三个独立维度。

原创解释图,将关于语音系统的三个问题分开,并不声称揭示Dessa尚未公开的架构。来源:Block的Dessa页面与2024年Moshi论文。

有说服力的声音与正确答案需要分别测试

富有表现力的回答容易理解,也可能让没有依据的答案听起来更可信。如果听众觉得系统理解自己,就可能不太愿意停下来核对细节。

因此,感受到的共情、事实准确性和任务完成情况应采用不同审核标准。即便系统缺乏回答所需的信息,友好回应仍可能合适。此时更好的做法往往是在恰当时刻提出清楚的问题,而不是给出情绪表达精致的猜测。

想象一段关于包裹延迟的假设客服对话。来电者很沮丧,并打断系统以更正订单号。有用的系统应容许纠正,保留正确标识符,并说明下一步能采取什么行动。温暖语气无法弥补错误查询或未经授权的承诺。

说话者听起来不确定时也一样。停顿可能意味着犹豫、找词、房间里发生了干扰,或这一轮已经结束。音频提供线索,但含义仍取决于上下文。合理的评估应肯定系统在信号模糊时进行澄清。

Block邀请少数安全研究人员检查Dessa的行为。这对读者了解当前阶段很有意义,但不能证明系统已经满足客服、教育或其他部署场景的可靠性要求。

官方演示是聆听练习,而不是评分表

Dessa公开页面提供精选对话录音,包括发布讨论与电影回忆。公司表示,回答由模型自行选择,字幕则在之后添加。这些录音可以展示行为实例,却不能说明同样的行为在广泛测试集里出现得多频繁。

先不要看字幕,听一听时机。回答在什么时候开始?相应的回应是在支持人类继续发言,还是与之争抢?系统是否留出了让说话者自我纠正的空间?

再检查内容。如果对话包含事实主张,要将其与表达质量分开评估。节奏出色的回答仍可能需要纠正。把两种判断分开,可以避免用令人愉悦的演示替代关于任务表现的证据。

最后关注恢复。当说话者纠正误解时,往往最能看出问题。交流是否解决了误会,还是系统继续沿用最初的解释?单次恢复不能说明成功率,却能帮助设计后续评估。

这项练习也有明确限制。精选录音不会让你控制提示、环境或重复尝试。应把它当成提出试用问题的方法,而不是提前回答所有部署问题的方法。

三种可能用途说明时机为何重要

以下情景是对会话能力的示例性应用,不是Dessa已宣布的客户部署,也不意味着当前预览支持所需集成。每个情景都将值得探索的行为,与使之可靠所需的工作分开。

语言练习伙伴 可以受益于等候学习者的犹豫,并认可成功的纠正。评估应区分有帮助的鼓励与妨碍练习的打断。试用还需要目标语言、纠错质量、重复错误处理的明确证据;自然的英语演示不能回答这些问题。

口头排练助手 可以帮助用户练习演讲或艰难的对话。有用的交流应该让说话者讲完一个想法、追问,并在指令变化后作出响应。构建体验的团队需要明确目标是排练、反馈,还是事实性指导,因为三者需要不同的审核标准。

服务分流界面 可以听取来电者说明、提出澄清问题,并在不重启对话的情况下保留纠正。难点在于把交流连接到正确案件和恰当的下一步。知识访问、认证、升级处理和交易权限,仍是系统的独立责任。

这些例子有一个共同点:更顺畅的对话,可以减少走向下一个决定的摩擦。价值取决于决定是否有用,以及用户能否纠正它。因此,打断处理与恢复是实际产品要求,而不是语音演示里才重要的细节。

本地运行是一项带有访问条件的硬件主张

Block称Dessa可在 MacBook Pro M4 Max或更高配置 上本地运行,训练使用了 一套NVIDIA GB200 NVL72。两项信息均来自2026年10月27日访问的官方项目页面,属于开发者报告,而不是我们自行安装后的测量。

这里要区分训练与推理。训练模型的机器与运行现有模型的机器回答的是不同问题。不能把训练系统当成消费者的硬件要求,也不能把笔记本可运行的说法理解为已发布的内存与延迟对照表。

访问条件又是另一个问题。公开页面仍将启动链接标注为“即将推出”,并说明早期访问面向选定的安全研究人员。页面没有提供可据以规划生产部署的一般API价格、可下载权重或支持语言表。

对规划未来工作的开发者来说,这足以确定值得持续追踪的问题,却不足以安排从现有语音技术栈迁移。可信的迁移计划需要可用的交付物、集成细节、目标硬件上的实测行为,以及清楚的支持安排。

将沉默与纠正纳入评估设计

如果未来开放更广泛试用,先从正确结果容易检查的任务开始。跨系统使用相同情景,并在参与者同意的前提下保留理解争议判断所需的音频。下列步骤是建议的评估设计,并非本文进行过的实验。

  1. 定义期望结果。 日程对话要写明正确日期与时间;排练要定义需要的反馈。不要把“听起来像人”作为唯一总体目标。
  2. 编写成对情景。 保持核心请求相近,只改变一个会话事件:停顿、简短回应、打断或明确纠正。这会让失败来源更容易讨论。
  3. 加入恢复指令。 要求系统修改此前的一处细节,检查最终答案是否反映纠正,以及对话是否清楚表达了变化。
  4. 分别判断时机与内容。 记录系统是否不当打断、遗漏纠正,或给出无依据事实。单一综合分数可能掩盖重要弱点。
  5. 测试预期环境。 一旦访问允许,在实际设备与音频配置中重复代表性任务。安静环境中的麦克风测试,只能为那套配置提供证据,不能代表每个房间或耳机。
  6. 用音频复核分歧。 审核者判断不同,就重放相关时刻并完善标准。分歧可能揭示任务定义不清,而非简单的模型错误。

一个初始示例集可以有12个情景:4个含停顿,4个含纠正,4个含简短回应。这些数量只是起步设计建议,不是关于科学充分性的主张,也不是已发表的Dessa基准。目的是在扩大规模前暴露不同的会话需求。

建议的语音评估分别检查轮次时机、事实正确性、纠正处理与任务结果。

原创评估指南,不暗示任何成功率、延迟结果或模型比较分数。

语音界面应让纠正成为普通动作

这个研究方向最有用的期待,并不是让每个助手都与人无法区分,而是让人不必花那么多力气调整说话方式,以适应僵硬的界面。停顿、打断、尚未说完的想法,本来就是日常交流的一部分。

Dessa为这种可能性提供了具体研究对象:开发者称其完全从语音学习的模型。下一个问题是,这些行为能否在用户真正需要的情境中保持可靠。好的语音界面应让继续、澄清和纠正都变得容易,同时保持任务本身清楚可理解。

来源

来源核对日期:2026年10月27日。产品细节均归于其发布者。场景与评估步骤为示例;我们没有安装Dessa或测量其性能。官方录音可在链接的项目页面收听。

来自Telli.sh的推荐

想为录音、参考笔记和对话之后的决定找到一个可搜索的地方吗?将参考材料集中到Telli.sh,让交接更容易理解。


← 返回博客