自己的电脑能同时做字幕和配音吗?
llama.cpp 0.9.0 增加了三项语音能力。在现有硬件上测试离线转写、说话人标注和预设声音配音。
你有一版产品演示的粗剪、一段两位同事边看边聊的录音,还有三句旁白要重做。把录音发给转写服务、把稿子发给语音服务,是常见做法。如果两项任务都能在剪辑电脑上跑,反复修改会更方便,尤其是在素材必须留在这台机器上时。相应地,剪辑人员要自己管理任务队列、模型文件和质量检查。
2026 年 11 月 4 日,开源推理项目 llama.cpp 发布了 0.9.0 版。这次更新加入 NVIDIA Nemotron 3.5 Transcribe 的离线转写支持、Chatterbox 的语音合成支持,以及无需参考录音的 Pocket TTS 预设声音。发行说明提到 40 种语言的转写、提示词上下文和说话人归属。三项改动都能用在同一个剪辑流程里,但对电脑和审核人员的要求各不相同。 llama.cpp v0.9.0 发行说明
如果你是在尝试本地聊天机器人时接触 llama.cpp 的,这个名字可能让此次更新显得用途有限。它其实是运行受支持模型架构的推理运行时,包含加载兼容模型文件和处理请求的工具。这次更新扩大了工具可以处理的任务。语音存在哪里、修订怎样呈现、文件何时可以发布,仍由外围应用决定。 llama.cpp 项目

Telli.sh 运行了发行版链接的官方 Windows 构建,并排版呈现实际版本输出。它确认的是构建标识。 发行版链接的 b12110 构建
字幕从一份可编辑的转写稿开始
假设同事录了一段十分钟的未发布产品讲解,另一位同事打断他,纠正某个功能名称。你需要一份可以搜索的转写稿、一份大致标明谁说了什么的记录,以及最终卡在正确画面上的字幕。这是三种不同的产物。第一项是文本,第二项是编辑标注,第三项需要时间对齐。
Nemotron 集成可以从前两项开始。已合并的实现支持离线转写,可以提供上下文并标注说话人。在同一段录音内,它可以跨处理窗口延续说话人信息。维护者的变更说明指出,逐词时间戳和流式处理不在此次集成范围内。实际流程是先转写完整录音,修正文稿,再根据交付需求,在单独的编辑或字幕环节做时间对齐。 Nemotron 3.5 Transcribe 集成
Telli.sh 原创图。本地转写得到可编辑的稿件。检查文本和说话人标签后,再对齐字幕。
如果团队常用日常对话里少见的词,提示词上下文尤其值得试。可以用一段谈及虚构功能 Pine Relay 的录音,先附上可能出现的名称和缩写,再用同一音频跑一遍不带词表的版本。记录名称是否修正了、模型是否在没人提到时插入了名称、数字或无关词有没有变。把词表控制在能解释每一项影响的范围内。转写助手应当让生词更好核对,同时避免词表反过来改写录音内容。
说话人归属也要单独检查。两位说话人的清晰访谈可能不难区分,但再加上免提接入的第三个人和几句重叠发言,修订工作量就可能增加。除了听每个人最长的一段,也要听说话人切换的位置。转写可以每个词都正确,却仍把一项重要决定归到另一人名下。熟悉录音的人确认之前,把模型生成的说话人标签和人工确认的姓名分开记录。
做字幕时,对照视频检查导出的结果。文稿里读着顺的句子,可能超出屏幕,在重要画面出现前就显示,或在下一位说话后还没消失。尽早测试一次硬切和一次短暂插话。如果需要时间精确的字幕文件,把对齐和修正也算进工时。即使最终还要用另一套工具剪辑,干净的初始转写稿仍然有用。
用预设声音做第一次测试
再看粗剪的另一部分。功能名变了,你得给六段屏幕录像各换一句旁白。模型和硬件准备好后,本地重新生成一条音频,试错成本可以很低。更难的是一致性和发音。新声音需要自然地接上前后的片段,正确念出产品名,还要装得进镜头时长。
0.9.0 将 Chatterbox 加入 llama.cpp 支持的语音合成模型。项目审核报告了 Chatterbox Turbo 和 Multilingual V3 在 CUDA 上的运行。审核人员试用了默认声音和依据参考音频生成的方式,并附上样本。这是集成审核在某一套环境上的证据。生产流程接下来要验证的是,在你使用的具体文稿和硬件上,声音和语言是否一致。 Chatterbox 支持及维护者的音频示例
Pocket TTS 提供另一种选择。兼容模型可以用 voices 字段公开内置声音名称,该字段在服务器的 GET /props 响应中返回。客户端可以把列表中的名字传给语音合成路由。脚本或小应用就能从已加载模型生成声音选择器。第一次试点也可以直接用预设,不必寻找和保存要模仿的真人录音。导出时记录模型和选择的声音名称,日后编辑还能从同样的设置开始。 Pocket TTS 预设声音支持
Telli.sh 原创图。导出前先听音频本身。预设告诉你提出了什么要求,试听告诉你实际生成了什么。
准备一小段稿子,放入常见演示不会涉及的用词。加入产品编号、地址格式或带单位的数字,再加一句语气很重要的台词。先分别生成三句,再生成整段。逐句听时声音可能很稳定,整段朗读却把重要词念得太快。找一位熟悉受众语言的人先不看稿子听一遍,再把听到的内容与原文比对。
最终音频与输入稿和原始录音分开保存。如果后来发现某个数字读错,就能只修正该条而保留原剪辑。已经有授权配音演员的项目,要明确标记真人录音与生成的候选,避免在没有人注意时相互替换。如果项目只需要清楚、一致的声音,预设是一种直接的选择。
运行时版本只是准备工作的一部分
团队已经在用 llama.cpp 的话,这次更新可以少一个换运行时的理由。仍要准备与目标电脑兼容的构建、正确的模型文件和模型所需的配套文件,例如 Nemotron 实现注明的多模态投影器。权重需要单独下载,有自己的使用条款。打包给另一团队或客户前,要同时看运行时和模型文档。 发行构建及 Nemotron 集成设置说明
内存应当在模型加载完毕、任务实际运行时测。模型文件大小只反映磁盘占用。执行时还需要模型计算空间、后端缓冲区和中间工作空间。一台能开始转写的台式机,在与剪辑软件共用 GPU 时仍可能变慢。一台第一次能跑的笔记本,第四次也可能因为散热和后台任务而更慢。按实际使用配置打开剪辑软件,记录系统内存峰值,并在适用时记录显存。
维护者在 Nemotron 合并请求中公开了转写验证,包含清晰语音和会议数据集,注明了量化设置和测试环境中的 RTX PRO 6000 Blackwell。这些结果解释了集成怎样得到验证。购买或部署时,要在目标机器上实测自己的录音。哪怕硬件相同,改变精度、语言或处理更多重叠发言,也可能影响运行时间和人工复核的平衡。 Nemotron 验证与设置
版本比较尽量简单。11 月 6 日的 b12144 是单独的预发行版本,其中改动了 CUDA 混合专家的布局。要判断这次音频新增功能,先用 11 月 4 日有正式版本号的发行版,并固定模型文件和设置。以后再测预发行版时,单独记录。这样可以追踪变化来自音频模型、推理后端还是外围应用。 11 月 6 日预发行说明
本地处理还要明确哪些东西会留在机器上。即使桌面流程调用本地服务器,旁边的应用仍可能上传日志、同步输出文件夹或下载依赖。处理敏感录音前,在测试机或专门的准备阶段取得所需程序和权重。然后断网,用一段普通素材测试流程哪些环节能完成。检查原始文件、临时数据和最终结果写到了哪里。运行时可以把推理限制在本地,整个数据路径仍取决于应用的其他部分。
在实际使用的电脑上试一个项目
- 准备两个短小且可以共享的输入。 两个人录 30 至 60 秒,加入少量重叠发言和一个虚构功能名。写一段短旁白,包含同一个名字和一个不好读的数字。各轮使用相同输入,方便分辨设置改动的影响。
- 固定运行时和模型。 选择适合系统的 v0.9.0 源码或其链接的 b12110 构建。记录模型来源、文件名和量化。对于通过
llama-server提供的 Nemotron,已合并的集成说明要求使用--reasoning off,因为默认模板可能只返回推理过程,没有转写。集成说明表示多模态 CLI 不需要这个开关。测试时选用未来实际运行的路径。 Nemotron 集成说明 - 测量冷启动,再重复一次。 第一轮记录从启动到输出的时间,下一轮记录模型已经加载后的出结果时间。转写时,用处理用时除以音频时长,判断更长录音的等待时间能否接受。记录内存峰值和剪辑软件能否正常响应。旁白流程可能更在意从改好一句话到听到新录音的时间。
- 按返工成本比较错误。 标出漏掉的词、错误数字、说话人互换和需要重新对时的句子。把修正用时也计入完成时间。旁白检查名称、数字、停顿以及新音频能否贴合画面。真正可比较的是修订完成的产物,第一份输出只是其中一环。
- 自动化前先安排交接。 决定谁复核转写、在哪里对齐字幕、已批准旁白如何标记。第一条通过后再试第二条。文件处理失败时保留输入,在剪辑队列显示失败,让人工可以接手而不用重跑整批。
可以用电子表格的四列跟踪这些检查,分别记录配置、处理时间、修正时间和是否通过。被拒绝的产物也要留下原因。试几次以后,可能发现本地配置很适合反复修改旁白,而嘈杂的多人访谈还是需要另一套流程。这也是有用的结果。把各项能力用在能省时间的地方,同时记录哪些场景用替代流程效果更好。
如果已有一套运行良好的转写流程,就用同一录音和验收标准与它比较。可以只迁移更容易的一半,例如在工作站上生成低风险的临时旁白。反过来,等有理由整合模型服务、且新实现证明达到原有编辑标准时,稳定的字幕流程以后也可以接入共同的本地工具链。
这次更新在哪里最有用
适合优先尝试的,是已经反复在做的工作。教程团队可以在视频离开剪辑电脑前转写粗剪,再生成临时旁白来检查节奏。研究人员可以把自己管理的录音转成可编辑文本,修正说话人标签并保留源音频。小型开发团队可以把两条路径都放到一个内部界面测试,前提是界面能显示所选模型、处理结果和错误。
这次更新最大的可能价值,是减少专用工具之间的交接,同时保留各自的质量检查。转写模型仍要认对文字、分清说话人。合成模型仍要念对稿子。编辑人员仍要判断结果何时可以交付。改变的是,这些工作可以共享一套推理工具,也可能共用你已有的一台电脑。
要把已完成的录音和转写、笔记放在一起回看,可以在 Telli.sh 开始上传。