AI ToolsDoc trong 13 phut

Máy tính của bạn có thể làm cả phụ đề lẫn lời thuyết minh không?

llama.cpp 0.9.0 bổ sung ba khả năng xử lý giọng nói. Hãy thử phiên âm ngoại tuyến, gắn nhãn người nói và đọc lời bằng giọng có sẵn trên máy bạn đang dùng.

K
Ken Jo

Bạn có bản dựng thô của video giới thiệu sản phẩm, bản ghi hai đồng nghiệp nói xen vào và ba câu thuyết minh cần làm lại. Gửi bản ghi tới dịch vụ phiên âm và kịch bản tới dịch vụ tạo giọng là cách quen thuộc. Chạy cả hai việc trên máy dựng có thể giúp sửa nhiều lần dễ hơn, nhất là khi tư liệu nguồn cần nằm trên máy. Đổi lại, người dựng tự quản lý hàng đợi, tệp mô hình và bước kiểm tra chất lượng.

Ngày 4 tháng 11 năm 2026, dự án suy luận mã nguồn mở llama.cpp phát hành bản 0.9.0. Bản này hỗ trợ phiên âm ngoại tuyến với NVIDIA Nemotron 3.5 Transcribe, tạo giọng với Chatterbox và các giọng Pocket TTS có sẵn dùng được mà không cần bản ghi tham chiếu. Ghi chú phát hành mô tả phiên âm 40 ngôn ngữ, hỗ trợ ngữ cảnh trong lời nhắc và nhận diện lượt nói. Cả ba thay đổi đều có thể dùng trong cùng một quy trình dựng, nhưng mỗi tính năng đặt yêu cầu khác nhau cho máy và người kiểm tra. Ghi chú phát hành llama.cpp v0.9.0

Nếu bạn biết llama.cpp từ lúc chạy chatbot cục bộ, cái tên có thể làm bản phát hành nghe hẹp hơn thực tế. Đây là môi trường suy luận cho các kiến trúc mô hình được hỗ trợ, có công cụ nạp tệp tương thích và phục vụ yêu cầu. Bản cập nhật mở rộng những việc bộ công cụ này chạy được. Ứng dụng xung quanh vẫn quyết định lưu âm thanh ở đâu, hiển thị sửa đổi thế nào và lúc nào tệp sẵn sàng công bố. Dự án llama.cpp

Đoạn đầu ra dòng lệnh xác định bản dựng llama.cpp b12110 cho Windows được liên kết từ bản 0.9.0

Telli.sh chạy bản dựng Windows chính thức được dẫn trong bản phát hành rồi trình bày lại đầu ra phiên bản thực tế. Thông tin đó xác nhận bản dựng. Bản dựng b12110 được dẫn từ bản phát hành

Phụ đề bắt đầu từ bản chép lời sửa được

Giả sử đồng nghiệp quay mười phút giới thiệu sản phẩm chưa phát hành. Một người khác ngắt lời để sửa tên tính năng. Bạn cần bản chép lời có thể tìm, cách phân biệt sơ bộ ai nói gì và cuối cùng là phụ đề khớp hình. Đó là ba đầu ra khác nhau. Một là văn bản, hai là chú thích biên tập và ba cần dữ liệu thời gian.

Tích hợp Nemotron giúp bắt đầu với hai đầu ra đầu. Phần triển khai đã hợp nhất hỗ trợ phiên âm ngoại tuyến, tùy chọn ngữ cảnh và gắn nhãn người nói. Nó có thể giữ thông tin người nói qua nhiều cửa sổ xử lý trong cùng bản ghi. Ghi chú của người duy trì nêu mốc thời gian từng từ và phát trực tiếp nằm ngoài phạm vi tích hợp này. Khi sản phẩm cuối cần đồng bộ, hãy chép lời từ bản ghi hoàn chỉnh, sửa văn bản rồi căn thời gian ở bước dựng hoặc làm phụ đề riêng. Tích hợp Nemotron 3.5 Transcribe

Bản ghi qua phiên âm cục bộ, người rà soát và bước căn phụ đề riêng

Minh họa của Telli.sh. Bản chép lời cục bộ cho bạn nội dung để sửa. Căn phụ đề sau khi đã kiểm tra văn bản và nhãn người nói.

Ngữ cảnh trong lời nhắc đặc biệt hữu ích với từ hiếm trong hội thoại. Với bản ghi về tính năng giả định Pine Relay, thử danh sách ngắn tên và từ viết tắt dự kiến, rồi chạy cùng đoạn không có danh sách. Đếm xem ngữ cảnh có sửa đúng tên, tự chèn tên vào chỗ không ai nói, hay đổi số và từ không liên quan không. Giữ danh sách đủ gọn để chỉ ra mục nào tác động kết quả. Trợ lý phiên âm cần giúp kiểm tra từ lạ dễ hơn mà không để bảng thuật ngữ viết lại bản ghi.

Nhãn người nói cần một bài kiểm tra riêng. Hai người trong cuộc phỏng vấn rõ tiếng có thể dễ phân biệt. Thêm người thứ ba qua loa điện thoại và vài câu chồng lấn có thể làm công sửa thay đổi. Nghe chỗ đổi lượt và đoạn dài nhất của từng người. Bản chép có thể đúng toàn bộ từ nhưng gán quyết định quan trọng nhầm người. Tách nhãn do mô hình tạo khỏi tên do người gán cho đến khi ai đó hiểu bản ghi xác nhận.

Với phụ đề, mở bản xuất cạnh video để đối chiếu. Câu đẹp trên tài liệu có thể tràn khỏi màn hình, xuất hiện trước đoạn công bố quan trọng hoặc vẫn nằm đó khi người tiếp theo bắt đầu nói. Hãy thử một cú cắt thẳng và đoạn ngắt lời ngắn ngay đầu clip. Nếu cần tệp phụ đề có mốc đáng tin, tính cả thời gian căn chỉnh và sửa. Bản chép đầu sạch vẫn có ích dù bản dựng cuối phải làm ở công cụ khác.

Giọng có sẵn phù hợp để thử đầu tiên

Xét phần còn lại của bản dựng thô. Tên tính năng thay đổi, nên bạn phải thay một câu thuyết minh trong sáu bản quay màn hình. Tạo câu mới tại chỗ là thử nghiệm ít tốn kém khi mô hình và phần cứng đã sẵn sàng. Việc khó là giữ giọng nhất quán và phát âm đúng. Âm thanh mới phải tự nhiên giữa các đoạn xung quanh, đọc đúng tên sản phẩm và vừa thời lượng cảnh.

Bản 0.9.0 đưa Chatterbox vào nhóm mô hình chuyển văn bản thành giọng nói được llama.cpp hỗ trợ. Đợt rà soát của dự án báo cáo chạy Chatterbox Turbo và Multilingual V3 trên CUDA. Người rà soát thử giọng mặc định và tạo giọng theo tham chiếu, kèm mẫu của các lượt đó. Đó là bằng chứng từ bước tích hợp trên một cấu hình cụ thể. Với sản xuất, câu hỏi kế tiếp là giọng và ngôn ngữ dự kiến có nhất quán trên đúng văn bản và phần cứng bạn dùng không. Hỗ trợ Chatterbox và mẫu âm thanh của người duy trì

Pocket TTS có lựa chọn khác. Mô hình tương thích có thể liệt kê tên giọng tích hợp trong voices ở phản hồi GET /props của máy chủ. Ứng dụng khách có thể gửi tên trong danh sách tới tuyến tạo giọng. Nhờ đó, tập lệnh hay ứng dụng nhỏ có thể điền bộ chọn giọng từ mô hình đã nạp. Đợt thử đầu có thể dùng giọng có sẵn mà không phải tìm và lưu bản ghi của một người để bắt chước. Ghi mô hình và tên giọng vào hồ sơ xuất để lần sửa sau có thể bắt đầu từ cùng cấu hình. Hỗ trợ giọng có sẵn của Pocket TTS

Kịch bản thuyết minh được đọc bằng giọng có sẵn, nghe kiểm tra rồi xuất

Minh họa của Telli.sh. Nghe chính âm thanh trước khi xuất. Giọng đã chọn cho biết điều bạn yêu cầu, còn lượt nghe cho biết điều đã được tạo.

Bắt đầu bằng kịch bản ngắn chứa các từ một bản trình diễn thông thường bỏ qua. Thêm mã sản phẩm, cách viết địa chỉ hoặc số có đơn vị, cùng một câu cần đúng sắc thái. Thử ba câu riêng rồi đọc toàn đoạn. Giọng có thể ổn ở từng câu nhưng lướt qua từ quan trọng trong đoạn dài. Nhờ người hiểu ngôn ngữ của khán giả nghe khi chưa thấy kịch bản, sau đó đối chiếu điều họ nghe với nội dung dự kiến.

Lưu âm thanh cuối riêng với kịch bản và bản ghi nguồn. Nếu phát hiện đọc sai số, bạn sửa đúng lượt đó mà không mất bản dựng gốc. Khi đã có diễn viên thu giọng được phép, gắn nhãn rõ bản thu và phương án tạo sinh để chúng không âm thầm thay thế nhau. Giọng có sẵn là lựa chọn đơn giản khi dự án chỉ cần tiếng đọc rõ và đều.

Phiên bản môi trường chạy chỉ là một phần của cấu hình

Bản phát hành giúp đội đã dùng llama.cpp bớt lý do chuyển môi trường chạy. Bạn vẫn cần bản dựng tương thích, tệp mô hình phù hợp và tệp kèm theo riêng cho mô hình, chẳng hạn bộ chiếu đa phương thức mà triển khai Nemotron nêu. Trọng số tải riêng và có điều khoản riêng. Kiểm tra tài liệu cả môi trường chạy lẫn mô hình trước khi đóng gói cho đội hoặc khách hàng khác. Tệp bản phát hành và ghi chú thiết lập Nemotron

Nên đo bộ nhớ trong lúc xử lý, sau khi nạp mô hình xong. Kích thước tệp chỉ cho biết dung lượng đĩa. Khi chạy còn cần bộ nhớ thực thi, bộ đệm phần phụ trợ và dữ liệu trung gian. Máy bàn khởi động phiên âm được nhưng có thể làm phần mềm dựng chậm khi cả hai dùng GPU. Laptop chạy được một lần có thể mất nhiều thời gian hơn ở lần bốn do tản nhiệt và tác vụ nền. Đo RAM đỉnh và bộ nhớ GPU khi phù hợp, với trình dựng mở đúng như lúc sử dụng.

Người duy trì công bố xác thực phiên âm trong yêu cầu hợp nhất Nemotron, có tập lời nói rõ và tập cuộc họp, cấu hình lượng tử hóa xác định và RTX PRO 6000 Blackwell. Các kết quả cho biết tích hợp được kiểm tra thế nào. Khi quyết định mua hoặc triển khai, đo trên bản ghi và máy dự kiến của bạn. Cùng phần cứng, đổi độ chính xác, ngôn ngữ hoặc lượng lời nói chồng lấn có thể đổi cân bằng giữa thời gian chạy và công rà soát. Xác thực và thiết lập Nemotron

Giữ so sánh phiên bản đơn giản. b12144 ngày 6 tháng 11 là bản thử trước riêng, thay cách bố trí mô hình hỗn hợp chuyên gia trên CUDA. Muốn đánh giá bổ sung âm thanh, bắt đầu với bản đánh số ngày 4 tháng 11 rồi giữ nguyên tệp mô hình và cài đặt. Nếu đánh giá bản thử sau, ghi đó là lượt riêng. Như vậy có thể biết khác biệt do mô hình âm thanh, phần phụ trợ suy luận hay ứng dụng xung quanh. Ghi chú bản thử ngày 6 tháng 11

Xử lý cục bộ cũng cần định nghĩa rõ thứ gì nằm trên máy. Quy trình trên máy bàn có thể gọi máy chủ cục bộ, trong khi ứng dụng đi kèm vẫn gửi nhật ký, đồng bộ thư mục đầu ra hoặc tải phụ thuộc. Trước khi dùng bản ghi nhạy cảm, lấy tệp thực thi và trọng số bằng máy thử hoặc bước chuẩn bị chỉ định. Sau đó, ngắt mạng và dùng clip vô hại để xem công đoạn nào hoàn tất. Kiểm tra vị trí tệp gốc, dữ liệu tạm và bản xuất. Môi trường chạy cục bộ giúp giới hạn phần suy luận, còn ứng dụng quyết định đường đi toàn bộ dữ liệu.

Thử một dự án trên chính máy bạn đang dùng

  1. Chọn hai đầu vào ngắn có thể chia sẻ. Thu 30 đến 60 giây với hai người, có chút lời chồng và tên tính năng bịa. Viết đoạn đọc ngắn dùng cùng tên và một con số khó. Giữ đầu vào cố định giữa các lượt để thấy tác động của thay đổi cài đặt.
  2. Cố định môi trường chạy và mô hình. Chọn mã nguồn v0.9.0 hoặc bản dựng b12110 được liên kết cho hệ thống. Ghi nguồn mô hình, tên tệp và lượng tử hóa. Với Nemotron qua llama-server, phần tích hợp ghi dùng --reasoning off vì mẫu mặc định có thể trả phần suy luận mà không có bản chép. Ghi chú nói giao diện dòng lệnh đa phương thức không cần cờ đó. Hãy thử đúng cách bạn định vận hành. Ghi chú tích hợp Nemotron
  3. Đo lượt chạy nguội rồi lặp lại. Ghi thời gian từ khởi chạy tới đầu ra ở lượt đầu, và thời gian có kết quả sau khi mô hình đã nạp. Với phiên âm, chia thời gian xử lý cho độ dài âm thanh để ước lượng mức chờ của bản ghi dài hơn. Đo bộ nhớ đỉnh và độ phản hồi của trình dựng. Thuyết minh có thể ưu tiên thời gian từ sửa một câu tới lúc nghe được bản mới.
  4. So lỗi theo công sửa. Đánh dấu từ bỏ sót, số sai, nhầm người nói và câu cần căn lại. Tính thời gian chỉnh vào thời gian hoàn thành. Với thuyết minh, kiểm tra tên, số, chỗ ngắt và độ khớp với cảnh. So sánh tốt tính cả bản đã sửa.
  5. Xác định bước bàn giao trước khi tự động hóa. Quyết định ai rà bản chép, căn phụ đề ở đâu và đánh dấu lời đọc đã duyệt thế nào. Thử clip thứ hai sau khi clip đầu đạt. Nếu tệp lỗi, giữ đầu vào và hiện lỗi trong hàng đợi dựng để người xử lý không phải chạy lại cả lô.

Có thể theo dõi bốn cột trong bảng tính gồm cấu hình, thời gian xử lý, thời gian sửa và kết quả duyệt. Ghi lý do loại từng đầu ra. Sau vài lượt, bạn có thể thấy thiết lập cục bộ rất tốt khi sửa thuyết minh nhiều lần, còn phỏng vấn nhóm ồn vẫn cần quy trình khác. Đó là kết quả hữu ích. Dùng từng phần nơi nó tiết kiệm thời gian và ghi chỗ phương án dự phòng hiệu quả hơn.

Nếu đã có quy trình phiên âm tốt, so sánh với nó trên cùng bản ghi và tiêu chí. Bạn có thể chuyển riêng phần dễ hơn, như tạo lời đọc nháp ít rủi ro trên máy trạm. Ngược lại, quy trình phụ đề đáng tin vẫn có thể hưởng lợi từ tích hợp cục bộ chung sau này, khi có lý do gộp việc phục vụ mô hình và triển khai mới đã đáp ứng chuẩn biên tập cũ.

Bản phát hành hữu ích nhất ở đâu

Điểm khởi đầu tốt nhất là việc vốn làm lặp lại. Đội hướng dẫn có thể chép lời bản thu thô trước khi video rời máy dựng và tạo giọng nháp để thử nhịp. Nhà nghiên cứu có thể tạo bản chép sửa được từ bản ghi họ kiểm soát, sửa nhãn người nói và giữ âm thanh làm nguồn. Đội phát triển nhỏ có thể thử cả hai qua giao diện nội bộ, nếu giao diện hiện rõ mô hình đã chọn, đầu ra và lỗi.

Bản phát hành có thể giảm bàn giao qua nhiều công cụ chuyên dụng trong khi vẫn giữ từng bước kiểm tra. Mô hình phiên âm vẫn phải nhận từ và phân biệt người nói. Mô hình tổng hợp vẫn phải đọc đúng kịch bản. Người dựng vẫn quyết định lúc nào kết quả dùng được. Điểm mới là các việc có thể chia sẻ một bộ công cụ suy luận và có thể chạy trên máy bạn đã dùng.

Với bản ghi hoàn chỉnh bạn muốn xem lại cùng bản chép lời và ghi chú, hãy bắt đầu tải lên trong Telli.sh.


← Quay lai blog