AI giọng nói chạy ngoại tuyến trên Mac có biết chờ đến lượt không?
Bản Sophon-Realtime cho Apple Silicon xử lý hội thoại ngay trên máy. Dùng bài phỏng vấn giả lập để tách riêng nhu cầu bộ nhớ, độ trễ phản hồi, tiếng vọng và khả năng ngắt lời.
Hãy hình dung bạn luyện phỏng vấn xin việc ở bàn bếp. Bạn bắt đầu giải thích mình đã giải quyết một vấn đề ra sao, ngừng một chút để tìm đúng từ, rồi người phỏng vấn chen vào như thể bạn đã nói xong. Vài giây sau, bạn muốn đính chính nhưng họ vẫn tiếp tục nói đè. Cả hai lỗi có thể xảy ra trong ứng dụng giọng nói mà câu trả lời nghe rất hay khi phát lại sau đó.
Ngày 13 tháng 11 năm 2026, Adventists AI công bố bản Sophon-Realtime chạy cục bộ trên Mac. Bản này kết hợp mô hình giọng nói Flash-4bit với môi trường chạy MLX của Apple trên Apple Silicon. Dự án khuyến nghị bộ nhớ hợp nhất từ 36 GB, liệt kê khả năng luân phiên lượt nói và ngắt lời, đồng thời cho biết thiết lập trên Mac tải khoảng 24 GB tệp mô hình. API lưu trữ trên máy chủ được công bố riêng ngày 14 tháng 11 và không xử lý hội thoại ngay trên máy Mac của bạn.
Điều cần biết là toàn bộ quá trình có vận hành như một cuộc trò chuyện khi không dùng mạng hay không. Một buổi phỏng vấn giả lập ngắn giúp bạn thử điều đó. Ta sẽ tách thời gian chờ tiếng trả lời đầu tiên ra khỏi quyết định khi nào bắt đầu nói, rồi xem còn bao nhiêu tài nguyên cho công việc khác trên máy.
Sau khi thiết lập, cách chạy cục bộ xử lý âm thanh trên thiết bị. API lưu trữ trên máy chủ đi theo đường khác.
Nên đo mốc khoảng một giây như thế nào?
Trên M4 Max có 36 GB, thẻ mô hình bản Mac của dự án báo cáo thời gian từ lúc người dùng ngừng nói đến tiếng đầu tiên là 0,9–1,1 giây khi mô hình chắc chắn người dùng đã nói xong. Khi cần thêm thời gian để quyết định, thời gian chờ có thể tới khoảng 2,5 giây. Đây là kết quả của dự án cho cấu hình đó. Trước khi thử lại, hãy định nghĩa “ngừng” là gì. Trên bản ghi, bạn đánh dấu được âm tiết cuối nghe thấy. Hệ thống tự quyết định lúc nào lượt đầu vào kết thúc. Hai mốc đó có thể cách nhau bằng một khoảng dừng nghe rất bình thường với con người.
Độ trễ tới tiếng đầu tiên gồm mọi việc xảy ra giữa khi bạn nói xong và khi bắt đầu nghe thấy mô hình. Đôi khi thời gian đó dùng cho việc xử lý của mô hình, đôi khi dùng để chờ xem lượt nói đã kết thúc chưa. Mô hình nhanh vẫn có thể cắt ngang mọi khoảng dừng nếu coi im lặng là dấu hiệu kết thúc quá sớm. Ngược lại, hệ thống ứng xử tốt có thể cần thêm chút thời gian để nhận ra lúc chuyển lượt còn mơ hồ. Chỉ nhìn đồng hồ bấm giờ chưa cho biết trải nghiệm nào tốt hơn.
Thử câu “vì sao bạn chọn bộ nhớ đệm?” Trả lời ngắn, kết thúc rõ và để ứng dụng đáp lại. Lần thứ hai, nói “chúng tôi chọn bộ nhớ đệm vì…” rồi dừng trước khi nói tiếp. Lần thứ ba, trả lời tương tự khi quạt chạy gần đó. Ứng dụng có thể đạt cùng thời gian ra tiếng đầu trong bài thử đầu nhưng thất bại rõ ở hai lượt sau. Chỉ so thời gian khi đã kiểm tra ứng dụng có bắt đầu nói đúng lúc hay không.
| Tình huống hội thoại | Quan sát cần ghi | Vì sao quan trọng |
|---|---|---|
| Câu trả lời kết thúc rõ | Từ âm tiết cuối tới khi nghe tiếng đáp đầu tiên | Cho biết lượt đã kết thúc có khiến người dùng chờ lâu không |
| Ngừng giữa câu | Trợ lý chờ hay bắt đầu trả lời? | Cho thấy hệ thống có coi im lặng là dấu hiệu được phép nói không |
| Đính chính khi đang phát âm thanh | Mất bao lâu để trợ lý ngừng và có hiểu lời sửa không | Kiểm tra người dùng có lấy lại lượt nói được không |
| Micrô thu cả âm thanh phát ra | Có tự kích hoạt phản hồi hoặc lặp chữ không | Cho thấy tiếng vọng tác động thế nào trong phòng thật |
Bạn có thể tự thu những số đo này ở nhà bằng giọng của mình. Ghi điều kiện thử cùng con số. Loa và tai nghe tạo các đường truyền tiếng vọng khác nhau. Bật quạt là tình huống gây nhiễu thực tế, còn phép đo chuẩn về lời nói cần điều kiện khác. Thử nghiệm trong phòng không kiểm soát không đủ để so độ trễ với hệ thống máy chủ.
Ngắt lời cần kiểm tra hai việc
Sophon mô tả bản Mac là hai chiều đồng thời, có thể ngắt lời và khử tiếng vọng. Trong ứng dụng tương tác, một lần ngắt có ích khi đầu ra dừng và thông tin mới vẫn được tiếp nhận. Nếu hệ thống lập tức im khi nghe “xin lỗi, ý tôi là thứ Ba” nhưng tiếp tục suy luận về thứ Năm thì mới xử lý được một nửa vấn đề.
Trong buổi phỏng vấn giả lập, yêu cầu một câu hỏi tiếp theo dài, rồi chen vào “đợi chút, tôi đang nói về di chuyển cơ sở dữ liệu, không phải ra mắt cho khách hàng.” Ghi xem lời đáp có dừng, ứng dụng có xác nhận đính chính và câu hỏi thực sự tiếp theo có phản ánh nội dung mới không. Thử ngắt bằng lời sửa có nghĩa và thử bằng tiếng động ngắn như ho. Ứng dụng không nên phải coi hai việc là một. Chỉ thử thành công trường hợp đầu có thể bỏ qua việc ứng dụng quá dễ dừng phát trong phòng thật.
Tiếng vọng và ngắt lời là hai hiện tượng riêng. Thử cả bằng tai nghe và bằng loa ở âm lượng vừa phải. Nếu lời xác nhận tự kích hoạt lượt ghi mới, đổi vị trí micrô hoặc cách khử vọng có thể hữu ích hơn đổi sang mô hình nhỏ. Tránh thay đồng thời phần cứng, mô hình và cài đặt âm thanh. Lượt thử kế tiếp tốt hơn hay tệ hơn cần có nguyên nhân để đối chiếu.
Thử riêng khoảng dừng và lời đính chính có chủ đích. Cả hai có thể có im lặng, nhưng ứng dụng cần phản hồi khác nhau.
Bản Mac đưa bộ nhớ vào trải nghiệm sử dụng
Hướng dẫn cài đặt bản Mac mô tả cách chạy bằng MLX trên Apple Silicon và khuyến nghị bộ nhớ hợp nhất từ 36 GB. Lượt tải khoảng 24 GB là con số lưu trữ. Con số đó không nói phần dữ liệu đang dùng trong bộ nhớ luôn đúng 24 GB. Mô hình, bộ nhớ đệm, xử lý âm thanh và các ứng dụng khác cùng dùng tài nguyên trong phiên thực tế.
Trong lượt thử đầu, đóng ứng dụng nặng bộ nhớ và dùng kịch bản ngắn. Mở Activity Monitor để xem áp lực bộ nhớ và dung lượng hoán đổi có tăng trong lúc chạy không. Sau đó mở những công cụ bạn sẽ dùng cùng trợ lý rồi lặp lại. Dù nạp được mô hình, áp lực bộ nhớ tăng hoặc âm thanh chập chờn có thể khiến ứng dụng khó dùng thường xuyên. Hãy tìm cấu hình thoải mái khi dùng, thay vì xem máy yếu nhất mở được chương trình là cấu hình khuyến nghị.
Ngày 16 tháng 11, dự án công bố các biến thể 4B riêng cho GPU phổ thông. Ghi chú phát hành tách cách chạy trên GPU đó khỏi bản 32B Flash-4bit MLX cho Mac. Số VRAM thấp hơn ở môi trường chạy khác không đổi mức khuyến nghị dành cho Mac. Kết quả của API lưu trữ trên máy chủ, GPU máy chủ và MLX cục bộ cũng khác về mô hình lẫn điều kiện tải. Chọn đúng cách bạn định chạy trước khi đọc những con số trong kho mã.
Danh sách ngôn ngữ chính thức ảnh hưởng tới quy trình giọng nói. Kho mã liệt kê tiếng Hàn là ngôn ngữ dự kiến. Ở lượt đầu, dùng ngôn ngữ đã có trong tài liệu như tiếng Anh. Một mô hình hỗ trợ đa ngôn ngữ vẫn có thể khác nhau về giọng, nhận dạng và bắt lượt giữa các tiếng. Nếu cần phỏng vấn bằng tiếng Hàn, bản hiện tại giúp bạn xây dựng bài thử tương tác, còn khả năng hỗ trợ tiếng Hàn cần được xác minh riêng.
Kiểm tra chế độ ngoại tuyến sau khi tải xong
Khâu chuẩn bị cần mạng để tải thành phần phụ thuộc và trọng số như hướng dẫn Mac mô tả. Làm theo tài liệu, xem nội dung tập lệnh trước khi cài và xác định các tệp cục bộ được lưu ở đâu. Quyền truy cập micrô của thiết bị là vấn đề riêng với việc cài mô hình. Bắt đầu bằng âm thanh bạn có quyền sử dụng và xin đồng ý trước khi ghi âm người khác.
- Làm theo hướng dẫn cài trên Mac và cố định một bản sửa đổi của dự án nếu thuận tiện. Chờ tải xong rồi thử một lượt nói bằng ngôn ngữ hỗ trợ khi còn kết nối.
- Ngắt mạng khi thiết lập đã xong. Mở phiên chạy cục bộ mới và xác nhận câu hỏi nói mới nhận câu trả lời mới thay vì phát lại mẫu lưu sẵn.
- Thử vài câu đã kết thúc, vài khoảng dừng giữa câu và vài lời đính chính với cùng cài đặt micrô và loa. Ghi mẫu máy, bộ nhớ, lỗi và thời gian đo.
- Lặp lại một đoạn ngắn khi mở các ứng dụng thường dùng. Nếu độ trễ hoặc âm thanh tệ hơn, kiểm tra áp lực bộ nhớ và chi tiết khác giữa hai lần trước khi kết luận.
Thông báo API lưu trữ trên máy chủ ngày 14 tháng 11 đưa ra cách thử cho nhà phát triển chưa thiết lập mô hình cục bộ. Cách này hữu ích để so tương tác hoặc phát triển tích hợp. Ứng dụng gửi âm thanh tới một dịch vụ có điều kiện riêng về quyền riêng tư và mạng. Chuyển giữa dịch vụ lưu trữ trên máy chủ và giao diện dòng lệnh trên Mac làm thay đổi nhiều thứ hơn khả năng khởi chạy cùng tập lệnh.
Chạy ngoại tuyến có thể giảm dữ liệu rời khỏi thiết bị, hữu ích khi bạn luyện kể chuyện nhạy cảm hoặc làm nguyên mẫu cần chạy trên đường truyền yếu. Cách này chưa cho biết ứng dụng có ghi dữ liệu ra ổ đĩa không. Hãy kiểm tra phần mềm đang chạy, gồm bản ghi âm, bản chép lời và nhật ký. Một lượt thử không mạng có thể cho thấy hội thoại vẫn chạy khi ngắt kết nối. Nó chưa đủ để đánh giá các đặc tính riêng tư khác của ứng dụng sau này.
Một ứng dụng nữa là nguyên mẫu biểu mẫu bằng lời nói. Giả sử người dùng trả lời bốn câu và được sửa câu cuối trước khi tiếp tục. Ứng dụng cần giữ nội dung đã chấp nhận riêng với cách hiểu mới nhất của mô hình giọng nói. Nếu lời đính chính đến lúc đang phát âm thanh, chỉ cập nhật đúng trường sau khi đã hiểu. Hội thoại rảnh tay có thể làm việc này dễ hơn, còn thời điểm đưa bản nháp vào hồ sơ vẫn do ứng dụng quyết định.
Khi so hai bản chạy, ghi điều kiện đạt trước khi bắt đầu. Ví dụ, lượt thử đạt khi ứng dụng chờ hết khoảng dừng đã định, ngừng phát khi có lời sửa thật và hỏi tiếp đúng đề tài đã đính chính. Ghi riêng số lượt hoàn tất. Khi đủ lượt lặp có thể so sánh, dùng trung vị và khoảng dao động cho số đo thời gian. Ghi cả lượt làm lại thay vì dùng riêng cuộc trao đổi trơn tru nhất. Trong bài thử nhỏ ở nhà, từng lượt sai thường cho biết nhiều hơn một số trung bình.
Giữ mục tiêu thử trên mạng và ngoại tuyến giống nhau. Dịch vụ lưu trữ trên máy chủ là một đối chứng hữu ích khi máy chạy nguyên mẫu không đủ bộ nhớ cho giọng nói. Nếu hai cách khác nhau về giọng, cài đặt lượt nói, mô hình và quyền truy cập thiết bị, hãy ghi từng điểm khác. Độ trễ thấp hơn chưa trả lời được cách nào ứng xử tốt hơn khi người dùng ngập ngừng hoặc không có mạng. Hãy dùng kết quả để chọn cho ứng dụng của bạn.
Nguyên mẫu cũng cần cách phục hồi dễ hiểu. Giả sử người dùng ngắt trợ lý đang nói rồi im lặng. Một dấu hiệu trên màn hình hoặc chỉ báo trạng thái cục bộ giúp họ biết hệ thống đang lắng nghe. Nếu thiết bị âm thanh bị rút hoặc mô hình thoát do áp lực bộ nhớ, xác nhận ứng dụng đã trở về trạng thái chờ xác định trước khi bắt đầu phiên khác. Đo thời gian phục hồi riêng với độ trễ phản hồi. Hệ thống đáp nhanh ở các lượt trơn tru vẫn có thể gây khó chịu khi cuộc trò chuyện đi chệch kịch bản.
Buổi phỏng vấn chạy trên máy cần để người dùng nói hết
Phép thử rõ nhất có thể chưa tới một phút. Bắt đầu trả lời, dừng một lúc, nói hết, để trợ lý đáp rồi đổi một chi tiết khi nó vẫn đang nói. Nếu mỗi đoạn diễn ra đúng như mong muốn, giọng nói bắt đầu trở thành giao diện hữu ích, vượt khỏi việc phát một chuỗi tệp âm thanh. Bản Mac cho người có đủ bộ nhớ thử ngay trên máy. Kết quả còn tùy máy, ngôn ngữ, không gian và phần mềm đang dùng.
Nguồn
- Dự án Sophon-Realtime và ghi chú phát hành ngày 13, 14 và 16 tháng 11
- Hướng dẫn thiết lập chính thức cho Apple Silicon và MLX
Lưu câu hỏi phỏng vấn, ghi chú luyện tập và quan sát khi thử chạy cục bộ cùng một chỗ. Bắt đầu ghi chú đầu tiên với Telli.sh.