Ứng dụng AI cục bộ của bạn có thể lên llama.cpp 1.0 mà không gián đoạn công việc?
Với llama.cpp 1.0, số phiên bản cho biết khi nào giao diện C công khai có thay đổi làm mất tương thích. Hãy kiểm tra thư viện, máy chủ cục bộ và bộ cài ứng dụng trước khi thay bản đang chạy.
Một nhóm kỹ sư mang trợ lý tra cứu tài liệu ngoại tuyến đến nơi kết nối mạng chập chờn. Trợ lý nhận một đoạn trong sổ tay bảo trì, trả lời ngắn gọn và dẫn số trang. Trên máy phát triển, bản llama.cpp mới khởi động và trả về văn bản. Trên máy dùng tại hiện trường, lối tắt đã lưu vẫn truyền một tùy chọn cũ. Ở bước tiếp theo, ứng dụng cần một trường trong phản hồi mà nhóm chưa xem khi thử thủ công. Cả ba tình huống đều phát sinh khi cập nhật llama.cpp, nhưng mỗi tình huống lại phụ thuộc vào một giao diện khác nhau.
Ngày 13 tháng 11 năm 2026, ggml-org phát hành llama.cpp và ggml 1.0.0. Dự án llama.cpp chạy mô hình ngôn ngữ và cung cấp thư viện suy luận libllama. Dự án ggml cung cấp các phép toán tensor, hỗ trợ các phần cứng khác nhau và có thư viện libggml. Nhóm duy trì thông báo rằng số phiên bản chính sẽ thay đổi khi giao diện C công khai có thay đổi làm mất tương thích. Riêng bản llama.cpp 1.0.0 đã xóa các lời gọi lỗi thời và một tùy chọn dòng lệnh đã ngừng hỗ trợ. Thông báo ngày 13 tháng 11 của nhóm duy trì về chính sách phiên bản · Bản llama.cpp 1.0.0 · Bản ggml 1.0.0
Trước khi thay môi trường chạy, hãy xác định ứng dụng của bạn thuộc nhóm nào. Một số ứng dụng biên dịch và liên kết trực tiếp với thư viện C. Một số khác khởi động máy chủ HTTP cục bộ rồi gửi yêu cầu đến máy chủ đó. Nhóm thứ ba phân phối môi trường chạy trong bộ cài hoàn chỉnh. Một ứng dụng có thể thuộc nhiều nhóm. Với mỗi nhóm, vài phép kiểm tra ngắn sẽ cho bạn căn cứ vững hơn để quyết định nâng cấp so với một lần chạy thành công trên máy phát triển.
Mức tương thích của thư viện C, phản hồi HTTP và bản đóng gói cần các phép kiểm tra khác nhau.
Bản 1.0 cho ứng dụng liên kết trực tiếp một tín hiệu rõ hơn
Tệp tiêu đề C mô tả cách mã nguồn gọi thư viện. Trình biên dịch dựa vào đó để biết những hàm và kiểu dữ liệu nào có sẵn. Giao diện nhị phân ứng dụng, thường viết tắt là ABI, quy định cách mã đã biên dịch làm việc với thư viện đã biên dịch. Biên dịch lại từ đầu có thể phát hiện sớm một khai báo đã bị xóa. Khởi động ứng dụng sau khi liên kết cho thấy tình trạng thực tế với thư viện được cài trên máy đích. Ứng dụng tự nạp các thư viện phụ thuộc cần thực hiện cả hai bước.
Theo chính sách công bố ngày 13 tháng 11, nhóm duy trì sẽ tăng số phiên bản chính khi API C công khai trong các thư mục tệp tiêu đề của dự án có thay đổi làm mất tương thích. Phiên bản phụ dành cho các bổ sung tương thích ngược, cập nhật hỗ trợ phần cứng và hỗ trợ mô hình. Bản vá dành cho các sửa lỗi giữ nguyên API. Tín hiệu này hữu ích cho nhóm phát hành một lớp liên kết với thư viện gốc. Nếu phân phối trình khởi chạy dòng lệnh hoặc máy khách HTTP, bạn vẫn cần kiểm tra những tùy chọn và yêu cầu mà người dùng đang dựa vào. Thông báo của nhóm duy trì về chính sách phiên bản
Các thay đổi ở bản phát hành minh họa điều đó. Ghi chú llama.cpp 1.0.0 nêu 35 hàm lỗi thời đã bị xóa khỏi llama.h, đồng thời liệt kê riêng việc bỏ llama_set_warmup và các tùy chọn chống phân mảnh đã ngừng hỗ trợ. Tiếp theo, ghi chú cho biết API NextN dùng cho giải mã suy đoán được chuyển vào llama.h và ghi nhận một lần đổi tên liên quan đến trạng thái. Hãy bắt đầu bằng các lời gọi có trong mã của bạn. Khi trình biên dịch báo thiếu hàm, xem ghi chú phát hành và tệp tiêu đề công khai hiện tại rồi quyết định cách duy trì hành vi cần thiết. Những thay đổi API trong 1.0.0 · Các tệp tiêu đề công khai ở thẻ 1.0.0
Với trợ lý đọc sổ tay, một phép thử nhanh có thể nạp tệp mô hình đã biết, gửi câu hỏi cùng một đoạn trích ngắn, đọc câu trả lời rồi giải phóng mô hình đúng cách. Lặp lại bước nạp và giải phóng trong chính tiến trình ứng dụng mà người dùng sử dụng. Nếu có lớp liên kết cho ngôn ngữ khác được biên dịch riêng, hãy kiểm tra nó dùng đúng tệp tiêu đề khi biên dịch và nạp đúng thư viện sau khi cài. Ghi lại tệp đã dùng trước khi đọc kết quả. Biên dịch thành công với bản sao cục bộ chỉ nói lên rất ít về bản sao đi kèm ứng dụng trên máy tại hiện trường.
Kiểm tra phần hệ thống mà người dùng thực sự dựa vào
Dự án cũng phát hành llama-server, một tiến trình HTTP có các đối số dòng lệnh và điểm cuối được tài liệu hóa. Bản 1.0.0 bổ sung điểm cuối /v1/audio/speech tương thích OpenAI. Đây là một ví dụ về tính năng máy chủ có thể phát triển cùng với thư viện C. Bản này cũng xóa --defrag-thold. Một dịch vụ đi kèm bộ cài truyền tùy chọn đó vẫn cần chuyển đổi, kể cả khi nó không trực tiếp gọi hàm C. Ghi chú phát hành 1.0.0 · Tài liệu máy chủ ở thẻ 1.0.0
Tài liệu máy chủ đưa ra một thao tác ngắn để thêm vào bài thử ứng dụng. Yêu cầu gửi đến /health có thể trả HTTP 503 khi mô hình đang nạp và trả 200 khi mô hình đã nạp xong. Nhóm sử dụng máy khách HTTP có thể tiếp tục gửi yêu cầu trò chuyện, tạo embedding hoặc một yêu cầu khác mà ứng dụng thực sự dùng để xác nhận khả năng đọc phản hồi. Với tính năng truyền luồng, hãy thử một phản hồi ngắn hoàn tất bình thường và một phản hồi dài hơn mà người dùng hủy trong ứng dụng. Gọi thành công điểm cuối đơn giản nhất chưa thử được nút hủy và trình phân tích văn bản. Tài liệu kiểm tra trạng thái và các điểm cuối ở phiên bản 1.0.0
| Thành phần ứng dụng sử dụng | Kiểm tra đầu tiên sau khi nâng cấp | Kiểm tra thêm theo quy trình thực tế |
|---|---|---|
| Tệp tiêu đề C công khai và thư viện gốc | Biên dịch lại từ đầu và chạy với đúng thư viện | Nạp mô hình, gửi yêu cầu ngắn rồi giải phóng tài nguyên nhiều lần |
| Tiến trình máy chủ HTTP cục bộ | Khởi động với cấu hình đã lưu và đợi mô hình báo sẵn sàng | Thử yêu cầu thật, phản hồi truyền luồng, thao tác hủy và các tình huống lỗi mà máy khách hỗ trợ |
| Bộ cài ứng dụng máy tính hoặc ngoại tuyến | Cài trên một máy đại diện và ghi lại các tệp của bản dựng | Mở ứng dụng bằng các thiết lập hiện có và chạy một mô hình cục bộ đã biết trên bản vừa cài |
| Một backend phần cứng cụ thể | Xem backend nào được chọn và liệu mô hình có vừa bộ nhớ | Đo bộ nhớ và thời gian trên cấu hình chậm nhất mà bạn cam kết hỗ trợ |
Nhóm ứng dụng dùng bộ cài cần quan tâm đến cả những yêu cầu ngoài danh sách tính năng của máy chủ. Chẳng hạn, một gói Windows có thể cần thư viện backend đặt cạnh tệp thực thi, một cách đáng tin cậy để tìm mô hình hiện có của người dùng và thông báo dễ hiểu khi thiếu tệp. Máy của nhà phát triển có thể đã cài sẵn backend chạy tốt. Thử ứng dụng mới trên máy đại diện của người dùng giúp phát hiện những phụ thuộc mà môi trường phát triển tự có. Thông báo ngày 13 tháng 11 liệt kê vài cách đóng gói và các nền tảng có bản phát hành thử. Dùng đúng thẻ hoặc gói mà nhóm định phát hành và ghi lại nguồn gốc của nó. Ghi chú của nhóm duy trì về đóng gói
Số phiên bản không cho biết bạn phải chờ bao lâu để có câu trả lời
Với người dùng trợ lý ngoại tuyến, nhiều bước gộp lại thành một lần chờ. Mô hình được nạp. Ứng dụng chuyển câu hỏi và đoạn tài liệu thành token. Môi trường chạy xử lý đầu vào, bắt đầu sinh văn bản và chuyển văn bản lên giao diện. Với một mục dài trong sổ tay, khâu xử lý đầu vào có thể chiếm phần lớn thời gian. Với một câu trả lời cần nhiều chi tiết, việc sinh token có thể lâu hơn. Hãy đo riêng thời gian khởi động, thời điểm có văn bản đầu tiên trên màn hình và thời điểm hoàn tất nếu từng mốc đều quan trọng với người dùng.
Tài liệu ở thẻ 1.0.0 mô tả ba chế độ của llama-bench: xử lý đầu vào, sinh văn bản và kết hợp hai bước. Các số đo không bao gồm việc tách token và lấy mẫu. Công cụ phù hợp để so sánh hai bản dựng với cấu hình tương đương, nên kết quả sẽ khác thời gian chờ ghi nhận tại giao diện. Hãy lưu cả hai số đo nếu muốn biết khâu nào cải thiện. Tài liệu đo hiệu năng ở thẻ 1.0.0
Hãy bắt đầu với cùng một tệp mô hình GGUF trên cả hai bản. Giữ nguyên backend phần cứng, cấu hình ngữ cảnh và cách chuyển tải tính toán giữa các thành phần phần cứng nếu cả hai bản đều hỗ trợ. Lưu cấu hình đã áp dụng cùng mã băm của mô hình. Sau đó thử cả đầu vào ngắn và đầu vào dài bằng một tài liệu. Khi đo bộ nhớ, ghi lại mức sử dụng ổn định sau khi nạp và mức cao nhất quan sát được với yêu cầu dài nhất đại diện cho công việc. Mô hình khởi động được trên máy vừa bật có thể gặp giới hạn khác khi người dùng đã mở trình duyệt và trình xem tài liệu.
Bản 1.0.0 liệt kê các tùy chọn FP8 cho bộ nhớ đệm khóa và giá trị dùng khi suy luận, gồm f8_e4m3, cùng bộ nhớ đệm chuyên gia có thể cấu hình trong bộ nhớ máy chủ cho mô hình hỗn hợp chuyên gia. Những tính năng này mở rộng số cấu hình để so sánh. Nếu backend và mô hình hỗ trợ một tùy chọn, hãy đo tác động của tùy chọn đó riêng với đợt chuyển sang 1.0. Áp dụng nó trên một máy đại diện, chạy lại cùng đầu vào và xem câu trả lời còn đáp ứng yêu cầu của ứng dụng hay không. Nhờ vậy, bạn có thể tìm nguyên nhân khi thời gian thay đổi hoặc câu trả lời bỏ sót nguồn trích. Những thay đổi chính của bản 1.0.0
Giữ nguyên mô hình và đầu vào để xác định khác biệt nào đến từ việc nâng cấp.
Một đợt thử chuyển đổi ngắn giúp quyết định có phát hành hay không
- Chọn hai bản dựng cụ thể. Lưu bản đang phân phối và bản ứng viên 1.0.0 ở các vị trí khác nhau. Ghi lại phiên bản ứng dụng, môi trường chạy, mô hình, mã kiểm tra GGUF giống nhau cho mỗi lượt và backend phần cứng. Giữ lại dữ liệu và thiết lập khi chuyển bản.
- Khởi động qua đường dẫn sử dụng thông thường. Để thử máy chủ chỉ lắng nghe trên địa chỉ loopback, có thể bắt đầu bằng
llama-server -m ./handbook-model.gguf --host 127.0.0.1 --port 9931sau khi thay tệp mẫu bằng tệp mô hình thực tế được chấp thuận. Chạy cả lệnh của bản đang phân phối để phát hiện sớm tùy chọn đã bị xóa. Kiểm tra trạng thái sẵn sàng rồi thử bằng máy khách mà người dùng thực sự mở. Cấu hình và các tùy chọn máy chủ ở thẻ phát hành - Chuẩn bị vài câu hỏi khó. Thử đoạn trích ngắn có câu trả lời rõ ràng, đoạn trích dài hơn có những thuật ngữ dễ nhầm và một câu hỏi mà đoạn trích không thể giải đáp. Xác định trước thế nào là kết quả hữu ích cho từng trường hợp. Trợ lý cần trích đúng trang khi đoạn văn có câu trả lời và nói rõ khi thiếu căn cứ. Ghi lỗi phân tích phản hồi và kết quả không dùng được tách riêng với chất lượng mô hình.
- So sánh từng tùy chọn hiệu năng. Trên một máy đại diện, có thể bắt đầu bằng
llama-bench -m ./handbook-model.gguf -p 512 -n 128 -r 5trên hai bản với cùng backend. Số token và năm lượt lặp trong lệnh chỉ dùng để minh họa. Thêm số đo lúc khởi động, bộ nhớ, độ trễ trong ứng dụng và một đầu vào thực tế dài hơn trước khi quyết định người dùng sẽ thấy gì. Tùy chọn đo hiệu năng ở thẻ phát hành - Chạy bản đã cài và thử quay về bản trước. Thử bản ứng viên trên một môi trường mới cài đại diện, khởi động lại rồi lặp lại trường hợp lớn nhất được hỗ trợ. Xác nhận rằng một lần khởi động lỗi vẫn để nguyên khả năng sử dụng tệp và cài đặt hiện có, đồng thời kiểm tra đường quay về phiên bản ứng dụng trước. Lưu bằng chứng để đồng đội biết khi nào cần tạm dừng phát hành rộng hơn.
Với đa số dự án, chỉ cần vài tình huống được chọn đúng để tìm ra lỗi tiếp theo. Khi một đoạn trích dài được xử lý chậm hơn, hãy xác định sự khác biệt xuất hiện trước dòng chữ đầu tiên, trong lúc sinh văn bản hay khi ứng dụng hiển thị. Khi một yêu cầu bắt đầu gặp lỗi sau thay đổi, hãy ghi lại định dạng yêu cầu và máy khách gây lỗi trước khi chỉnh câu lệnh hoặc đổi mô hình. Nếu chỉ bản đóng gói gặp lỗi, hãy so sánh bộ cài và tiến trình đã khởi động với bản đang chạy được trên máy phát triển. Qua những phép so sánh đầu tiên, người phụ trách từng lớp sẽ có tình huống cụ thể để tái hiện.
Bản nâng cấp cần chạy ổn định trên đúng máy cần dùng
llama.cpp 1.0 giúp các nhóm quản lý thay đổi rõ ràng hơn đối với một môi trường chạy được nhiều công cụ cục bộ sử dụng. Nhóm phát triển ứng dụng có thể lưu một hồ sơ tương thích ngắn gọn gồm bản dựng, mô hình, máy thử, yêu cầu người dùng thực sự gửi và kết quả. Khi phiên bản tiếp theo ra mắt, nhóm sẽ có sẵn phép thử cho quy trình mà người dùng đang dựa vào, ngay cả khi người phụ trách môi trường chạy hoặc ứng dụng đã thay đổi.
Nguồn
- Thông báo của ggml-org về chính sách phiên bản và phân phối, ngày 13 tháng 11 năm 2026
- Bản llama.cpp 1.0.0, ngày 13 tháng 11 năm 2026
- Bản ggml 1.0.0
- Tệp tiêu đề C công khai của llama.cpp ở thẻ 1.0.0
- Tài liệu llama-server ở thẻ 1.0.0
- Tài liệu llama-bench ở thẻ 1.0.0
Để lưu quyết định nâng cấp, ghi chú thử nghiệm và cấu hình mô hình ở nơi có thể tìm lại, hãy tạo tài khoản Telli.sh.