Llama Windows: Trò chuyện AI cục bộ lần đầu, không cần thiết lập terminal

Tác vụ AI cục bộ đầu tiên nên nhỏ: chuyển sáu ghi chú cuộc họp giả định thành ba đầu việc. Bạn không cần biên dịch một engine suy luận, đoán hàng tá cờ khởi chạy hay tải tài liệu riêng tư lên chỉ để xem máy tính có thể trả lời hay không.

Llama Windows, do Hugging Face công bố ngày 13 tháng 10 năm 2026, đưa runtime llama.cpp vào một ứng dụng Windows chạy trong khay hệ thống. Ứng dụng tìm và tải mô hình, sau đó cung cấp giao diện trò chuyện cục bộ và API cho ứng dụng khác. Tên gọi mô tả ứng dụng, không giới hạn ở mô hình Llama của Meta. Thông báo ra mắt

Hướng dẫn này giúp bạn cài đặt an toàn, chọn mô hình đầu tiên hợp lý và bắt đầu một cuộc trò chuyện có thể kiểm tra. Tiếp đó, chúng ta sẽ làm ba tác vụ hữu ích và thử tùy chọn gửi yêu cầu tới API cục bộ. Hãy bắt đầu bằng văn bản công khai hoặc tự tạo; chỉ dùng dữ liệu nhạy cảm sau khi đã hiểu toàn bộ quy trình.

Hình minh họa giải thích nguyên bản, không phải ảnh chụp sản phẩm. Tải thiết lập và suy luận cục bộ là hai giai đoạn riêng. Dựa trên hướng dẫn cài đặt Windows chính thức.

Kiểm tra bản Windows trước khi chọn mô hình

Theo thông tin kiểm tra ngày 20 tháng 10, bản Windows mới nhất được phát hành là v0.12.0. Tệp manifest của gói yêu cầu Windows.Desktop 10.0.26100.0 trở lên. Build 26100 tương ứng Windows 11 phiên bản 24H2; hãy dùng bản Windows vẫn được hỗ trợ, không chỉ phiên bản cũ nhất đủ điều kiện cài đặt. Bản phát hành, manifest bản phát hành, thông tin phát hành Microsoft

Tìm winver trong Windows để kiểm tra build. Trong Settings, mở System > About để xem loại hệ thống và RAM đã cài. Tệp .msixbundle chính thức có bản dựng x64 và ARM64: x64 thường dành cho PC Windows Intel/AMD; ARM64 dành cho Windows trên Arm. Bundle tự chọn kiến trúc. Gói phát hành x86 32-bit không nằm trong các tài nguyên phát hành hiện tại. Kho mã Windows, đóng gói bundle

Tài liệu cài đặt Windows không quy định một mức RAM, VRAM hay GPU rời tối thiểu áp dụng cho mọi trường hợp. Nhu cầu tùy vào mô hình và ngữ cảnh. llama.cpp hỗ trợ suy luận CPU và nhiều backend GPU, nhưng không đảm bảo mọi PC đều tăng tốc giống nhau. Bạn không cần riêng RTX Spark. Khả năng của llama.cpp

Trên Mac, chọn đường dẫn riêng Download for Mac tại llama.app. Đừng cài bundle Windows hoặc dùng lại hướng dẫn driver Windows. Thông tin dung lượng ứng dụng Mac trên trang web cũng không phải yêu cầu cho trình cài đặt Windows.

Cài ứng dụng đã ký mà không làm yếu bảo mật Windows

Cách cài gói thông thường không cần biên dịch hay cài .NET SDK. Các yêu cầu để dựng từ mã nguồn dành cho nhà phát triển, không phải quy trình trò chuyện lần đầu này. Tài liệu cài đặt chính thức

1. Mở llama.app và chọn Download for Windows 11, hoặc theo liên kết Releases của kho mã. Xác nhận bản phát hành thuộc ggml-org/Llama-Windows, không phải một trang tải xuống có tên tương tự.
2. Chọn .msixbundle hiện hành, không chọn kho lưu trữ mã nguồn trên GitHub. Với bản đã kiểm tra, tệp là LlamaApp-v0.12.0.msixbundle. Giữ trang phát hành mở trong khi cài.
3. Mở bundle bằng Windows App Installer. Kiểm tra thông tin nhà phát hành và chữ ký trước khi chọn Install. Danh tính ký trong manifest v0.12.0 là Hugging Face, còn tên nhà phát hành hiển thị là Morgan Funtowicz. Tên hiển thị quen thuộc tự nó không xác minh chữ ký; Windows cần tin cậy chữ ký của gói. Danh tính gói
4. Nếu Windows báo nhà phát hành không xác định, chữ ký không hợp lệ hoặc bị chính sách tổ chức chặn, hãy dừng lại. Kiểm tra lại tệp chính thức, cập nhật Windows/App Installer qua kênh Microsoft hoặc hỏi quản trị viên. Không tắt Defender hay SmartScreen, bỏ qua chính sách thực thi hoặc nhập chứng chỉ lạ để ép cài đặt. Khắc phục sự cố App Installer của Microsoft
5. Mở Llama và tìm biểu tượng trong khu vực thông báo cạnh đồng hồ; nếu cần, kiểm tra mũi tên biểu tượng ẩn. Ứng dụng có thể cài runtime llama.cpp do mình quản lý nếu máy chưa có, vì vậy lần khởi chạy đầu tiên có thể cần Internet. Hướng dẫn tải Windows, thiết lập runtime

Để nguyên các thiết lập chia sẻ mạng. Trong v0.12.0, Settings > Llama > Listen On điều khiển địa chỉ máy chủ; mặc định là localhost. Trò chuyện đầu tiên không cần mở ngoại lệ kết nối vào hoặc dùng địa chỉ mà máy tính khác truy cập được. Ghi chú bảo mật bản phát hành

Mô hình vừa ổ đĩa chưa chắc vừa bộ nhớ

GGUF là định dạng tệp mô hình chứa trọng số và siêu dữ liệu dành cho engine suy luận như llama.cpp. Đây không phải thương hiệu chatbot hay thang điểm chất lượng. Để trò chuyện, nên bắt đầu với mô hình đã tinh chỉnh theo chỉ dẫn hoặc hội thoại; mô hình nền phục vụ mục đích khác. Hãy đọc model card thay vì chỉ chọn theo lượt tải. Tài liệu GGUF của Hugging Face, hướng dẫn model card

Số tham số mô tả các giá trị số mà mô hình đã học: 3B nghĩa là khoảng ba tỷ tham số, không phải tệp tải xuống 3GB. Lượng tử hóa lưu các giá trị đó gọn hơn. Tên như Q4_K_M và Q8_0 chỉ các phương pháp lượng tử hóa khác nhau, không phải phiên bản ứng dụng. Độ chính xác thấp hơn có thể giảm dung lượng và bộ nhớ cần dùng, đi kèm đánh đổi về chất lượng và tốc độ tùy mô hình và phần cứng. Không mặc nhiên đó là lựa chọn nhanh nhất hay tốt nhất. Hướng dẫn lượng tử hóa llama.cpp

Hãy tách riêng bốn loại tài nguyên:

Ngữ cảnh là mặt bàn làm việc của cuộc trò chuyện. Mặt bàn rộng chứa được nhiều tài liệu hơn nhưng cũng tốn thêm bộ nhớ. Token là mảnh văn bản, không tương ứng với số từ cố định; ngôn ngữ và mã được tách token khác nhau. Trọng số mô hình chỉ là một phần cấp phát: cache key/value và bộ đệm runtime cũng cần chỗ. Tham số máy chủ llama.cpp

Sơ đồ khái niệm nguyên bản, không phải số liệu đo dung lượng. Nguồn chi tiết mô hình ước tính bộ nhớ cho mô hình và ngữ cảnh; tổng mức dùng của PC còn gồm nhiều thứ khác.

Mở chi tiết mô hình và xem ước lượng bộ nhớ theo độ dài ngữ cảnh. Chọn một mô hình trò chuyện nhỏ được đề xuất và tùy chọn ngữ cảnh ngắn để còn dư bộ nhớ. Tệp giả định 4GB trên PC 16GB không chứng minh rằng cuộc trò chuyện dài sẽ chạy vừa. Nếu sau này so sánh các mức lượng tử hóa, hãy giữ nguyên mô hình, prompt và ngữ cảnh để biết chính xác yếu tố nào thay đổi. Trước khi sử dụng thương mại, hãy kiểm tra giấy phép riêng của mô hình; giấy phép MIT của ứng dụng không cấp phép cho mọi mô hình tải xuống.

Khiến cuộc trò chuyện đầu tiên dễ kiểm tra

Bài viết ra mắt gọi các bảng là Recommended Models và Available. Nhưng mã nguồn v0.12.0 đã kiểm tra dùng Models, dấu phân cách Browse more và chú giải biểu tượng gồm Download model, Load model, Open WebUI và Stop model. Hãy tìm điều khiển có trong bản mình cài thay vì mãi tìm tên bảng cũ. Mã nguồn giao diện Windows theo phiên bản

1. Mở bảng xổ xuống từ khay hệ thống và xem dung lượng cùng chi tiết của một mô hình được đề xuất. Lần đầu, hãy chọn mô hình công khai không cần quyền truy cập đặc biệt.
2. Dùng nút tải mô hình và chờ tải xong. Hoàn tất tải xuống chỉ có nghĩa là tệp đã về máy, không có nghĩa suy luận đã chạy.
3. Chọn ngữ cảnh ngắn trong phần chi tiết mô hình, rồi nhấn Load model. Khi mô hình đã nạp, chọn Open WebUI để mở trò chuyện cục bộ. Hướng dẫn nhanh chính thức cũng đề cập chọn ngữ cảnh trước khi bắt đầu trò chuyện. Hướng dẫn bắt đầu nhanh
4. Dán prompt giả định bên dưới và gửi đi. Đối chiếu câu trả lời với dữ kiện đã cung cấp; đừng chỉ thấy chữ hiện ra rồi kết luận thành công.

Use only these fictional notes. Return three bullets: owner, task, due date.
If a due date is missing, write "not specified".
Mira will send the draft on October 23.
Leo will check the links on October 24.
Sam will choose a cover image. No deadline was agreed.

Câu trả lời hữu ích giữ nguyên cả hai ngày và nói rõ hạn của Sam chưa được xác định. Tự bịa hạn chót là lỗi độ chính xác, ngay cả khi cài đặt hoàn hảo. Lưu prompt và ID mô hình để so sánh, rồi dùng Stop model khi xong. Ứng dụng cũng có lớp phủ trò chuyện bằng Alt+Space; tính năng này không bắt buộc. README Windows

Ba việc nhỏ cho thấy mô hình cục bộ làm tốt điều gì

Đây là các bài tập minh họa với dữ liệu tự tạo, không phải kết quả mô hình được ghi nhận. Mỗi bài có yêu cầu, câu hỏi tiếp nối và tiêu chí nghiệm thu cụ thể.

Chuyển ghi chú thành nội dung bàn giao mà không tự thêm quyết định

Giả sử một nhóm tình nguyện đang chuẩn bị sự kiện cuối tuần. Hãy nhập yêu cầu này:

Make a handoff with Decisions, Actions, and Open questions.
Use only the notes. Quote the supporting phrase for every action.
Notes: We chose the library room. June will confirm capacity by Friday.
Omar offered to bring signs, but nobody accepted the offer yet.
The start time is still undecided.

Điểm quan trọng là phân biệt cam kết với đề xuất. Hãy hỏi tiếp: “Đầu việc nào được giao rõ ràng, đầu việc nào mới chỉ là đề nghị?” Chỉ chấp nhận nếu nhiệm vụ của June được ghi rõ, lời đề nghị của Omar vẫn chưa được xác nhận và giờ bắt đầu vẫn để ngỏ. Giữ lại ghi chú gốc cùng nội dung bàn giao để người khác kiểm tra căn cứ.

Học một đoạn văn bằng câu hỏi không vượt ra ngoài nguồn

Dùng một đoạn ngắn thuộc phạm vi công cộng hoặc phần giải thích giả định do bạn tự viết. Đây là bài tập độc lập:

Passage: In this fictional greenhouse, a timer waters the plants at 07:00.
A moisture sensor can cancel watering when the soil is already wet.
The timer does not measure temperature.
Create three study questions with answers. Quote the sentence supporting
each answer. Then ask one question the passage cannot answer.

Kiểm tra từng trích dẫn, không chỉ xem câu trả lời nghe có hợp lý hay không. Câu hỏi không thể trả lời tốt có thể hỏi về ngưỡng nhiệt độ, nhưng mô hình không được bịa ra con số. Ở lượt thứ hai, yêu cầu diễn đạt đơn giản hơn nhưng giữ nguyên sự kiện. Như vậy bạn có thể kiểm tra từng câu thay vì vô tình biến yêu cầu thành lời mời viết bài tổng quan về nhà kính.

Soạn trả lời dịch vụ mà không hứa hẹn quá mức

Trước khi dùng nội dung khách hàng thật, hãy luyện với phiếu yêu cầu giả định:

Write a polite reply under 90 words using only this policy and ticket.
Policy: Refunds require staff review. No approval deadline is promised.
Ticket: My duplicate charge appeared yesterday. Can you refund it today?
Acknowledge the issue and ask for an order reference, not card details.
Do not promise approval, timing, or a completed action.

Từ chối bản nháp nói rằng khoản hoàn tiền đã được xử lý hoặc bảo đảm sẽ xong trong ngày. Yêu cầu mô hình gạch chân từng lời hứa, rồi tự kiểm tra. Chỉ người có quyền truy cập hệ thống hỗ trợ thực tế mới có thể xác nhận thao tác trên tài khoản. Chạy cục bộ thay đổi nơi soạn nội dung, chứ không trao cho mô hình quyền phát hành tiền hoàn.

API cục bộ có thể dùng lại chính mô hình đó

Bạn có thể chỉ dùng giao diện trò chuyện. Nếu làm việc với trình soạn thảo, script hoặc nguyên mẫu, máy chủ được quản lý có tài liệu tại http://localhost:9931, với các yêu cầu tương thích OpenAI dưới /v1. Đây là khả năng tương thích cục bộ, không phải yêu cầu gửi lên đám mây OpenAI. Kiểm tra cổng trong Settings nếu bạn đã đổi. Tài liệu API Llama

Khi ứng dụng đang chạy và mô hình đã nạp, mở PowerShell. Trước hết liệt kê mô hình khả dụng của router; /models có trạng thái nạp, còn /v1/models là điểm cuối siêu dữ liệu tương thích OpenAI. Sao chép chính xác ID của mô hình bạn chủ động nạp. Đừng chọn tùy tiện mục đầu tiên vì như vậy có thể khiến một mô hình khác được tải vào.

$base = 'http://localhost:9931'
$headers = @{}
# Only needed if your local server is configured to require a key.
if ($env:LLAMA_LOCAL_API_KEY) {
    $headers.Authorization = "Bearer $env:LLAMA_LOCAL_API_KEY"
}
Invoke-RestMethod -Uri "$base/models" -Headers $headers |
    ConvertTo-Json -Depth 10

Thay phần giữ chỗ bên dưới bằng ID chính xác ấy trước khi chạy khối thứ hai. Khối này chỉ gửi văn bản giả định và không cần cài SDK:

$modelId = 'PASTE-THE-LOADED-MODEL-ID'
if ($modelId -eq 'PASTE-THE-LOADED-MODEL-ID') {
    throw 'Choose the already-loaded model ID from /models first.'
}
$body = @{
    model = $modelId
    messages = @(@{
        role = 'user'
        content = 'Rewrite clearly: Our fictional workshop begins at noon.'
    })
    max_tokens = 96
    stream = $false
} | ConvertTo-Json -Depth 5
$reply = Invoke-RestMethod -Method Post `
    -Uri "$base/v1/chat/completions" -Headers $headers `
    -ContentType 'application/json' -Body $body -TimeoutSec 180
$reply.choices[0].message.content

Cấu trúc yêu cầu và trường đầu ra theo tài liệu tham chiếu máy chủ llama.cpp chính thức. Để Listen On ở localhost; tuyệt đối không dán khóa API đám mây vào ví dụ này. Lỗi 401 cần kiểm tra xác thực cục bộ, không phải gỡ bỏ bảo vệ. Trong v0.12.0, chọn địa chỉ không phải loopback sẽ thêm khóa do ứng dụng tạo và yêu cầu xác nhận. Hành vi bảo mật Windows

Suy luận cục bộ không loại bỏ mọi kết nối mạng

README Windows nêu rằng prompt và suy luận ở lại trên máy, ứng dụng không gửi telemetry. Tài liệu cũng ghi nhận có yêu cầu mạng để tải mô hình và kiểm tra cập nhật, với User-Agent chứa phiên bản ứng dụng, build Windows và kiến trúc. Đây là các hoạt động khác nhau, không mâu thuẫn với ý nghĩa “ngoại tuyến” của suy luận. Tuyên bố quyền riêng tư

Giải thích luồng dữ liệu nguyên bản. Máy chủ tải xuống ở bên ngoài; đường trò chuyện minh họa là cục bộ. Nguồn: tài liệu quyền riêng tư Windows và tài liệu API.

Mô hình được hỗ trợ và đã tải về có thể suy luận khi không có Internet, nhưng muốn có mô hình mới thì vẫn phải tải xuống. Trình soạn thảo có kết nối, tiện ích trình duyệt, URL tệp đính kèm từ xa hoặc công cụ bên ngoài được bật đều có hành vi mạng riêng. Đừng cho rằng chúng tự kế thừa ranh giới cục bộ của máy chủ.

Trước khi xử lý công việc bí mật, hãy kiểm tra nơi lưu hội thoại, tiện ích trình duyệt, vị trí sao lưu/đồng bộ và quy định của tổ chức. Một cuộc trò chuyện giả định ngoại tuyến là cách kiểm tra chức năng hữu ích sau khi thiết lập, không chứng minh mọi thành phần đã được kiểm toán. Tuyệt đối không đưa token hay prompt riêng tư vào nhật ký chẩn đoán công khai.

Khắc phục đúng giai đoạn bị lỗi, không phải cài đặt nói chung

README hiện tại đặt Settings và nhật ký dưới %LOCALAPPDATA%\Llama; bài ra mắt nêu đường dẫn nhật ký khác. Hãy dùng điều khiển mở thư mục log trong ứng dụng thay vì đoán. Điểm cuối /health được tài liệu hóa giúp phân biệt máy chủ sẵn sàng với máy chủ còn đang nạp mô hình, nhưng router hoạt động không chứng minh mô hình bạn chọn đã nạp. Tài liệu lưu trữ hiện hành, trạng thái health của máy chủ

Chỉ xem lần thiết lập đầu là thành công khi các bước kiểm tra này đạt

• Gói chính thức có chữ ký cài đặt được mà không cần tắt kiểm soát bảo mật.
• Một mô hình đã chủ động chọn tải xong và nạp thành công.
• Giao diện trò chuyện mở trên địa chỉ cục bộ và trả lời tác vụ giả định.
• Ngày tháng, tên người và thông tin còn thiếu khớp văn bản đầu vào.
• Bạn có thể dừng mô hình rồi nạp lại.
• Nếu dùng API, đúng mô hình đã trả lời và máy chủ vẫn chỉ lắng nghe trên localhost.

Tóm lại: AI cục bộ là quy trình bạn có thể kiểm tra

Theo chúng tôi, cải tiến quan trọng không phải là bỏ được một lệnh terminal. Đó là khiến việc chọn mô hình, dùng bộ nhớ, chọn tư liệu nguồn và đọc câu trả lời đủ rõ ràng để lặp lại. Hãy bắt đầu bằng một việc nhỏ có thể xác minh. Chỉ mở rộng khi đã biết thế nào là thành công.

Nguồn và tư liệu

Kiểm tra ngày 20 tháng 10 năm 2026. Hướng dẫn mô tả quy trình được tài liệu hóa; không khẳng định đã thử cài đặt, chạy mô hình, thực hiện tác vụ trả phí hay benchmark. Cả ba tệp SVG là hình giải thích nguyên bản, không phải bản sao giao diện. Xem ảnh khay hệ thống chính thức và video minh họa lớp phủ của nhà phát hành để xem giao diện thực tế. Các tư liệu đó chỉ được liên kết, không đăng lại.

• Hugging Face: thông báo ngày 13 tháng 10
• Bản phát hành Windows, gói và thay đổi bảo mật
• Cài đặt và hướng dẫn nhanh chính thức
• Định dạng và siêu dữ liệu GGUF
• API cục bộ và tài liệu endpoint
• Tài liệu tham chiếu runtime và máy chủ llama.cpp

Lưu lại để có thể dùng lại các thử nghiệm

Hãy lưu liên kết nguồn, prompt, ID mô hình và ghi chú rà soát cùng nhau thay vì chỉ giữ câu trả lời cuối. Telli.sh có thể sắp xếp ghi chú nghiên cứu; đây không phải tích hợp Llama Windows hay lời khẳng định rằng ghi chú luôn ngoại tuyến. Tạo tài khoản Telli.sh