Llama Windows: Sembang AI Tempatan Pertama Anda, Tanpa Persediaan Terminal

Tugas AI tempatan pertama anda patut ringkas: tukarkan enam nota mesyuarat fiksyen kepada tiga perkara tindakan. Anda tidak sepatutnya perlu menyusun enjin inferens daripada kod sumber, meneka berbelas-belas bendera pelancaran atau memuat naik dokumen peribadi semata-mata untuk mengetahui sama ada komputer anda boleh memberikan jawapan.

Llama Windows, yang diumumkan oleh Hugging Face pada 13 Oktober 2026, menjalankan runtime llama.cpp melalui aplikasi dulang sistem Windows. Aplikasi ini mencari dan memuat turun model, kemudian menyediakan antara muka sembang tempatan serta API untuk aplikasi lain. Namanya merujuk kepada aplikasi itu, bukannya mengehadkannya kepada model Llama Meta. Pengumuman pelancaran

Panduan ini membawa anda melalui pemasangan yang selamat, model pertama yang sesuai dan perbualan pertama yang boleh anda semak. Selepas itu, kita akan mencuba tiga tugasan berguna dan satu permintaan API tempatan pilihan. Mulakan dengan teks awam atau rekaan; gunakan bahan sensitif hanya selepas anda memahami keseluruhan aliran kerja.

Ilustrasi penerangan asal, bukan tangkap layar produk. Muat turun semasa persediaan dan inferens tempatan ialah dua peringkat berbeza. Berdasarkan panduan pemasangan Windows rasmi.

Semak versi Windows sebelum memilih model

Setakat semakan pada 20 Oktober, keluaran Windows terkini yang diterbitkan ialah v0.12.0. Manifest pakejnya memerlukan Windows.Desktop 10.0.26100.0 atau lebih baharu. Build 26100 bersamaan dengan Windows 11 versi 24H2; gunakan keluaran Windows yang masih menerima sokongan, bukan sekadar versi tertua yang lulus pemasangan. Keluaran, manifest keluaran, maklumat keluaran Microsoft

Jalankan winver daripada carian Windows untuk menyemak build anda. Dalam Settings Windows, buka System > About untuk menyemak jenis sistem dan RAM yang dipasang. .msixbundle rasmi mengandungi build x64 dan ARM64: x64 biasanya sesuai untuk PC Windows Intel/AMD; ARM64 pula untuk Windows pada Arm. Bundle akan memilih seni bina yang sepadan. Pakej keluaran x86 32-bit tidak disertakan dalam aset keluaran semasa. Repositori Windows, pembungkusan bundle

Dokumentasi pemasangan Windows tidak menetapkan satu keperluan minimum universal untuk RAM, VRAM atau GPU khusus. Keperluan tersebut bergantung pada model dan konteks. llama.cpp menyokong inferens CPU dan beberapa backend GPU, tetapi ini tidak menjamin pecutan yang sama pada setiap PC. Anda tidak memerlukan RTX Spark secara khusus. Keupayaan llama.cpp

Pada Mac, gunakan laluan berasingan Download for Mac di llama.app. Jangan pasang bundle Windows atau gunakan semula arahan pemacu Windows. Angka saiz aplikasi Mac di laman itu juga bukan keperluan pemasang Windows.

Pasang aplikasi bertandatangan tanpa melemahkan keselamatan Windows

Laluan pakej biasa tidak memerlukan anda menyusun apa-apa atau memasang .NET SDK. Prasyarat binaan daripada kod sumber adalah untuk pembangun, bukan untuk prosedur sembang pertama ini. Dokumentasi pemasangan rasmi

1. Buka llama.app dan pilih Download for Windows 11, atau ikuti pautan Releases dalam repositori. Pastikan keluaran itu daripada ggml-org/Llama-Windows, bukannya laman muat turun lain dengan nama yang hampir sama.
2. Pilih .msixbundle semasa, bukan arkib kod sumber GitHub. Untuk keluaran yang disemak, nama asetnya ialah LlamaApp-v0.12.0.msixbundle. Biarkan halaman keluaran terbuka semasa pemasangan.
3. Buka bundle menggunakan Windows App Installer. Semak maklumat penerbit dan tandatangan sebelum memilih Install. Identiti tandatangan dalam manifest v0.12.0 ialah Hugging Face, manakala nama paparan penerbit ialah Morgan Funtowicz. Nama paparan yang biasa dilihat sahaja tidak mengesahkan tandatangan; Windows mesti mempercayai tandatangan pakej itu. Identiti pakej
4. Jika Windows melaporkan penerbit tidak diketahui, tandatangan tidak sah atau sekatan organisasi, berhenti. Semak semula aset rasmi, kemas kini Windows/App Installer melalui saluran Microsoft atau hubungi pentadbir anda. Jangan matikan Defender atau SmartScreen, memintas dasar pelaksanaan atau mengimport sijil yang tidak dikenali untuk memaksa pemasangan. Penyelesaian masalah App Installer Microsoft
5. Lancarkan Llama dan cari ikonnya di kawasan pemberitahuan berhampiran jam; periksa anak panah ikon tersembunyi jika perlu. Aplikasi ini boleh memasang runtime llama.cpp terurusnya jika belum tersedia, jadi pelancaran pertama mungkin memerlukan akses internet. Panduan muat turun Windows, persediaan runtime

Jangan ubah tetapan perkongsian rangkaian. Dalam v0.12.0, Settings > Llama > Listen On mengawal alamat pelayan; tetapan lalainya ialah localhost. Sembang pertama anda tidak memerlukan pengecualian rangkaian masuk atau alamat yang boleh dicapai daripada komputer lain. Nota keselamatan keluaran

Model yang muat pada cakera mungkin tidak muat dalam memori

GGUF ialah format fail model yang mengandungi pemberat dan metadata untuk enjin inferens seperti llama.cpp. Ia bukan jenama chatbot atau penarafan kualiti. Model yang ditala untuk arahan atau sembang sesuai sebagai permulaan perbualan; model asas mempunyai kegunaan berbeza. Baca kad model dan jangan memilih berdasarkan bilangan muat turun sahaja. Dokumentasi GGUF Hugging Face, panduan kad model

Bilangan parameter menerangkan nilai berangka yang dipelajari oleh model: 3B bermaksud kira-kira tiga bilion parameter, bukannya muat turun 3GB. Kuantiti menyimpan nilai itu dengan lebih padat. Nama seperti Q4_K_M dan Q8_0 menunjukkan kaedah kuantiti yang berbeza, bukan versi aplikasi. Ketepatan yang lebih rendah boleh mengurangkan keperluan storan dan memori, dengan pertukaran kualiti dan kelajuan yang bergantung pada model serta perkakasan. Ia tidak semestinya pilihan terpantas atau terbaik. Panduan kuantiti llama.cpp

Asingkan empat jenis keperluan ini:

Konteks ialah meja kerja perbualan. Meja yang lebih besar boleh memuatkan lebih banyak bahan, tetapi turut menggunakan lebih banyak memori. Token ialah cebisan teks, bukannya bilangan perkataan yang tetap; bahasa dan kod yang berbeza ditokenkan dengan cara berlainan. Pemberat model hanya sebahagian daripada peruntukan memori: cache key/value dan penimbal runtime juga penting. Parameter pelayan llama.cpp

Rajah konsep asal, bukan ukuran penggunaan memori. Sumber butiran model menganggarkan memori model bersama konteks; jumlah penggunaan PC merangkumi lebih banyak lagi.

Buka butiran model dan semak anggaran memorinya mengikut panjang konteks. Pilih model sembang disyorkan yang kecil dan pilihan konteks pendek yang masih memberikan ruang lebihan. Fail hipotetikal 4GB pada PC 16GB tidak membuktikan perbualan panjang akan muat. Jika anda membandingkan kuantiti kemudian, kekalkan model, prompt dan konteks yang sama supaya anda tahu perkara yang berubah. Semak lesen model itu sendiri sebelum penggunaan komersial; lesen MIT aplikasi ini tidak melesenkan setiap model yang boleh dimuat turun.

Pastikan perbualan pertama mudah disahkan

Artikel pelancaran menamakan panelnya Recommended Models dan Available. Kod sumber v0.12.0 yang disemak pula menggunakan Models, pemisah Browse more, serta petua ikon seperti Download model, Load model, Open WebUI dan Stop model. Gunakan kawalan yang tersedia dalam keluaran anda, bukannya terus mencari nama panel lama. Sumber UI Windows mengikut versi

1. Buka paparan timbul dulang dan semak saiz serta butiran model yang disyorkan. Untuk penggunaan pertama ini, pilih model awam yang tidak memerlukan akses terhad.
2. Gunakan kawalan muat turun dan tunggu sehingga selesai. Muat turun yang selesai bermaksud fail telah diterima, bukan inferens sedang berjalan.
3. Pilih konteks pendek dalam butiran model, kemudian gunakan Load model. Setelah model dimuatkan, pilih Open WebUI untuk membuka sembang tempatan. Panduan mula pantas rasmi turut menerangkan pemilihan konteks sebelum sembang bermula. Mula pantas
4. Tampal prompt sintetik di bawah dan hantarkannya. Bandingkan jawapan dengan fakta yang diberikan; jangan menilai kejayaan hanya berdasarkan sama ada teks muncul.

Use only these fictional notes. Return three bullets: owner, task, due date.
If a due date is missing, write "not specified".
Mira will send the draft on October 23.
Leo will check the links on October 24.
Sam will choose a cover image. No deadline was agreed.

Jawapan yang berguna mengekalkan kedua-dua tarikh dan membiarkan tarikh akhir Sam tidak dinyatakan. Tarikh akhir yang direka-reka ialah kegagalan ketepatan, walaupun pemasangan berfungsi dengan sempurna. Simpan prompt dan ID model untuk perbandingan, kemudian gunakan Stop model apabila selesai. Aplikasi ini juga mendokumenkan tindanan sembang Alt+Space; ciri itu pilihan, bukan prasyarat. README Windows

Tiga tugasan kecil menunjukkan kegunaan model tempatan

Ini ialah latihan ilustrasi dengan input rekaan, bukan output model yang direkodkan. Setiap latihan memberikan tugasan, soalan susulan dan kriteria penerimaan yang nyata.

Tukarkan nota ringkas kepada serahan tugas tanpa mereka keputusan

Bayangkan kumpulan sukarelawan sedang menyediakan acara hujung minggu. Tampalkan permintaan ini:

Make a handoff with Decisions, Actions, and Open questions.
Use only the notes. Quote the supporting phrase for every action.
Notes: We chose the library room. June will confirm capacity by Friday.
Omar offered to bring signs, but nobody accepted the offer yet.
The start time is still undecided.

Perbezaan penting ialah antara komitmen dengan cadangan. Tanya soalan susulan: "Which actions were explicitly assigned, and which are only proposals?" Terima hasilnya hanya jika tugas June diberikan kepadanya, tawaran Omar kekal sebagai cadangan, dan masa mula tidak direka-reka. Simpan nota asal bersama dokumen serahan supaya orang lain boleh memeriksa buktinya.

Kaji petikan dengan soalan yang kekal dalam lingkungan sumber

Gunakan petikan domain awam yang pendek atau penerangan sintetik yang anda tulis sendiri. Berikut latihan yang lengkap:

Passage: In this fictional greenhouse, a timer waters the plants at 07:00.
A moisture sensor can cancel watering when the soil is already wet.
The timer does not measure temperature.
Create three study questions with answers. Quote the sentence supporting
each answer. Then ask one question the passage cannot answer.

Semak setiap petikan, bukan sekadar kemunasabahan jawapan. Soalan yang tidak dapat dijawab dengan baik mungkin berkaitan ambang suhu, tetapi model tidak boleh mereka nilainya. Untuk pusingan kedua, minta bahasa yang lebih mudah sambil mengekalkan semua fakta. Hasilnya ialah suntingan yang boleh disemak ayat demi ayat, bukannya alasan untuk menambah tutorial rumah hijau umum.

Drafkan balasan khidmat pelanggan tanpa membuat janji berlebihan

Sebelum menggunakan teks pelanggan sebenar, berlatihlah dengan tiket rekaan:

Write a polite reply under 90 words using only this policy and ticket.
Policy: Refunds require staff review. No approval deadline is promised.
Ticket: My duplicate charge appeared yesterday. Can you refund it today?
Acknowledge the issue and ask for an order reference, not card details.
Do not promise approval, timing, or a completed action.

Tolak draf yang mengatakan bayaran balik telah diproses atau menjamin keputusan pada hari yang sama. Minta model menandakan setiap janji yang dibuat, kemudian semak janji itu sendiri. Hanya orang yang mempunyai akses kepada sistem sokongan sebenar boleh mengesahkan tindakan pada akaun. Pelaksanaan tempatan mengubah tempat draf disediakan; ia tidak memberikan kuasa kepada model untuk meluluskan bayaran balik.

API tempatan boleh menggunakan model yang sama

Anda boleh berhenti setakat sembang. Untuk editor, skrip atau prototaip, pelayan terurus didokumenkan pada http://localhost:9931, dengan permintaan serasi OpenAI di bawah /v1. Ini ialah keserasian tempatan, bukannya permintaan kepada awan OpenAI. Semak Settings jika port telah diubah. Dokumentasi API Llama

Dengan aplikasi berjalan dan model anda sudah dimuatkan, buka PowerShell. Mula-mula senaraikan model yang tersedia pada penghala; /models menyertakan status muatan, manakala /v1/models ialah endpoint metadata serasi OpenAI. Salin ID tepat bagi model yang anda sengaja muatkan. Jangan pilih entri pertama secara rawak kerana tindakan itu mungkin memuatkan model lain.

$base = 'http://localhost:9931'
$headers = @{}
# Only needed if your local server is configured to require a key.
if ($env:LLAMA_LOCAL_API_KEY) {
    $headers.Authorization = "Bearer $env:LLAMA_LOCAL_API_KEY"
}
Invoke-RestMethod -Uri "$base/models" -Headers $headers |
    ConvertTo-Json -Depth 10

Gantikan pemegang tempat di bawah dengan ID tepat itu sebelum menjalankan blok kedua. Blok ini menghantar teks sintetik sahaja dan tidak memerlukan SDK tambahan:

$modelId = 'PASTE-THE-LOADED-MODEL-ID'
if ($modelId -eq 'PASTE-THE-LOADED-MODEL-ID') {
    throw 'Choose the already-loaded model ID from /models first.'
}
$body = @{
    model = $modelId
    messages = @(@{
        role = 'user'
        content = 'Rewrite clearly: Our fictional workshop begins at noon.'
    })
    max_tokens = 96
    stream = $false
} | ConvertTo-Json -Depth 5
$reply = Invoke-RestMethod -Method Post `
    -Uri "$base/v1/chat/completions" -Headers $headers `
    -ContentType 'application/json' -Body $body -TimeoutSec 180
$reply.choices[0].message.content

Bentuk permintaan dan medan output mengikut rujukan pelayan llama.cpp rasmi. Kekalkan Listen On pada localhost; jangan sekali-kali tampal kunci API awan ke dalam contoh ini. Ralat 401 bermaksud anda perlu menyemak pengesahan tempatan, bukannya membuang perlindungan. Dalam v0.12.0, pemilihan alamat bukan gelung balik menambah kunci yang dijana aplikasi dan memerlukan pengesahan. Tingkah laku keselamatan Windows

Inferens tempatan tidak menghapuskan semua operasi rangkaian

README Windows menyatakan bahawa prompt dan inferens kekal tempatan serta aplikasi tidak menghantar telemetri. README itu turut mendokumenkan permintaan rangkaian untuk muat turun model dan semakan kemas kini keluaran, dengan User-Agent yang mengandungi versi aplikasi, build Windows dan seni bina. Ini aktiviti yang berbeza, bukannya maksud “luar talian” yang bercanggah. Pernyataan privasi

Penjelasan aliran data asal. Hos muat turun berada di luar; laluan sembang yang digambarkan adalah tempatan. Sumber: dokumentasi privasi Windows dan rujukan API.

Model yang disokong dan telah dimuat turun boleh membuat inferens tanpa sambungan internet, tetapi model baharu masih perlu dimuat turun. Editor bersambung, sambungan pelayar, URL lampiran jauh atau alat luaran yang diaktifkan mempunyai tingkah laku rangkaiannya sendiri. Jangan anggap semuanya mewarisi sempadan tempatan pelayan.

Sebelum mengendalikan bahan sulit, semak tempat perbualan disimpan, sambungan pelayar, lokasi sandaran/penyegerakan dan peraturan organisasi anda. Sembang sintetik tanpa talian ialah pemeriksaan fungsi yang berguna selepas persediaan, bukan bukti bahawa setiap komponen telah diaudit. Jangan sekali-kali memasukkan token atau prompt peribadi dalam log diagnostik awam.

Selesaikan masalah pada peringkat yang gagal, bukan keseluruhan pemasangan

README semasa meletakkan tetapan dan log di bawah %LOCALAPPDATA%\Llama; hantaran pelancaran menyenaraikan laluan log yang berbeza. Gunakan kawalan folder log dalam aplikasi, bukannya meneka lokasinya. Endpoint /health yang didokumenkan membantu membezakan pelayan model yang sedia digunakan daripada yang masih memuatkan model, walaupun penghala yang hidup tidak membuktikan model pilihan anda telah dimuatkan. Dokumentasi storan semasa, tingkah laku kesihatan pelayan

Anggap persediaan pertama berjaya hanya apabila semakan ini lulus

• Pakej rasmi bertandatangan dipasang tanpa mematikan kawalan keselamatan.
• Satu model yang dipilih dengan sengaja selesai dimuat turun dan dimuatkan.
• Sembang dibuka pada alamat tempatan dan menjawab tugasan sintetik.
• Tarikh, nama dan maklumat yang tiada sepadan dengan teks yang diberikan.
• Anda boleh menghentikan model dan memuatkannya semula.
• Jika menggunakan API, model yang dimaksudkan menjawab dan pelayan kekal terhad kepada localhost.

Kesimpulannya: AI tempatan ialah aliran kerja yang boleh anda periksa

Pada pandangan kami, peningkatan pentingnya bukan sekadar mengelakkan satu arahan terminal. Sebaliknya, pemilihan model, penggunaan memori, bahan sumber dan jawapan yang terhasil menjadi cukup mudah difahami untuk diulangi. Mulakan dengan satu tugasan kecil yang jawapannya boleh anda sahkan. Luaskannya hanya selepas anda tahu rupa kejayaan.

Sumber dan media

Disemak pada 20 Oktober 2026. Panduan ini menerangkan aliran kerja yang didokumenkan; ia tidak mendakwa sebarang percubaan pemasangan, pelaksanaan model, permintaan berbayar atau penanda aras. Ketiga-tiga SVG ialah ilustrasi penerangan asal, bukan penghasilan semula antara muka. Untuk melihat antara muka sebenar, rujuk tangkap layar dulang rasmi dan demonstrasi tindanan penerbit. Aset tersebut dipautkan, bukan diterbitkan semula.

• Pengumuman Hugging Face, 13 Oktober
• Keluaran Windows, pakej dan perubahan keselamatan
• Pemasangan rasmi dan panduan mula pantas
• Format GGUF dan metadata
• Dokumentasi API tempatan dan endpoint
• Rujukan runtime dan pelayan llama.cpp

Jadikan eksperimen anda boleh digunakan semula

Simpan pautan sumber, prompt, ID model dan nota semakan bersama-sama, bukannya menyimpan jawapan akhir sahaja. Telli.sh boleh membantu menyusun nota penyelidikan tersebut; ia bukan integrasi Llama Windows atau dakwaan bahawa nota anda kekal di luar talian. Cipta akaun Telli.sh