Llama Windows: chat AI lokal pertama Anda tanpa konfigurasi terminal

Task pertama AI lokal Anda sebaiknya kecil: ubah enam catatan rapat fiktif menjadi tiga tindakan. Anda tidak semestinya perlu mengompilasi mesin inferensi, menebak belasan opsi peluncuran, atau mengunggah dokumen pribadi hanya untuk mengetahui apakah komputer Anda bisa menjawab.

Llama Windows, yang diumumkan Hugging Face pada 13 Oktober 2026, menghadirkan runtime llama.cpp melalui aplikasi Windows di area notifikasi sistem. Aplikasi ini menangani pencarian dan pengunduhan model, lalu menyediakan antarmuka chat lokal dan API untuk aplikasi lain. Namanya merujuk pada aplikasi, bukan batasan bahwa aplikasi hanya mendukung model Llama dari Meta. Pengumuman peluncuran

Panduan ini menjelaskan instalasi aman, pilihan model awal yang masuk akal, dan percakapan pertama yang dapat Anda periksa. Setelah itu, kita akan mencoba tiga tugas bermanfaat dan satu permintaan API lokal opsional. Mulailah dengan teks publik atau karangan sendiri; gunakan materi sensitif hanya setelah Anda memahami keseluruhan alurnya.

Ilustrasi penjelas orisinal, bukan tangkapan layar produk. Pengunduhan untuk penyiapan dan inferensi lokal merupakan tahap berbeda. Berdasarkan panduan instalasi resmi Windows.

Periksa build Windows sebelum memilih model

Menurut pemeriksaan pada 20 Oktober, rilis Windows terbaru yang diterbitkan adalah v0.12.0. Manifes paketnya mensyaratkan Windows.Desktop 10.0.26100.0 atau lebih baru. Build 26100 sesuai dengan Windows 11 versi 24H2; gunakan rilis Windows yang masih mendapat dukungan, bukan sekadar versi tertua yang dapat melewati instalasi. Rilis, manifes rilis, informasi rilis Microsoft

Jalankan winver dari pencarian Windows untuk memeriksa build Anda. Di Pengaturan Windows, buka Sistem > Tentang untuk memeriksa tipe sistem dan RAM terpasang. .msixbundle resmi berisi build x64 dan ARM64: x64 biasanya digunakan pada PC Windows Intel/AMD; ARM64 untuk Windows di perangkat Arm. Bundle akan memilih arsitekturnya. Paket rilis x86 32-bit tidak termasuk dalam aset rilis saat ini. Repositori Windows, pengemasan bundle

Dokumentasi instalasi Windows tidak menetapkan satu persyaratan minimum universal untuk RAM, VRAM, atau GPU khusus. Kebutuhan tersebut bergantung pada model dan konteks. llama.cpp mendukung inferensi CPU dan beberapa backend GPU, tetapi hal itu tidak menjamin akselerasi yang sama di setiap PC. Anda tidak harus memiliki RTX Spark. Kemampuan llama.cpp

Di Mac, gunakan jalur terpisah Download for Mac di llama.app. Jangan instal bundle Windows atau menggunakan instruksi driver Windows. Informasi ukuran aplikasi Mac di situs itu juga bukan persyaratan installer Windows.

Instal aplikasi bertanda tangan tanpa melemahkan keamanan Windows

Jalur paket normal tidak memerlukan kompilasi atau instalasi .NET SDK. Prasyarat build dari kode sumber ditujukan bagi pengembang, bukan prosedur chat pertama ini. Dokumentasi instalasi resmi

1. Buka llama.app dan pilih Download for Windows 11, atau ikuti tautan Releases di repositori. Pastikan rilis berasal dari ggml-org/Llama-Windows, bukan situs unduhan bernama mirip.
2. Pilih .msixbundle terbaru, bukan arsip kode sumber GitHub. Untuk rilis yang diperiksa, nama asetnya LlamaApp-v0.12.0.msixbundle. Biarkan halaman rilis terbuka selama instalasi.
3. Buka bundle dengan Windows App Installer. Periksa informasi penerbit dan tanda tangannya sebelum memilih Install. Identitas penandatanganan di manifes v0.12.0 adalah Hugging Face, sedangkan nama penerbit yang ditampilkan adalah Morgan Funtowicz. Nama tampilan yang dikenal saja bukan verifikasi tanda tangan; Windows harus memercayai tanda tangan paket tersebut. Identitas paket
4. Jika Windows melaporkan penerbit tidak dikenal, tanda tangan tidak valid, atau pembatasan organisasi, berhentilah. Periksa kembali aset resmi, perbarui Windows/App Installer melalui kanal Microsoft, atau tanyakan administrator. Jangan nonaktifkan Defender atau SmartScreen, melewati kebijakan eksekusi, atau mengimpor sertifikat yang tidak dikenal untuk memaksakan instalasi. Pemecahan masalah App Installer Microsoft
5. Jalankan Llama dan cari ikonnya di area notifikasi di sebelah jam; periksa panah ikon tersembunyi bila perlu. Jika belum ada, aplikasi dapat memasang runtime llama.cpp terkelolanya, sehingga peluncuran pertama mungkin memerlukan internet. Panduan pengunduhan Windows, penyiapan runtime

Biarkan setelan berbagi jaringan apa adanya. Di v0.12.0, Settings > Llama > Listen On mengatur alamat server; nilai default-nya adalah localhost. Chat pertama Anda tidak memerlukan pengecualian jaringan masuk atau alamat yang dapat dijangkau dari komputer lain. Catatan keamanan rilis

Model yang muat di disk belum tentu muat di memori

GGUF adalah format berkas model yang memuat bobot dan metadata untuk mesin inferensi seperti llama.cpp. Ini bukan merek chatbot atau penilaian kualitas. Model yang disetel untuk instruksi atau chat merupakan titik awal yang tepat untuk percakapan; model dasar memiliki kegunaan berbeda. Baca kartu model, jangan hanya memilih berdasarkan jumlah unduhan. Dokumentasi GGUF Hugging Face, panduan kartu model

Jumlah parameter menjelaskan nilai numerik yang dipelajari model: 3B berarti kira-kira tiga miliar parameter, bukan unduhan berukuran 3 GB. Kuantisasi menyimpan nilai tersebut secara lebih ringkas. Nama seperti Q4_K_M dan Q8_0 mengidentifikasi resep kuantisasi yang berbeda, bukan versi aplikasi. Presisi yang lebih rendah dapat mengurangi kebutuhan penyimpanan dan memori, dengan kompromi kualitas dan kecepatan yang bergantung pada model dan perangkat keras. Ini tidak otomatis menjadi pilihan tercepat atau terbaik. Panduan kuantisasi llama.cpp

Bedakan empat jenis kebutuhan berikut:

Konteks adalah meja kerja percakapan. Meja yang lebih besar memuat lebih banyak materi, tetapi juga memakai lebih banyak memori. Token adalah potongan teks, bukan jumlah kata yang tetap; bahasa dan kode yang berbeda ditokenisasi secara berbeda. Bobot model hanya sebagian dari kebutuhan alokasi: cache key/value dan buffer runtime juga penting. Parameter server llama.cpp

Diagram konseptual orisinal, bukan ukuran alokasi hasil pengukuran. Sumber detail model memperkirakan memori untuk model dan konteks; total penggunaan PC mencakup lebih banyak hal.

Buka detail model dan periksa perkiraan memori untuk panjang konteksnya. Pilih model chat rekomendasi berukuran kecil dan opsi konteks pendek yang menyisakan ruang. Berkas hipotetis 4 GB di PC dengan RAM 16 GB bukan bukti bahwa percakapan panjang akan muat. Jika nanti membandingkan kuantisasi, pertahankan model, prompt, dan konteks yang sama agar Anda tahu apa yang berubah. Periksa lisensi model sebelum penggunaan komersial; lisensi MIT aplikasi tidak melisensikan semua model yang dapat diunduh.

Buat percakapan pertama mudah diverifikasi

Artikel peluncuran menyebut panelnya Recommended Models dan Available. Kode sumber v0.12.0 yang diperiksa justru menggunakan Models, pemisah Browse more, dan tooltip ikon seperti Download model, Load model, Open WebUI, dan Stop model. Ikuti kontrol yang ada di rilis Anda, jangan terus mencari nama panel lama. Sumber UI Windows berversi

1. Buka panel area notifikasi dan periksa ukuran serta detail salah satu model rekomendasi. Untuk penggunaan pertama, pilih model publik yang tidak mensyaratkan akses khusus.
2. Gunakan kontrol unduh dan tunggu sampai selesai. Unduhan selesai berarti berkasnya sudah tiba, bukan berarti inferensi sedang berjalan.
3. Pilih konteks singkat di detail model, lalu gunakan Load model. Setelah model dimuat, pilih Open WebUI untuk membuka chat lokal. Panduan mulai cepat resmi juga menjelaskan pemilihan konteks sebelum memulai chat. Panduan mulai cepat
4. Tempel prompt sintetis di bawah dan kirim. Bandingkan jawaban dengan fakta yang diberikan; jangan menilai keberhasilan hanya dari munculnya teks.

Use only these fictional notes. Return three bullets: owner, task, due date.
If a due date is missing, write "not specified".
Mira will send the draft on October 23.
Leo will check the links on October 24.
Sam will choose a cover image. No deadline was agreed.

Jawaban yang baik mempertahankan kedua tanggal dan menyatakan tenggat Sam tidak ditentukan. Tenggat yang dikarang merupakan kegagalan akurasi meskipun instalasi berjalan sempurna. Simpan prompt dan ID model untuk perbandingan, lalu gunakan Stop model setelah selesai. Aplikasi juga mendokumentasikan overlay chat Alt+Space; fitur ini opsional, bukan prasyarat. README Windows

Tiga pekerjaan kecil menunjukkan kegunaan model lokal

Ini latihan ilustratif dengan masukan rekaan, bukan keluaran model yang direkam. Masing-masing berisi tugas, tindak lanjut, dan uji penerimaan konkret.

Ubah catatan kasar menjadi serah-terima tanpa mengarang keputusan

Misalkan kelompok relawan sedang menyiapkan acara akhir pekan. Tempel permintaan ini:

Make a handoff with Decisions, Actions, and Open questions.
Use only the notes. Quote the supporting phrase for every action.
Notes: We chose the library room. June will confirm capacity by Friday.
Omar offered to bring signs, but nobody accepted the offer yet.
The start time is still undecided.

Perbedaan pentingnya adalah antara komitmen dan usulan. Ajukan pertanyaan lanjutan: “Tindakan mana yang secara eksplisit ditugaskan, dan mana yang baru sebatas usulan?” Terima hasil hanya jika tugas June ditetapkan, tawaran Omar tetap tentatif, dan waktu mulai tidak dicantumkan. Simpan catatan asli bersama dokumen serah-terima agar orang lain dapat memeriksa buktinya.

Pelajari bacaan dengan pertanyaan yang tetap berpijak pada sumber

Gunakan bacaan domain publik yang singkat atau penjelasan sintetis yang Anda tulis sendiri. Berikut latihan yang lengkap dengan sendirinya:

Passage: In this fictional greenhouse, a timer waters the plants at 07:00.
A moisture sensor can cancel watering when the soil is already wet.
The timer does not measure temperature.
Create three study questions with answers. Quote the sentence supporting
each answer. Then ask one question the passage cannot answer.

Periksa setiap kutipan, bukan hanya apakah jawabannya terdengar masuk akal. Pertanyaan yang memang tidak dapat dijawab bisa menanyakan ambang suhu, tetapi model tidak boleh mengarang nilainya. Untuk putaran kedua, minta bahasa yang lebih sederhana sambil mempertahankan semua fakta. Dengan begitu, penulisan ulang dapat diperiksa kalimat demi kalimat, bukan menjadi undangan untuk menambahkan tutorial rumah kaca umum.

Susun balasan layanan tanpa membuat janji berlebihan

Sebelum menggunakan teks pelanggan sungguhan, berlatihlah dengan tiket fiktif:

Write a polite reply under 90 words using only this policy and ticket.
Policy: Refunds require staff review. No approval deadline is promised.
Ticket: My duplicate charge appeared yesterday. Can you refund it today?
Acknowledge the issue and ask for an order reference, not card details.
Do not promise approval, timing, or a completed action.

Tolak draf yang menyatakan pengembalian dana sudah diproses atau menjamin hasil pada hari yang sama. Minta model menggarisbawahi setiap janji yang dibuat, lalu periksa sendiri. Hanya orang yang memiliki akses ke sistem dukungan sebenarnya yang dapat mengonfirmasi tindakan pada akun. Eksekusi lokal mengubah tempat penyusunan dilakukan; hal itu tidak memberi model wewenang untuk menerbitkan pengembalian dana.

API lokal dapat menggunakan model yang sama

Anda bisa berhenti pada penggunaan chat. Untuk editor, skrip, atau prototipe, server terkelola didokumentasikan di http://localhost:9931, dengan permintaan yang kompatibel dengan OpenAI di /v1. Ini kompatibilitas lokal, bukan permintaan ke cloud OpenAI. Pastikan port di Pengaturan jika pernah diubah. Dokumentasi API Llama

Saat aplikasi berjalan dan model sudah dimuat, buka PowerShell. Pertama, tampilkan daftar model yang tersedia pada router; /models menyertakan status pemuatan, sedangkan /v1/models adalah endpoint metadata yang kompatibel dengan OpenAI. Salin ID persis dari model yang sengaja Anda muat. Jangan memilih sembarang entri pertama karena tindakan itu mungkin memuat model lain.

$base = 'http://localhost:9931'
$headers = @{}
# Only needed if your local server is configured to require a key.
if ($env:LLAMA_LOCAL_API_KEY) {
    $headers.Authorization = "Bearer $env:LLAMA_LOCAL_API_KEY"
}
Invoke-RestMethod -Uri "$base/models" -Headers $headers |
    ConvertTo-Json -Depth 10

Ganti placeholder di bawah dengan ID persis tersebut sebelum menjalankan blok kedua ini. Permintaan hanya mengirim teks sintetis dan tidak memerlukan SDK tambahan:

$modelId = 'PASTE-THE-LOADED-MODEL-ID'
if ($modelId -eq 'PASTE-THE-LOADED-MODEL-ID') {
    throw 'Choose the already-loaded model ID from /models first.'
}
$body = @{
    model = $modelId
    messages = @(@{
        role = 'user'
        content = 'Rewrite clearly: Our fictional workshop begins at noon.'
    })
    max_tokens = 96
    stream = $false
} | ConvertTo-Json -Depth 5
$reply = Invoke-RestMethod -Method Post `
    -Uri "$base/v1/chat/completions" -Headers $headers `
    -ContentType 'application/json' -Body $body -TimeoutSec 180
$reply.choices[0].message.content

Bentuk permintaan dan kolom keluarannya mengikuti referensi server resmi llama.cpp. Biarkan Listen On di localhost; jangan pernah menempelkan kunci API cloud ke contoh ini. Kesalahan 401 mengharuskan Anda memeriksa autentikasi lokal, bukan menghapus perlindungan. Di v0.12.0, pemilihan alamat non-loopback menambahkan kunci yang dibuat aplikasi dan memerlukan konfirmasi. Perilaku keamanan Windows

Inferensi lokal tidak menghilangkan semua aktivitas jaringan

README Windows menyatakan bahwa prompt dan inferensi tetap lokal serta aplikasi tidak mengirim telemetri. README itu juga mendokumentasikan permintaan jaringan untuk pengunduhan model dan pemeriksaan pembaruan rilis, dengan User-Agent yang mencantumkan versi aplikasi, build Windows, dan arsitektur. Ini aktivitas yang berbeda, bukan makna “offline” yang saling bertentangan. Pernyataan privasi

Penjelasan alur data orisinal. Host unduhan berada di luar; jalur chat pada ilustrasi bersifat lokal. Sumber: dokumentasi privasi Windows dan referensi API.

Model yang didukung dan sudah diunduh dapat menjalankan inferensi tanpa koneksi internet, tetapi model baru tetap perlu diunduh. Editor terhubung, ekstensi browser, URL lampiran jarak jauh, atau alat eksternal yang diaktifkan memiliki perilaku jaringan sendiri. Jangan anggap alat-alat tersebut otomatis mengikuti batas lokal server.

Sebelum menangani pekerjaan rahasia, periksa penyimpanan percakapan, ekstensi browser, lokasi pencadangan/sinkronisasi, dan aturan organisasi Anda. Chat sintetis offline setelah penyiapan merupakan pemeriksaan fungsi yang berguna, bukan bukti bahwa setiap komponen telah diaudit. Jangan pernah memasukkan token atau prompt privat ke log diagnostik publik.

Atasi tahap yang gagal, bukan seluruh instalasi

README saat ini menempatkan setelan dan log di %LOCALAPPDATA%\Llama; tulisan peluncuran menyebut lokasi log yang berbeda. Gunakan kontrol folder log di aplikasi, jangan menebak. Endpoint /health yang didokumentasikan membantu membedakan server model yang siap dari yang masih memuat model, meskipun router yang aktif bukan bukti bahwa model pilihan Anda sudah dimuat. Dokumentasi penyimpanan saat ini, perilaku health server

Nyatakan penyiapan pertama berhasil hanya setelah pemeriksaan ini lolos

• Paket resmi bertanda tangan terpasang tanpa menonaktifkan kontrol keamanan.
• Satu model yang sengaja dipilih selesai diunduh dan dimuat.
• Chat terbuka pada alamat lokal dan menjawab tugas sintetis.
• Tanggal, nama, dan informasi yang tidak tersedia sesuai dengan teks masukan.
• Anda dapat menghentikan model lalu memuatnya kembali.
• Jika menggunakan API, model yang dimaksud menjawab dan server tetap hanya tersedia di localhost.

Intinya: AI lokal adalah alur kerja yang dapat Anda periksa

Menurut kami, peningkatan pentingnya bukan menghindari satu perintah terminal. Yang penting adalah membuat pilihan model, penggunaan memori, bahan sumber, dan jawaban yang dihasilkan cukup mudah dipahami sehingga bisa diulangi. Mulailah dengan satu tugas kecil yang jawabannya dapat Anda verifikasi. Perluas hanya setelah Anda tahu seperti apa keberhasilan itu.

Sumber dan media

Diperiksa pada 20 Oktober 2026. Panduan ini menjelaskan alur kerja yang terdokumentasi; tidak ada klaim uji instalasi, eksekusi model, permintaan berbayar, atau tolok ukur. Ketiga SVG adalah ilustrasi penjelas orisinal, bukan reproduksi antarmuka. Untuk melihat antarmuka sebenarnya, lihat tangkapan layar tray resmi dan demonstrasi overlay dari penerbit. Aset tersebut hanya ditautkan, tidak diterbitkan ulang.

• Pengumuman Hugging Face, 13 Oktober
• Rilis Windows, paket, dan perubahan keamanan
• Instalasi dan panduan mulai cepat resmi
• Format GGUF dan metadata
• Dokumentasi API lokal dan endpoint
• Referensi runtime dan server llama.cpp

Jadikan eksperimen Anda dapat digunakan kembali

Simpan tautan sumber, prompt, ID model, dan catatan peninjauan bersama-sama alih-alih hanya menyimpan jawaban akhir. Telli.sh dapat membantu mengatur catatan riset tersebut; layanan ini bukan integrasi Llama Windows dan bukan jaminan bahwa catatan Anda tetap offline. Buat akun Telli.sh