Granite Switch 4.1: ubah ucapan bahasa Inggris menjadi keputusan berikutnya yang berguna

Permintaan lisan biasanya perlu tiga jenis pekerjaan: menangkap kata-kata, menjelaskan artinya, lalu memutuskan tindakan berikutnya. Granite Switch 4.1 menempatkan kemampuan itu di balik satu endpoint, bukan meminta Anda merangkai tiga server model terpisah.

Pengumuman IBM pada 15 Oktober 2026 memperkenalkan rilis siap pakai 8B dan 30B dengan chat, adapter keputusan umum, penyaringan keamanan Guardian, serta pengenalan ucapan. Daya tarik praktisnya adalah jalur lebih pendek dari catatan suara bahasa Inggris ke tindakan yang dapat ditinjau. Artikel peluncuran IBM, 15 Oktober 2026.

Panduan ini dimulai dari latihan browser, lalu menunjukkan penyiapan lokal dan tiga alur kerja realistis. Anda juga akan memahami batas penting: audio bahasa Inggris bukan audio multibahasa, skor keputusan bukan bukti, dan bobot model bukan seluruh anggaran memori GPU.

Hero: skema editorial orisinal tentang audio bahasa Inggris yang menjadi transkrip, lalu bercabang menjadi respons chat, opsi keputusan, dan penyaringan keamanan. Tindakan akhir melewati tinjauan manusia; ini bukan tangkapan layar resmi atau klaim performa.

Dapatkan hasil berguna pertama sebelum memasang apa pun

Mulailah dengan demo resmi Speech to Decisions. IBM menautkannya dari pengumuman 15 Oktober; dokumentasi demo menjelaskan masukan mikrofon langsung, deskripsi topik singkat, pemeriksaan keamanan, dan penilaian ya/tidak. Dokumentasi demo resmi, diperiksa 18 Oktober 2026.

1. Buka demo dan gunakan materi rekaan yang tidak sensitif. Ini layanan ter-host, bukan pemrosesan lokal.
2. Jika tersedia, izinkan akses mikrofon dan ucapkan teks berikut dalam bahasa Inggris, bahasa ASR yang didukung:
   Teks biasa

   The replacement keyboard arrived damaged. Please send a new one.
   I can share a photo tomorrow.
   

3. Hentikan rekaman dan bandingkan transkrip dengan ucapan Anda. Periksa deskripsi topik dan penanda penilaian secara terpisah.
4. Pastikan permintaan, barang yang rusak, dan tindak lanjut yang dijanjikan tetap tercatat. Label topik yang tampak masuk akal belum berarti berhasil jika transkrip menghilangkan negasi atau mengubah barang.

Itulah titik pemeriksaan pertama: satu masukan yang dapat dipahami dan keluaran yang bisa diperiksa. Ini bukan jaminan kata-kata selalu persis, latensi tertentu, atau demo tersedia tanpa putus. Jika Space tidak tersedia atau organisasi melarang unggahan audio eksternal, gunakan jalur lokal di bawah; jangan kirim materi privat ke tempat lain.

Apa sebenarnya yang dialihkan Switch?

Model bahasa dasar menangani chat biasa. Adapter adalah kumpulan penyesuaian terlatih yang lebih kecil untuk mengkhususkan model pada tugas tertentu. Adapter decision memilih di antara opsi berlabel; guardian-core menyaring teks untuk risiko keamanan tertentu. Aplikasi memilih adapter lewat templat chat, bukan dengan memuat model bahasa kedua secara penuh. Repositori Granite Switch, diperiksa 18 Oktober 2026.

Ucapan mengikuti jalur berbeda. Pengenalan ucapan otomatis (ASR) mengubah gelombang suara menjadi teks sebelum model bahasa membacanya. Pengenal yang disertakan adalah model Granite Speech TurboCTC bahasa Inggris, 470 juta parameter, diperiksa 18 Oktober 2026. Anggap transkrip sebagai bukti serah terima: semua tahap berikut bergantung pada kata-kata yang tercatat di sana. Simpan bersama ringkasan yang dirapikan agar keputusan meragukan dapat ditelusuri ke masukannya.

Kartu model 8B, dirilis 14 Oktober 2026 membedakan rilis berkemampuan audio dari keluarga pratinjau tanpa audio. Kartu 30B dan pratinjau 3B, diperiksa 18 Oktober, menjelaskan susunan masing-masing. Pratinjau kecil bukan pengganti ucapan yang langsung setara.

Kartu 8B mencantumkan 12 bahasa chat: Inggris, Jerman, Spanyol, Prancis, Jepang, Portugis, Arab, Ceko, Italia, Korea, Belanda, dan Mandarin. Daftar ini tidak memperluas pengenal ucapan bawaan di luar bahasa Inggris.

Tentukan sistem operasi sebelum menyalin perintah

Untuk resep CUDA/vLLM ini, pilih Linux dengan GPU NVIDIA dan driver kompatibel. Di Windows, gunakan WSL yang dikonfigurasi dengan akses GPU; perintah Bash ini bukan perintah PowerShell native. Di macOS, mulai dari demo ter-host atau mesin Linux bergPU, jangan menganggap resep CUDA berlaku untuk Apple Silicon. Panduan instalasi GPU vLLM, diperiksa 18 Oktober 2026.

vLLM-Metal dan runtime lain memiliki jalur kompatibilitas sendiri. Dukungan runtime terhadap sistem operasi Anda tidak membuktikan checkpoint Switch, adapter, dan rangkaian ucapan ini berjalan di sana. Minta contoh yang cocok sebelum memilih jalur itu.

Mulai lokal dengan chat, lalu tambahkan audio dan keputusan

Gunakan folder kerja baru di terminal Linux atau Bash WSL. Instal Git dan Python 3.12, lalu pastikan nvidia-smi melihat GPU. Snapshot repositori ini memerlukan Python >=3.11,<3.14, PyTorch >=2.11.0, Transformers >=5.16,<=5.17.0 dan vLLM >=0.26.0,<0.31.0. Deklarasi paket pada revisi 7e72456, diperiksa 18 Oktober 2026.

1. Pasang paket Switch dan dependensi audio bersama-sama. Ini mematok resep sumber, bukan mengandalkan wheel lama.

git clone https://github.com/generative-computing/granite-switch.git
cd granite-switch
git checkout 7e724560f9a9449bba2f08e16e8678c4dd6a06e7
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e '.[vllm,audio]' openai
python -m pip check

Ekstra paket sesuai tugas: [hf] menambahkan inferensi Hugging Face, [compose] alat komposisi, dan [audio] dependensi decoding audio vLLM. Memasang vllm saja tidak memasang plugin Switch. Jaga kombinasi PyTorch/CUDA kompatibel dengan driver; jangan memperbaiki galat resolver dengan menghapus pemeriksaan dependensi. Penggunaan awal mengunduh bobot model, jadi sediakan waktu dan ruang disk sebelum merekam.

2. Jalankan satu server loopback. Batas konteks dan konkurensi berikut adalah pengaturan awal konservatif, bukan jaminan sesuai perangkat keras Anda.

VLLM_PLUGINS=register_granite_switch \
python -m vllm.entrypoints.openai.api_server \
  --model ibm-granite/granite-switch-4.1-8b \
  --host 127.0.0.1 --port 8000 \
  --max-model-len 4096 --max-num-seqs 1 \
  --gpu-memory-utilization 0.80 --enable-prefix-caching

Paket mendaftarkan register_granite_switch di vllm.general_plugins. vLLM menemukan entry point terpasang; variabel lingkungan memilih plugin secara eksplisit. Resep ini tidak perlu skrip registrasi salinan atau solusi --trust-remote-code. Sumber registrasi Switch dan sistem plugin vLLM, diperiksa 18 Oktober 2026.

3. Periksa respons chat biasa. Di terminal Bash kedua, tunggu hingga server siap lalu jalankan:

curl --fail http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"ibm-granite/granite-switch-4.1-8b","messages":[{"role":"user","content":"Rewrite this request clearly without adding facts: The replacement keyboard arrived damaged. Please send a new one."}],"max_tokens":120,"temperature":0}'

Baca pesan assistant di respons JSON. Berhasil berarti permintaan dipertahankan tanpa mengarang nomor pesanan, tenggat, atau persetujuan pengembalian dana. Respons HTTP saja bukan pemeriksaan jawaban yang berarti.

4. Kirim WAV bahasa Inggris singkat. Letakkan rekaman yang diizinkan dan tidak sensitif bernama request.wav di folder repositori. Aktifkan lingkungan virtual yang sama di terminal kedua, simpan contoh sebagai try_audio.py, lalu jalankan python try_audio.py.

import base64
from pathlib import Path
from openai import OpenAI

audio_bytes = Path("request.wav").read_bytes()
message_parts = [
    {"type": "text", "text": "List the requests in this recording. Do not add facts."},
    {"type": "input_audio", "input_audio": {
        "format": "wav",
        "data": base64.b64encode(audio_bytes).decode("ascii"),
    }},
]
local = OpenAI(api_key="unused", base_url="http://127.0.0.1:8000/v1")
reply = local.chat.completions.create(
    model="ibm-granite/granite-switch-4.1-8b",
    messages=[{"role": "user", "content": message_parts}],
    max_tokens=160,
    temperature=0,
)
print(reply.choices[0].message.content)

Ini menghasilkan respons model bahasa atas transkrip yang disisipkan secara internal, bukan ekspor ASR mentah. Panduan audio menjelaskan rangkaian dan format masukan; gunakan aplikasi yang menampilkan transkrip jika kedua tahap perlu diperiksa secara terpisah. Dokumentasi audio, diperiksa 18 Oktober 2026.

5. Coba satu keputusan terbatas memakai teks yang telah ditinjau. Biarkan server berjalan dan kirim:

curl --fail http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"ibm-granite/granite-switch-4.1-8b","messages":[{"role":"user","content":"State:\nThe replacement keyboard arrived damaged. Please send a new one."},{"role":"user","content":"### DECISION\nQuestion:\nWhich queue should review this request?\n\nOptions:\nA: Damaged-item replacements\nB: Account access\nC: Human triage because neither category fits\n\nReply with exactly one option label."}],"chat_template_kwargs":{"adapter_name":"decision"},"max_tokens":1,"temperature":0}'

Ini menguji pemilihan adapter dan meminta satu label, bukan laporan probabilitas. Untuk probabilitas, ikuti contoh keputusan di kartu model, diperiksa 18 Oktober 2026: pastikan label satu token, minta logprob_token_ids, lalu normalkan di antara label kandidat. Dokumentasi readout adapter keputusan, diperiksa 18 Oktober menjelaskan softmax tingkat opsi. Jangan menggantinya dengan kalimat chat “Saya 95% yakin.”

Jadikan tiga alur kerja dapat ditinjau, bukan sekadar otomatis

Contoh berikut ilustratif, bukan laporan uji. Mulailah dengan keluaran yang membantu orang meninjau pekerjaan; tambahkan tindakan berdampak besar hanya setelah mengevaluasi kasus representatif.

Arahkan pesan suara pelanggan. Gunakan ASR untuk menangkap permintaan, chat untuk menyusun ringkasan netral, lalu pertanyaan keputusan untuk memilih penggantian, dukungan akun, atau triase manusia. Simpan audio asli tertaut pada transkrip yang ditinjau. Permintaan “jangan batalkan pesanan saya” sebaiknya menjadi kasus uji sejak awal, bukan baru dipikirkan setelah otomatisasi pembatalan tersedia.

Pemeriksaan penerimaannya konkret: apakah antrean terpilih cocok dengan kata-kata sebenarnya, dan bisakah agen dukungan mengoreksinya sebelum sesuatu dikirim? Penanda keamanan boleh meminta tinjauan tambahan, tetapi jangan diam-diam membuang keluhan pelanggan yang frustrasi.

Ubah pembaruan proyek menjadi draf tugas. Dalam rekaman bahasa Inggris, seorang rekan berkata, “I can review the draft Friday, but I cannot approve the budget.” Minta chat memisahkan komitmen dari pengecualian, lalu tanyakan apakah persetujuan anggaran ada, tidak ada, atau tidak jelas. Pertahankan pilihan “tidak jelas” bila rekaman atau konteks kurang. Seseorang memeriksa tanggal dan tanggung jawab sebelum tugas masuk pelacak bersama.

Siapkan daftar tindak lanjut wawancara. Dengan izin pembicara, transkripsikan cuplikan wawancara singkat bahasa Inggris dan susun pertanyaan atas detail yang belum ada. Gunakan keputusan terbatas seperti “Apakah bagian ini secara eksplisit menyebut tanggal pengiriman?”, bukan “Apakah orang ini dapat dipercaya?” Simpan cuplikan yang mendukung setiap penanda. Dengan begitu perbedaan penilaian bisa diselesaikan tanpa menganggap tafsiran model sebagai penilaian terhadap pembicara.

Skema alur kerja orisinal: simpan audio dan transkrip, hasilkan keluaran turunan terpisah, lalu tinjau sebelum bertindak. Ini menggambarkan aplikasi di atas, bukan antarmuka resmi; rangkaian dijelaskan dalam panduan audio, diperiksa 18 Oktober 2026.

Mengapa beberapa kemampuan dapat berbagi konteks?

Cache key/value menyimpan informasi perhatian yang dihitung dari token sebelumnya. LoRA aktif (aLoRA) memungkinkan spesialis aktif setelah konteks bersama, tanpa memproses ulang seluruh prefiks seperti adapter biasa. IBM memperkenalkan pendekatan dasarnya dalam penjelasan riset 17 April 2025. Riset IBM tentang aLoRA.

Switch menggunakan keadaan cache model dasar yang dinormalisasi agar spesialis tidak memakai keadaan adaptasi privat satu sama lain. Dalam aplikasi, pertahankan prefiks bukti tetap sama lalu tambahkan pertanyaan khusus tugas. Menulis ulang transkrip untuk setiap pemeriksaan mengurangi penggunaan ulang prefiks. Dokumentasi mekanisme Switch, diperiksa 18 Oktober 2026.

Cache bersama adalah mekanisme efisiensi, bukan inferensi gratis. Prefix caching menghemat pemrosesan prompt berulang; ini tidak menghapus biaya menghasilkan respons atau mengenali audio. Dokumentasi prefix caching vLLM, diperiksa 18 Oktober 2026. Menurut kami, bandingkan alur kerja lengkap yang sudah ditinjau, bukan kecepatan sensasional yang berdiri sendiri.

Anggarkan seluruh beban kerja, bukan hanya bobot 8B

Sebagai hitungan perencanaan, 8 miliar parameter dengan dua byte per parameter menempati sekitar 16GB atau 14,9GiB; 30 miliar sekitar 60GB atau 55,9GiB. Ini contoh aritmetika bobot dasar, bukan ukuran checkpoint atau minimum VRAM. Angka tersebut belum mencakup adapter, encoder ucapan, cache, buffer sementara, serta overhead runtime.

Konteks lebih panjang dan lebih banyak urutan serentak menambah tekanan memori. Batas konteks yang diiklankan bukan anjuran untuk memakainya pada percobaan pertama. vLLM mendokumentasikan pengurangan max_model_len dan max_num_seqs sebagai kontrol memori. Panduan memori vLLM, diperiksa 18 Oktober 2026.

Daftar periksa memori orisinal, bukan alokasi proporsional: bobot dasar + adapter + bobot dan aktivasi ASR + cache KV + ruang runtime/tampilan. Panduan audio memperingatkan praalokasi cache dapat menyisakan ruang ASR yang tidak cukup; diperiksa 18 Oktober 2026.

Uji chat singkat, klip singkat, dan masukan normal terpanjang secara terpisah. Catat puncak memori, durasi selesai, dan kesalahan. Mengurangi alokasi cache dapat menyisakan ruang untuk ucapan, tetapi tidak membuat bobot terlalu besar menjadi muat. Alternatif terkuantisasi tetap perlu diuji kompatibilitasnya dengan adapter Switch dan audio, bukan hanya ukuran unduhan.

Kaitkan biaya dan privasi dengan pilihan penerapan

Lisensi model Apache-2.0 tidak membuat operasinya gratis. Penggunaan lokal mengonsumsi perangkat keras, listrik, penyimpanan, dan waktu pemeliharaan; endpoint ter-host menambah tagihan penyedia dan ketentuan penanganan data. Jangan menganggap ada harga Granite Switch universal per menit. Untuk uji coba, bagi total biaya komputasi dan peninjauan dengan item yang berhasil diselesaikan, termasuk permintaan gagal dan koreksi.

Contoh hipotetis memperjelas: 10 jam pada tarif penyedia $1 per jam berarti $10 untuk komputasi, belum termasuk penyimpanan, transfer, dan tinjauan manusia. Itu angka ilustratif, bukan tarif layanan yang dikutip. Jam endpoint menganggur juga berarti biaya.

Untuk pekerjaan sensitif, tentukan lokasi audio, transkrip, cache, log, dan cadangan sebelum merekam. Binding loopback membatasi akses jaringan, tetapi tidak menetapkan retensi atau mematikan seluruh telemetri pustaka. Jangan paparkan server ke jaringan publik, tinjau dependensi dan logging, minta izin pembicara, serta tentukan penghapusan audio sumber dan catatan turunan secara terpisah. Demo ter-host berguna untuk belajar, bukan tujuan bawaan bagi rapat rahasia.

Perbaiki tahap yang gagal sebelum mengganti seluruh tumpukan

Arsitektur tidak dikenali. Pastikan lingkungan virtual berisi granite-switch, vLLM menggunakan lingkungan tersebut, dan VLLM_PLUGINS mencakup register_granite_switch. Baca galat impor plugin pertama sebelum mengganti paket.

Chat berjalan, audio gagal. Pastikan ID rilis mendukung audio, dependensi [audio] terpasang, dan berkas benar-benar WAV, bukan sekadar berganti nama. Periksa versi Transformers dan memori tersedia. Memasang pustaka decoding tidak mengubah pratinjau teks saja menjadi checkpoint audio.

Nama atau tanda baca keliru. Pengenal CTC bahasa Inggris bawaan menghasilkan teks huruf kecil tanpa tanda baca dan tidak memiliki pilihan bahasa saat decoding. Pertahankan teks mentah; pemulihan tanda baca adalah suntingan turunan. Kesalahan transkripsi dapat merambat ke keputusan berikutnya. Batasan audio, diperiksa 18 Oktober 2026.

Klip panjang melampaui konteks. Persingkat masukan atau bagi menjadi bagian bermakna sembari mempertahankan referensi sumber. Transkrip memakai konteks teks; sisakan ruang untuk pertanyaan dan jawaban. Menaikkan batas konteks juga mengubah anggaran memori.

Apa yang perlu diketahui sebelum mengandalkannya?

Bisakah model mengucapkan jawabannya? Jalur ucapan bundel ini adalah ASR, bukan text-to-speech. Aplikasi keluaran suara memerlukan komponen TTS terpisah.

Bisakah model mentranskripsikan semua 12 bahasa chat? Tidak dengan pengenal bahasa Inggris bawaan. Panduan audio menjelaskan penggantian backend ASR untuk masukan multibahasa; konfigurasi berbeda itu perlu dievaluasi.

Apakah probabilitas opsi 0,95 berarti akurasi dunia nyata 95%? Tidak. Angka itu menyatakan distribusi model atas pilihan yang disediakan, bukan tingkat keberhasilan terverifikasi di domain Anda. Opsi yang hilang, transkrip buruk, dan pertanyaan ambigu tetap bisa menghasilkan preferensi kuat. Evaluasi contoh berlabel dan tetapkan aturan abstain sebelum mengotomatisasi tindakan. Dokumentasi adapter keputusan, diperiksa 18 Oktober 2026.

Apakah Guardian membuktikan jawaban benar? Tidak. Penyaringan keamanan berbeda dari verifikasi fakta. Rilis siap pakai ini tidak mencakup semua spesialis dalam koleksi Granite Libraries yang lebih luas; periksa inventaris adapter sebelum merancang alur kerja faktualitas.

Intinya: satu endpoint tetap memerlukan jejak bukti

Granite Switch 4.1 paling berguna ketika chat menjelaskan, ucapan menyediakan kata-kata yang dapat ditinjau, dan keputusan terbatas mengatur langkah berikutnya. Penyajian modular mengurangi duplikasi infrastruktur; alur kerja Anda tetap bertanggung jawab atas persetujuan, bukti, dan kewenangan untuk bertindak.

Mulailah dengan satu rekaman singkat dan satu keputusan yang dapat dibatalkan. Perluas hanya jika transkrip, interpretasi, dan tindakan tetap dapat dipahami orang yang bertanggung jawab atas hasilnya.

Sumber

Tanggal rilis: artikel IBM bertanggal 15 Oktober 2026; kartu model 8B menyebut 14 Oktober. Dokumentasi tautan diperiksa 18 Oktober 2026. Petunjuk penyiapan diadaptasi dari dokumentasi primer, bukan hasil uji performa langsung. Diagram adalah skema editorial orisinal; gambar vendor tidak direproduksi.

• Artikel peluncuran IBM, kartu 8B, kartu 30B, dan kartu pratinjau 3B: cakupan rilis dan perbedaan checkpoint.
• Repositori Granite Switch, persyaratan paket yang dipatok, dan panduan audio: instalasi, arsitektur, dan batas ucapan.
• Demo ucapan resmi, dokumentasi demo, dan notebook perbandingan aLoRA resmi: demo untuk dicoba, bukan hasil pengukuran artikel ini.
• Penjelasan aLoRA IBM, 17 April 2025 dan dokumentasi vLLM: mekanisme dan persyaratan operasi di atas.

Rekomendasi opsional Telli.sh: simpan sumber di balik keputusan

Simpan rekaman asli, catatan, dan hasil tinjauan bersama agar keputusan berikutnya tetap memiliki konteks. Buat akun Telli.sh untuk menata bahan referensi seiring berkembangnya alur kerja.