Granite Switch 4.1: Tukar Pertuturan Inggeris kepada Keputusan Seterusnya yang Berguna

Permintaan lisan biasanya memerlukan tiga jenis kerja: mendengar perkataan, menjelaskan maksudnya dan menentukan tindakan seterusnya. Granite Switch 4.1 meletakkan keupayaan itu di sebalik satu endpoint, bukannya meminta anda memasang tiga pelayan model berasingan.

Pengumuman IBM pada 15 Oktober 2026 memperkenalkan keluaran 8B dan 30B yang sudah digabungkan, lengkap dengan sembang, adapter keputusan umum, saringan keselamatan Guardian dan pengecaman pertuturan. Tarikan praktikalnya ialah laluan lebih pendek daripada nota suara bahasa Inggeris kepada tindakan yang boleh disemak. Artikel pelancaran IBM, 15 Oktober 2026.

Panduan ini bermula dengan latihan pelayar ringkas, kemudian menunjukkan persediaan setempat dan tiga aliran kerja realistik. Anda juga akan memahami batas penting: audio bahasa Inggeris bukan audio berbilang bahasa, skor keputusan bukan bukti, dan fail pemberat bukan keseluruhan bajet memori GPU anda.

Hero: skema editorial asli yang menunjukkan audio bahasa Inggeris menjadi transkrip, kemudian bercabang kepada respons sembang, pilihan keputusan dan saringan keselamatan. Tindakan akhir melalui semakan manusia; ini bukan tangkap layar rasmi atau dakwaan prestasi.

Dapatkan hasil pertama yang berguna sebelum memasang apa-apa

Mulakan di demo rasmi Speech to Decisions. IBM memautkannya daripada pengumuman 15 Oktober; dokumentasi demo menerangkan input mikrofon langsung, huraian topik ringkas, pemeriksaan keselamatan dan penilaian ya/tidak. Dokumentasi demo rasmi, disemak 18 Oktober 2026.

1. Buka demo dan gunakan bahan rekaan yang tidak sensitif sahaja. Ini perkhidmatan terhos, bukannya pemprosesan setempat.

2. Jika aplikasi tersedia, benarkan akses mikrofon dan sebut perkara berikut dalam bahasa Inggeris, bahasa ASR yang disokong:

   Teks biasa

   The replacement keyboard arrived damaged. Please send a new one.
   I can share a photo tomorrow.
   

3. Hentikan rakaman dan bandingkan transkrip yang dipaparkan dengan apa yang disebut. Periksa huraian topik dan bendera penilaian yang tersedia secara berasingan.

4. Pastikan permintaan, barang rosak dan janji susulan masih ada. Label topik yang munasabah bukan kejayaan jika transkrip kehilangan penafian atau menukar barang.

Itulah titik semak pertama yang berguna: satu input yang boleh difahami dan output yang boleh diperiksa. Ia bukan janji ketepatan perkataan, kependaman atau ketersediaan demo tanpa gangguan. Jika Space tidak tersedia atau organisasi anda melarang muat naik audio luaran, beralih kepada laluan setempat di bawah dan jangan hantar bahan peribadi ke tempat lain.

Apakah yang sebenarnya ditukar oleh Switch?

Model bahasa asas mengendalikan sembang biasa. Adapter ialah set pelarasan terlatih yang lebih kecil untuk mengkhususkan model bagi tugasan tertentu. Adapter decision memilih antara pilihan berlabel; guardian-core menyaring teks untuk risiko keselamatan tertentu. Aplikasi memilih adapter melalui templat sembang tanpa memuatkan keseluruhan model bahasa kedua. Repositori Granite Switch, disemak 18 Oktober 2026.

Pertuturan melalui laluan berlainan. Pengecaman pertuturan automatik (ASR) menukar bentuk gelombang kepada teks sebelum model bahasa membacanya. Pengecam terbina dalam ialah model Granite Speech TurboCTC bahasa Inggeris IBM yang mempunyai 470M parameter. Model Granite Speech, disemak 18 Oktober 2026. Anggap transkrip itu sebagai resit serahan: semua langkah seterusnya bergantung pada perkataan yang tercatat di situ. Simpan bersama ringkasan yang dikemas supaya pembaca boleh menjejak keputusan meragukan kembali kepada input.

Kad model 8B, dikeluarkan 14 Oktober 2026, membezakan keluaran sokongan audio daripada keluarga pratonton tanpa audio. Kad 30B dan pratonton 3B, disemak 18 Oktober, menghuraikan gabungan masing-masing. Pratonton lebih kecil bukan pengganti pertuturan terus.

Kad 8B menyenaraikan 12 bahasa sembang: Inggeris, Jerman, Sepanyol, Perancis, Jepun, Portugis, Arab, Czech, Itali, Korea, Belanda dan Cina. Senarai itu tidak meluaskan pengecam pertuturan lalai melepasi bahasa Inggeris.

Pilih sistem operasi sebelum menyalin arahan

Untuk persediaan CUDA/vLLM ini, pilih Linux dengan GPU dan pemacu NVIDIA yang serasi. Pada Windows, gunakan persekitaran WSL yang dikonfigurasi dengan akses GPU; arahan Bash ini bukan arahan PowerShell natif. Pada macOS, mulakan dengan latihan terhos atau hos GPU Linux, bukannya menganggap resipi CUDA ini sesuai untuk Apple Silicon. Panduan pemasangan GPU vLLM, disemak 18 Oktober 2026.

vLLM-Metal dan runtime lain mempunyai laluan keserasian tersendiri. Sokongan runtime terhadap sistem operasi anda tidak membuktikan checkpoint Switch tepat ini, adapternya dan cascade pertuturannya semuanya berfungsi di situ. Minta contoh yang sepadan sebelum memilih laluan itu.

Mulakan secara setempat dengan sembang, kemudian tambah audio dan keputusan

Gunakan folder kerja baharu dalam terminal Linux atau Bash WSL. Pasang Git dan Python 3.12 dahulu, kemudian pastikan nvidia-smi mengesan GPU. Snapshot repositori yang digunakan di sini memerlukan Python >=3.11,<3.14, PyTorch >=2.11.0, Transformers >=5.16,<=5.17.0 dan vLLM >=0.26.0,<0.31.0. Deklarasi pakej pada revisi 7e72456, disemak 18 Oktober 2026.

1. Pasang pakej Switch dan kebergantungan audio serentak. Ini menetapkan resipi sumber, bukannya bergantung pada wheel terbitan lama.

git clone https://github.com/generative-computing/granite-switch.git
cd granite-switch
git checkout 7e724560f9a9449bba2f08e16e8678c4dd6a06e7
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e '.[vllm,audio]' openai
python -m pip check

Ekstra itu khusus mengikut tugasan: [hf] menambah sokongan inferens Hugging Face, [compose] menambah alat gubahan, dan [audio] memasang kebergantungan penyahkodan audio vLLM. Memasang vllm sahaja tidak memasang plugin Switch. Pastikan gabungan PyTorch/CUDA yang diselesaikan serasi dengan pemacu; jangan baiki ralat penyelesai pakej dengan membuang semakan kebergantungan. Penggunaan awal memuat turun pemberat model, jadi sediakan masa dan ruang cakera sebelum memulakan rakaman.

2. Mulakan satu pelayan yang terikat pada loopback sahaja. Had konteks dan konkurensi di bawah ialah tetapan permulaan konservatif, bukannya jaminan muat pada perkakasan.

VLLM_PLUGINS=register_granite_switch \
python -m vllm.entrypoints.openai.api_server \
  --model ibm-granite/granite-switch-4.1-8b \
  --host 127.0.0.1 --port 8000 \
  --max-model-len 4096 --max-num-seqs 1 \
  --gpu-memory-utilization 0.80 --enable-prefix-caching

Pakej mendaftarkan register_granite_switch dalam vllm.general_plugins. vLLM mengesan entry point terpasang; pemboleh ubah persekitaran memilih plugin ini secara jelas. Resipi ini tidak memerlukan skrip pendaftaran salinan atau jalan pintas --trust-remote-code. Sumber pendaftaran Switch dan sistem plugin vLLM, disemak 18 Oktober 2026.

3. Semak respons sembang biasa. Dalam terminal Bash kedua, tunggu pelayan sedia, kemudian jalankan:

curl --fail http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"ibm-granite/granite-switch-4.1-8b","messages":[{"role":"user","content":"Rewrite this request clearly without adding facts: The replacement keyboard arrived damaged. Please send a new one."}],"max_tokens":120,"temperature":0}'

Baca mesej assistant dalam respons JSON. Kejayaan bermaksud mengekalkan permintaan tanpa mereka nombor pesanan, tarikh akhir atau kelulusan bayaran balik. Respons HTTP semata-mata bukan semakan jawapan yang berguna.

4. Hantar WAV bahasa Inggeris yang pendek. Letakkan rakaman berizin, tidak sensitif dan bernama request.wav dalam folder repositori. Aktifkan persekitaran maya yang sama dalam terminal kedua, simpan kod berikut sebagai try_audio.py, kemudian jalankan python try_audio.py.

import base64
from pathlib import Path
from openai import OpenAI

audio_bytes = Path("request.wav").read_bytes()
message_parts = [
    {"type": "text", "text": "List the requests in this recording. Do not add facts."},
    {"type": "input_audio", "input_audio": {
        "format": "wav",
        "data": base64.b64encode(audio_bytes).decode("ascii"),
    }},
]
local = OpenAI(api_key="unused", base_url="http://127.0.0.1:8000/v1")
reply = local.chat.completions.create(
    model="ibm-granite/granite-switch-4.1-8b",
    messages=[{"role": "user", "content": message_parts}],
    max_tokens=160,
    temperature=0,
)
print(reply.choices[0].message.content)

Ini memulangkan respons model bahasa melalui transkrip yang dimasukkan secara dalaman, bukan eksport ASR mentah. Panduan audio menerangkan cascade dan format input; gunakan aplikasi yang mendedahkan transkrip jika kedua-dua peringkat perlu diperiksa secara berasingan. Dokumentasi audio, disemak 18 Oktober 2026.

5. Cuba satu keputusan terhad menggunakan teks yang sudah disemak. Biarkan pelayan berjalan dan hantar:

curl --fail http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"ibm-granite/granite-switch-4.1-8b","messages":[{"role":"user","content":"State:\nThe replacement keyboard arrived damaged. Please send a new one."},{"role":"user","content":"### DECISION\nQuestion:\nWhich queue should review this request?\n\nOptions:\nA: Damaged-item replacements\nB: Account access\nC: Human triage because neither category fits\n\nReply with exactly one option label."}],"chat_template_kwargs":{"adapter_name":"decision"},"max_tokens":1,"temperature":0}'

Ini menguji pemilihan adapter dan meminta satu label, bukan laporan kebarangkalian. Untuk mendapat kebarangkalian, ikut contoh keputusan kad model, disemak 18 Oktober 2026: sahkan label satu token, minta logprob_token_ids, kemudian normalkan nilai untuk label calon. Dokumentasi readout adapter keputusan, disemak 18 Oktober menerangkan softmax per pilihan. Jangan gantikan dengan ayat sembang “Saya 95% yakin.”

Jadikan tiga aliran kerja boleh disemak, bukan sekadar automatik

Ini kegunaan ilustrasi, bukannya percubaan yang dilaporkan. Mulakan dengan output yang membantu seseorang menyemak kerja; tambah tindakan berakibat hanya selepas menilai kes yang mewakili penggunaan.

Arahkan mesej suara pelanggan. Gunakan ASR untuk menangkap permintaan, sembang untuk merangka ringkasan neutral dan soalan keputusan untuk memilih antara penggantian, sokongan akaun dan triage manusia. Kekalkan audio asal bersama transkrip disemak. Permintaan “jangan batalkan pesanan saya” patut menjadi kes ujian sengaja, bukan difikirkan selepas automasi pembatalan wujud.

Semakan penerimaannya konkrit: adakah barisan yang dipilih sepadan dengan perkataan sebenar, dan bolehkah ejen sokongan membetulkannya sebelum apa-apa dihantar? Bendera keselamatan boleh meminta semakan lanjut, tetapi tidak sepatutnya membuang aduan pelanggan kecewa secara senyap.

Tukar kemas kini projek menjadi draf tugasan. Dalam rakaman bahasa Inggeris, rakan sekerja berkata, "I can review the draft Friday, but I cannot approve the budget." Minta sembang memisahkan komitmen daripada pengecualian, kemudian tanya adapter keputusan sama ada kelulusan bajet hadir, tiada atau tidak jelas. Kekalkan “tidak jelas” apabila rakaman atau konteks tidak mencukupi. Seseorang menyemak tarikh dan tanggungjawab sebelum tugasan masuk ke penjejak bersama.

Sediakan senarai susulan temu duga. Dengan kebenaran penutur, transkripsikan petikan temu duga pendek bahasa Inggeris dan draf soalan tentang butiran yang hilang. Gunakan keputusan terhad seperti “Adakah petikan ini menyebut tarikh penghantaran secara jelas?” bukan “Bolehkah orang ini dipercayai?” Simpan petikan sokongan bagi setiap bendera. Ini memudahkan pertikaian diselesaikan tanpa menganggap tafsiran model sebagai penilaian terhadap penutur.

Skema aliran kerja asli: kekalkan audio dan transkrip, hasilkan output terbitan secara berasingan, kemudian semak sebelum bertindak. Ia menggambarkan aplikasi di atas, bukan antara muka rasmi; cascade asas dihuraikan dalam panduan audio, disemak 18 Oktober 2026.

Mengapa beberapa keupayaan boleh berkongsi konteks yang sama?

Cache key/value menyimpan maklumat perhatian yang dikira daripada token terdahulu. LoRA aktif (aLoRA) membolehkan pakar diaktifkan selepas konteks bersama, tanpa pemprosesan semula seluruh awalan seperti adapter biasa. IBM memperkenalkan pendekatan asas itu dalam penerangan penyelidikan pada 17 April 2025. Penyelidikan IBM tentang aLoRA.

Switch menggunakan keadaan cache model asas yang dinormalkan supaya pakar tidak menggunakan keadaan adaptasi peribadi pakar lain. Dalam aplikasi, kekalkan awalan bukti yang sama dan sambungkan soalan khusus tugasan. Menulis semula transkrip secara berbeza bagi setiap semakan menjejaskan penggunaan semula awalan. Dokumentasi mekanisme Switch, disemak 18 Oktober 2026.

Cache bersama ialah mekanisme kecekapan, bukannya inferens percuma. Cache awalan menjimatkan pemprosesan prompt berulang; ia tidak menghapuskan penjanaan respons atau pengecaman audio. Dokumentasi cache awalan vLLM, disemak 18 Oktober 2026. Pandangan kami: bandingkan keseluruhan aliran kerja disemak, bukan kelajuan tajuk yang terasing.

Belanjakan untuk keseluruhan beban kerja, bukan pemberat 8B sahaja

Sebagai kiraan perancangan, 8 bilion parameter pada dua bait setiap satu menggunakan kira-kira 16GB, atau 14.9GiB; 30 bilion menggunakan kira-kira 60GB, atau 55.9GiB. Ini contoh aritmetik pemberat asas, bukan saiz checkpoint atau spesifikasi VRAM minimum. Adapter, pengekod pertuturan, cache, penimbal sementara dan overhed runtime tidak termasuk.

Konteks lebih panjang dan lebih banyak jujukan serentak meningkatkan tekanan memori. Had konteks diiklankan bukan saranan untuk menempahnya sepenuhnya bagi percubaan pertama. vLLM mendokumenkan pengurangan max_model_len dan max_num_seqs sebagai kawalan memori. Panduan memori vLLM, disemak 18 Oktober 2026.

Senarai semak memori asli, bukan peruntukan berkadar: pemberat asas + adapter + pemberat dan pengaktifan ASR + cache KV + ruang lebihan runtime/paparan. Panduan audio memberi amaran praperuntukan cache boleh meninggalkan ruang tidak mencukupi untuk ASR; disemak 18 Oktober 2026.

Uji sembang pendek, klip pendek dan input biasa terpanjang secara berasingan. Catat pemerhatian memori puncak, masa siap dan kesilapan. Mengurangkan peruntukan cache boleh memberi lebih ruang untuk pertuturan, tetapi tidak menjadikan pemberat terlalu besar muat. Pilihan terkuantum memerlukan semakan keserasian khusus untuk adapter Switch dan audio, bukan sekadar muat turun lebih kecil.

Kekalkan kos dan privasi dalam pilihan pelaksanaan

Lesen model Apache-2.0 tidak menjadikan operasi tanpa kos. Penggunaan setempat memakan perkakasan, elektrik, storan dan masa penyelenggaraan; endpoint terhos menambah bil penyedia dan syarat pengendalian data. Jangan anggap ada harga Granite Switch sejagat bagi setiap minit. Untuk projek rintis, bahagikan jumlah kos pengkomputeran dan semakan dengan item yang berjaya diselesaikan, termasuk permintaan gagal dan pembetulan.

Contoh bajet hipotesis: 10 jam pada kadar penyedia $1 sejam berjumlah $10 untuk pengkomputeran sebelum storan, pemindahan dan semakan manusia. Itu input ilustrasi, bukan harga perkhidmatan dipetik. Jam endpoint melahu turut dikira.

Untuk kerja sensitif, tentukan lokasi audio, transkrip, cache, log dan sandaran sebelum merakam. Ikatan loopback mengehadkan akses rangkaian tetapi tidak menetapkan dasar pengekalan atau mematikan semua telemetri pustaka. Jangan dedahkan pelayan pada rangkaian awam, semak kebergantungan dan log, dapatkan izin penutur, serta tetapkan pemadaman audio sumber dan rekod terbitan secara berasingan. Demo terhos berguna untuk belajar, bukan destinasi lalai mesyuarat sulit.

Baiki peringkat yang gagal sebelum menukar keseluruhan timbunan

Seni bina tidak diketahui. Pastikan persekitaran maya mengandungi granite-switch, vLLM menggunakan persekitaran itu dan VLLM_PLUGINS merangkumi register_granite_switch. Baca ralat import plugin pertama sebelum menggantikan pakej.

Sembang berfungsi tetapi audio gagal. Sahkan ID keluaran yang menyokong audio, kebergantungan [audio] dan fail WAV sebenar, bukan fail lain yang dinamakan semula. Periksa versi Transformers dan memori tersedia. Memasang pustaka penyahkodan tidak menukar pratonton teks sahaja menjadi checkpoint audio.

Nama atau tanda baca salah. Pengecam CTC bahasa Inggeris lalai menghasilkan teks huruf kecil tanpa tanda baca dan tiada kawalan bahasa semasa penyahkodan. Kekalkan teks mentah; pemulihan tanda baca ialah suntingan terbitan. Cascade boleh menyebarkan ralat transkripsi kepada keputusan seterusnya. Had audio, disemak 18 Oktober 2026.

Klip panjang melebihi konteks. Pendekkan input atau bahagikannya kepada bahagian bermakna sambil mengekalkan rujukan sumber. Transkrip menggunakan konteks teks; ruang mencukupi mesti tinggal untuk soalan dan jawapan. Meningkatkan had konteks turut mengubah bajet memori.

Apakah yang perlu diketahui sebelum bergantung padanya?

Bolehkah ia menyebut jawapan dengan suara?

Laluan pertuturan gabungan ini ialah ASR, bukan teks-ke-pertuturan. Aplikasi output suara memerlukan komponen TTS berasingan.

Bolehkah ia mentranskripsi kesemua 12 bahasa sembang?

Bukan dengan pengecam bahasa Inggeris lalai. Panduan audio menerangkan penggantian bahagian belakang ASR untuk input berbilang bahasa; itu konfigurasi berbeza yang perlu dinilai.

Adakah kebarangkalian pilihan 0.95 bermaksud ketepatan dunia sebenar 95%?

Tidak. Ia menggambarkan taburan model terhadap pilihan yang diberikan, bukan kadar kejayaan disahkan untuk domain anda. Pilihan tidak lengkap, transkrip buruk dan soalan kabur masih boleh menghasilkan pilihan kuat. Nilai contoh berlabel dan tetapkan peraturan untuk tidak membuat pilihan sebelum mengautomatikkan tindakan. Dokumentasi adapter keputusan, disemak 18 Oktober 2026.

Adakah Guardian membuktikan jawapan itu benar?

Tidak. Saringan keselamatan berbeza daripada pengesahan fakta. Keluaran gabungan sedia guna ini tidak merangkumi setiap pakar dalam koleksi Granite Libraries yang lebih luas; periksa inventori adapter sebelum mereka bentuk aliran kerja kesahihan fakta.

Kesimpulannya: satu endpoint tetap memerlukan jejak bukti

Granite Switch 4.1 paling berguna apabila sembang menerangkan, pertuturan membekalkan perkataan yang boleh disemak dan keputusan terhad menyusun langkah seterusnya. Reka bentuk servis modular mengurangkan pertindihan infrastruktur; aliran kerja anda tetap bertanggungjawab terhadap persetujuan, bukti dan kuasa untuk bertindak.

Mulakan dengan satu rakaman pendek dan satu keputusan boleh dibatalkan. Kembangkan hanya apabila transkrip, tafsiran dan tindakan jelas kepada orang yang bertanggungjawab atas hasilnya.

Sumber

Tarikh keluaran: artikel pelancaran IBM bertarikh 15 Oktober 2026; kad model 8B menyenaraikan 14 Oktober 2026. Dokumentasi dipautkan disemak pada 18 Oktober 2026. Arahan persediaan diadaptasi daripada dokumentasi primer, bukan hasil prestasi hands-on. Rajah ialah skema editorial asli; imej vendor tidak diterbitkan semula.

• Artikel pelancaran IBM, kad model 8B, kad model 30B dan kad pratonton 3B: skop keluaran dan perbezaan checkpoint.
• Repositori Granite Switch, keperluan pakej terkunci dan panduan audio: pemasangan, seni bina dan had pertuturan.
• Demo pertuturan rasmi, dokumentasi demo dan notebook perlumbaan aLoRA rasmi: demonstrasi untuk diterokai, bukan hasil terukur panduan ini.
• Penerangan aLoRA IBM bertarikh 17 April 2025 dan dokumentasi vLLM: mekanisme dan keperluan operasi yang dibincangkan.

Syor pilihan Telli.sh: simpan sumber bersama keputusan

Simpan rakaman asal, nota dan hasil disemak bersama supaya keputusan kemudian mempunyai konteks. Cipta akaun Telli.sh untuk menyusun bahan rujukan itu apabila aliran kerja anda berkembang.