Baseten joey-1 mempersoalkan sama ada setiap keputusan AI memerlukan model besar

“Pasukan mana patut mengendalikan tiket ini?” jarang memerlukan jawapan lima perenggan. Ia memerlukan satu daripada beberapa destinasi sah, keyakinan mencukupi untuk memilih secara bertanggungjawab dan cara meminta bantuan apabila permintaan tidak sesuai dengan pilihan.

Baseten memperkenalkan joey-1 pada 29 Oktober 2026 untuk kerja sebegitu. Dibina oleh kumpulan penyelidikan Base Labs, model ini berada di hujung kecil keluarga model keputusan bersama elephant-1 dan mammoth-1. Tarikannya ialah kontrak output lebih sempit: keputusan dan kebarangkalian, bukannya penjelasan terjana yang perlu ditafsir aplikasi. Pengumuman Baseten memperkenalkan pelancaran tersebut.

Peluang praktikalnya ialah pembahagian kerja berbeza. Biarkan model kecil mengendalikan keputusan berulang yang ditakrifkan dengan baik; belanjakan lebih untuk baki yang tidak pasti. Panduan ini menerangkan pengiraan harga, tiga aplikasi ilustrasi dan semakan yang menjadikan strategi penghalaan sedemikian berguna.

Sepanduk kad model rasmi joey-1 daripada Baseten. Imej: Base Labs / Baseten, daripada repositori model yang mengisytiharkan lesen MIT; saiz diubah dan margin ditambah. Sumber imej · Lesen dan nota imej.

Model keputusan bermula dengan pilihan yang boleh diterima aplikasi anda

Model bahasa umum boleh mengelaskan permintaan dengan menulis “pengebilan”, mengembalikan JSON atau menerangkan sebab pelanggan layak mendapat bayaran balik. Setiap antara muka ada kegunaannya. Model keputusan khusus menumpukan pemilihan antara jawapan dibekalkan dan pelaporan kebarangkalian dalam bentuk berstruktur.

Ini mengubah kerja sebelum inferens. Anda memerlukan soalan tepat dan pilihan yang menerangkan tindakan bermakna. “Apa patut kita lakukan?” ialah kontrak lemah. “Antara pengebilan, sokongan teknikal atau penipuan, siapa patut menerima kes ini?” lebih sempit, walaupun masih memerlukan dasar untuk permintaan yang sesuai dengan beberapa pasukan atau tiada satu pun.

Halaman pustaka model joey-1 Baseten, disemak pada 2 November, mendokumentasikan input teks dan imej, soalan pilihan, keputusan ya/tidak dan penskoran bertertib melalui /v1/systemone. Hasil dimaksudkan untuk kegunaan atur cara. Ia bukan pengganti penjana penjelasan atau respons berasingan apabila pengguna memerlukannya.

Anggap model kecil sebagai meja pengisihan. Nilainya datang daripada memindahkan kerja biasa ke tempat betul sambil menghantar kes luar biasa kepada pihak yang mempunyai lebih banyak kuasa atau konteks. Meja yang yakin tersalah hala kes sukar mencipta kerja tersembunyi kemudian, walaupun setiap inferens murah.

Sebab itulah aplikasi patut mengekalkan ketidakpastian. Sistem penghalaan boleh merekodkan label sementara, bertanya soalan penjelasan atau menyerahkan item kepada manusia. Ia tidak perlu menukarkan setiap taburan kebarangkalian kepada tindakan perniagaan serta-merta.

Satu sen membeli token input, bukan bilangan keputusan tetap

Seperti disemak pada 2 November 2026, entri harga rasmi menyenaraikan $0.01 bagi setiap 1 juta token input, dengan input cache dan output disenaraikan pada $0.00. “Satu sen” merujuk unit token itu. Permintaan dengan sejarah panjang memerlukan lebih banyak pemprosesan input berbanding permintaan pendek yang diskop dengan teliti.

Berikut pengiraan ilustrasi pada kadar input diterbitkan itu, sebelum cukai, perkhidmatan lain atau syarat komersial. Ia mengandaikan input tanpa cache dan harga stabil; ini contoh perancangan, bukannya anggaran invois.

Formulanya mudah: jumlah token input dibahagi 1 juta, didarab $0.01. Pengiraan operasi lebih luas. Sertakan kos sebarang eskalasi, penyediaan data, percubaan semula, pemantauan dan pembetulan manual.

Katakan dua konfigurasi penghalaan berbeza beberapa dolar dalam penggunaan model. Satu menghantar lebih sedikit kes untuk semakan tetapi sekali-sekala menghalakan permintaan mendesak ke baris gilir perlahan. Yang kedua mengeskalasi lebih banyak permintaan dan mengelakkan ralat itu. Pilihan betul bergantung pada kos kesilapan dan kapasiti penyemak tersedia, bukan semata-mata bil token termurah.

Hujah itu semakin kuat apabila inferens semakin murah. Apabila penggunaan model hanya sebahagian kecil kos keseluruhan aliran kerja, penambahbaikan sederhana dalam penentukuran atau reka bentuk label boleh lebih penting daripada satu lagi penurunan harga token. Inferens murah meluaskan automasi yang berdaya maju; ia tidak menghapuskan keperluan menilai hasil.

Rajah penghalaan asal, diilhamkan oleh pendekatan eskalasi dalam pengumuman Baseten pada 29 Oktober. Ambang menjadi tanggungjawab aplikasi yang menerapkannya.

Penghalaan tiket ialah tugas awal yang baik apabila label mempunyai pemilik

Dalam aliran kerja sokongan ilustrasi, joey-1 menetapkan mesej masuk kepada pengebilan, sokongan teknikal atau keselamatan akaun. Soalan ya/tidak berasingan menyemak sama ada pelanggan meminta bayaran balik. Skor bertertib mengenal pasti tahap kesegeraan kes.

Soalan ini berkaitan, tetapi tidak patut dirangkumkan dalam satu label. Permintaan pengebilan juga boleh mendesak. Permintaan keselamatan akaun boleh mengandungi tuntutan bayaran balik. Memisahkan keputusan memudahkan penetapan perkara yang diterima setiap pasukan dan gabungan yang memerlukan pengendalian khas.

Mulakan dengan menulis label bersama pemilik baris gilir. Sertakan contoh kes yang pernah menimbulkan perselisihan. Tentukan cara mengendalikan mesej yang menyebut kegagalan pembayaran akibat pepijat perisian. Model tidak boleh menyelesaikan kekaburan organisasi yang dibiarkan tidak ditakrifkan oleh organisasi sendiri.

Untuk pelancaran, bandingkan cadangan dengan keputusan sedia ada sebelum memindahkan kerja secara automatik. Semak perbezaan mengikut kategori: dasar kabur, konteks kurang, ralat model jelas atau label sejarah salah. Satu peratus ketepatan keseluruhan menyembunyikan masalah berbeza ini.

Pengumuman Baseten pada 29 Oktober meletakkan joey-1 sebagai model barisan pertama dengan model sekeluarga lebih besar untuk ketidakpastian. Ia melaporkan kependaman hujung ke hujung P50 20 milisaat bagi purata permintaan 2,000 token dalam keadaan penyajian pengeluarannya. Ini ukuran pembekal bagi beban kerja perkhidmatan tertentu, bukannya jaminan kependaman untuk aplikasi atau perkakasan anda. Sumber: Baseten.

Penghala dokumen patut mengenali apabila destinasi tiada

Kes penggunaan ilustrasi kedua ialah penerimaan dokumen. Aplikasi menerima fail dan perlu menentukan sama ada ia tergolong dalam aliran kerja invois, semakan perbelanjaan atau baris gilir rekod umum. Input teks dan imej pilihan boleh menjadikan model sesuai untuk bahan dokumen bercampur, dengan syarat representasi dihantar mengandungi maklumat yang diperlukan tugas.

Takrifkan keputusan sebenar secara sempit. Menyemak sama ada halaman kelihatan seperti invois berbeza daripada mengesahkan invois itu tulen, mencukupi di sisi undang-undang atau boleh dibayar. Pengelas boleh membantu memilih aliran kerja tanpa diberi kebenaran meluluskan pembayaran.

Kes ujian paling bernilai mungkin yang berada di luar taksonomi: resit dilampirkan pada kontrak, imej terlalu kabur untuk dibaca atau bahasa tidak disokong. Jika aplikasi hanya menawarkan tiga destinasi sah, ia memerlukan mekanisme lain untuk bukti tidak lengkap dan kandungan asing. Laluan semakan jelas lebih mudah dikendalikan daripada tekaan terpaksa.

Jejaki juga perubahan populasi input. Model yang kebanyakannya melihat invois domestik pendek semasa penilaian mungkin kemudian menerima penyata berbilang halaman dan surat-menyurat imbasan. Memantau label akhir terpilih sahaja boleh terlepas perubahan itu. Catat panjang permintaan, jenis input, ketidakpastian dan hasil semakan pada tahap privasi yang sesuai.

Kad model diterbitkan, disemak pada 2 November, menerangkan joey-1 sebagai model 2B parameter yang dilatih lanjut daripada Qwen3.5-2B dan menyenaraikan lesen MIT. Fakta itu menyokong pilihan penerapan wajaran terbuka. Ia tidak menetapkan keperluan memori sejagat, prestasi CPU atau kebenaran menggunakan semula setiap ilustrasi dalam pengumuman.

Semakan imej menjadi berguna apabila syarat boleh diperhatikan

Untuk senario ketiga, bayangkan semakan foto produk dihantar sebelum memasuki semakan katalog manual. Soalan berguna mungkin bertanya sama ada label kelihatan, sama ada imej mengandungi objek diminta atau sama ada foto terlalu terhalang untuk dinilai. Setiap soalan patut menamakan sesuatu yang boleh diperhatikan dalam imej dibekalkan.

Rubrik tidak membantu mencampurkan pemerhatian dengan fakta tersembunyi. “Adakah penjual ini boleh dipercayai?” tidak boleh dijawab daripada foto produk sahaja. “Adakah kawasan nombor siri yang diminta kelihatan?” lebih sempit dan memberikan aliran kerja seterusnya sebab nyata untuk meminta imej lain.

Penskoran bertertib boleh berguna apabila penyemak sudah berkongsi rubrik, seperti tidak boleh digunakan, perlu semakan dan boleh digunakan. Tulis kriteria dalam istilah yang boleh digunakan penyemak secara konsisten. Jika dua tahap bersebelahan tidak dapat dibezakan walaupun oleh manusia, taburan kebarangkalian tidak akan membetulkan taksonomi itu.

Gunakan model untuk mengutamakan semakan sebelum membenarkan penolakan automatik. Penolakan penyerahan boleh mempengaruhi pelanggan secara langsung, dan kos penolakan salah mungkin melebihi penjimatan automasi. Peringkat semakan turut menyediakan contoh untuk memperhalus rubrik dan menyemak sama ada prestasi berbeza mengikut keadaan input.

Ini reka bentuk ilustrasi, bukannya laporan penerapan joey-1. Ciri bersama ialah soalan terbatas diikuti langkah seterusnya yang boleh dibalikkan. Itu tempat munasabah untuk mempelajari tingkah laku model pada data anda.

Kebarangkalian memerlukan dasar sebelum menjadi tindakan

Nilai keyakinan bukan tanda kebenaran. Jika aplikasi memilih bertindak melebihi 0.90, ambang itu ialah pilihan reka bentuk yang kesannya perlu diukur. Skor tinggi masih boleh salah, khususnya apabila permintaan berbeza daripada data yang digunakan untuk menetapkan ambang.

Ralat berbeza memerlukan dasar berbeza. Menghalakan soalan biasa kepada pasukan sokongan salah menyusahkan. Menganggap laporan pengambilalihan akaun sebagai rutin boleh jauh lebih mahal. Ambang kebarangkalian sama tidak patut mentadbir kedua-dua tugas secara automatik.

Rangka penilaian asal. Liputan, kos tindakan salah dan kualiti eskalasi ialah metrik aplikasi; rajah tidak melaporkan hasil joey-1 yang diukur.

Bina set ujian berasingan dengan kes biasa yang mewakili penggunaan, kes sukar dan input di luar skop. Bagi setiap ambang cadangan, periksa bahagian yang dikendalikan secara automatik serta ralat dalam bahagian itu. Kemudian teliti perkara yang berlaku pada bakinya: model yang mengelakkan ralat dengan mengeskalasi hampir semuanya mungkin tidak mengubah aliran kerja.

Bandingkan seluruh rantaian dengan penggunaan model lebih besar sahaja. Reka bentuk kecil dahulu menambah peringkat penghalaan, yang mempunyai mod kegagalan dan kependamannya sendiri. Ia berbaloi apabila cukup banyak permintaan boleh dikendalikan dengan sewajarnya pada peringkat pertama dan laluan eskalasi menambah baik baki sukar.

Mulakan dengan API dihoskan, atau belanjawankan pengehosan sendiri secara jelas

Baseten menawarkan Model APIs dihoskan, penerapan khusus dan wajaran boleh dimuat turun. Konteks serta keadaan penyajiannya patut diperiksa berasingan. Catatan pelancaran menerangkan konteks 16k untuk Model APIs dan pilihan penerapan khusus 262k, sementara kad model menyatakan panjang jujukan terlatih 16,384 token dan menolak permintaan melebihi had terlatihnya. Tiada satu maksimum yang patut disalin tanpa membezakan semua laluan. Catatan pelancaran, kad model.

1. Pilih satu kontrak keputusan. Namakan pilihan sah, makna setiap pilihan dan tindakan aplikasi apabila bukti tidak mencukupi.
2. Pilih laluan penerapan. Untuk rintis dihoskan, buka entri API model dan cipta kelayakan akses dalam antara muka akaun pembekal. Untuk penyajian setempat, ikuti keperluan masa jalan berpinkan dalam kad model.
3. Hantar permintaan minimum. Contoh API rasmi menggunakan https://inference.baseten.co/v1/systemone dengan state, questions berjenis dan pengecam model decision-models/baseten-joey-2b-latest.
4. Sahkan respons berstruktur. Tolak hasil cacat atau tidak tersedia, simpan kebarangkalian yang diperlukan untuk penilaian dan kekalkan dasar penghalaan dalam aplikasi anda.
5. Jalankan penilaian bayangan. Bandingkan cadangan dengan hasil disemak sebelum mendayakan tindakan automatik.
6. Tambah dan ukur eskalasi. Halakan kes tidak pasti atau berimpak besar kepada model lebih besar atau manusia, kemudian periksa hasil seluruh laluan.

Kad model mendokumentasikan persediaan pengehosan sendiri yang memerlukan GPU CUDA dan persekitaran penyajian berpinkan. “2B” menerangkan skala model; ia bukan janji bahawa mana-mana komputer riba mempunyai memori mencukupi. Sertakan overhed masa jalan, pemprosesan imej, keserentakan dan panjang konteks apabila menentukan saiz penerapan.

Rintis API boleh menjawab kesesuaian produk sebelum anda melabur dalam infrastruktur itu. Pengehosan sendiri menjadi keputusan berasingan tentang kawalan, penggunaan, usaha operasi dan jumlah kos. Wajaran terbuka menyediakan pilihan itu; ia tidak menjadikannya ekonomik secara automatik.

Set ulangan melindungi aliran kerja apabila model atau prom berubah

Simpan koleksi permintaan disemak yang mempunyai versi selepas rintis pertama berfungsi. Sertakan kes biasa, kesilapan mahal dan contoh yang jawapan betulnya ialah meminta bantuan. Simpan perkataan soalan dan huraian pilihan bersama hasil dijangka, menggunakan data yang anda dibenarkan menyimpan.

Apabila anda mengubah prom, ambang atau konfigurasi penyajian, jalankan semula koleksi itu sebelum meluaskan trafik. Peningkatan satu kategori boleh menyembunyikan regresi kategori lain. Contohnya, penghalaan lebih tegas boleh mengurangkan jumlah semakan sambil menambah kesilapan pada mesej pendek yang kabur. Purata keseluruhan sahaja tidak boleh menjelaskan kompromi itu.

Catat pengecam model sebenar dan laluan penyajian yang digunakan bagi setiap penilaian. Jika penerapan mengikuti pengecam latest yang berubah, tetapkan cara mengesan perubahan tingkah laku dan menilai semula penerimaan. Skema aplikasi stabil tidak menjamin keputusan serupa selama-lamanya.

Uji juga kegagalan perkhidmatan. Tamat masa, model tidak tersedia atau respons tidak sah patut memasuki laluan pemulihan ditetapkan, bukannya memilih pasukan lalai secara senyap. Pilihan lalai itu sendiri keputusan perniagaan dan mungkin tidak sesuai untuk permintaan sensitif. Sistem model kecil yang boleh diandalkan mengendalikan jawapan tidak tersedia dengan ketelitian sama seperti jawapan yakin. Disiplin operasi itu penting walaupun permintaan biasa berharga sebahagian kecil sen.

Model kecil menjadikan kualiti batas keputusan lebih jelas

Pandangan kami: joey-1 paling menarik apabila aplikasi sudah mentakrifkan pilihannya dengan jelas. Keputusan murah dan pantas boleh memindahkan jumlah kerja besar, tetapi taksonomi buruk hanya memindahkan kesilapan lebih cepat.

Soalan bernilai ialah jumlah kerja yang boleh dikendalikan sistem dengan betul dalam skop diketahui dan sebaik mana ia mengendalikan bakinya. Model kecil layak mendapat tempat apabila laluan eskalasi sebahagian daripada produk, bukannya nota kaki selepas harga.

Sumber

• Baseten: keputusan untuk satu sen, memperkenalkan joey-1, 29 Oktober 2026.
• Pustaka model dan contoh API Baseten joey-1, disemak pada 2 November 2026.
• Kad model Base Labs joey-1, disemak pada 2 November 2026. Entri penanda aras dilaporkan penerbit; entri Artificial Analysis dikenal pasti sebagai replika dalaman.

Kekalkan hubungan semakan anda dengan sumbernya

Telli.sh ialah satu pilihan untuk menyimpan bahan sumber yang dibenarkan dan nota di sebalik keputusan teknikal. Cipta ruang kerja nota.