Analisis AI10 minit bacaan

Liquid LFM3 mengajukan soalan AI setempat yang lebih baik: model kecil mana sesuai untuk tugas ini?

LFM3 mencabangkan asas bersama kepada model teks, penglihatan, audio, omni dan keputusan. Cara memilih pakar, merancang memori masa jalan sebenar dan membina penilaian setempat yang berguna.

K
Ken Jo

Pembantu setempat yang membaca resit tidak semestinya memerlukan model sama seperti pembantu yang menjawab soalan lisan. Program yang memilih antara tiga tindakan dibenarkan mempunyai tugas lain pula. Menganggap semuanya satu tugas boleh merumitkan aplikasi kecil tanpa keperluan.

Liquid AI mengumumkan LFM3 pada 27 Oktober 2026: enam model sekitar kelas 2B yang bercabang daripada asas bersama 1.7B, meliputi teks, penglihatan, audio, omni dan dua varian keputusan. Syarikat menyediakan pemberat terbuka, Playground dan akses API. Pengumuman LFM3.

Keputusan menarik ialah peranan yang sesuai dalam aplikasi anda. Panduan ini menerangkan keluarga model melalui pilihan praktikal, membezakan fail pemberat padat dengan bajet memori berfungsi, dan menawarkan penilaian pertama untuk mengetahui sama ada model pakar berguna pada perkakasan sendiri.

Perkakasan Raspberry Pi 5; konteks pengkomputeran pinggir sebagai ilustrasi, bukan ujian LFM3 kami. Perkakasan Raspberry Pi 5; konteks pengkomputeran pinggir sebagai ilustrasi, bukan ujian LFM3 kami. Imej: RetroEditor, CC BY 4.0; saiz diubah dengan ruang tepi. Sumber imej · Lesen dan catatan imej. Rujukan produk rasmi.

Keluarga model pakar bermula dengan output yang diperlukan

Cara terpantas memilih dengan buruk ialah bermula dengan senarai input disokong yang paling panjang. Mulakan dengan output yang mesti dihasilkan aplikasi. Perenggan, transkrip, medan berstruktur dan pilihan antara tindakan dibenarkan ialah kontrak berbeza, walaupun bahan sumber sama boleh membantu menghasilkan keempat-empatnya.

Pengumuman Liquid pada 27 Oktober mengenal pasti empat cabang modaliti dan dua cabang keputusan: LFM3-1.7B, LFM3-VL-2B, LFM3-Audio-2B, LFM3-Omni-2B, d1-2B dan d1-Omni-2B. Jadual berikut menukar peranan itu kepada soalan pemilihan aplikasi. Ini panduan kesesuaian, bukan ranking kualiti bebas. Huraian keluarga model.

Peranan modelCalon dalam keluarga LFM3Soalan untuk aplikasi anda
Interaksi teksLFM3-1.7BAdakah tugas memerlukan output bahasa daripada teks?
Pemahaman imej dan teksLFM3-VL-2BAdakah jawapan bergantung pada sesuatu yang kelihatan?
Interaksi pertuturan dan audioLFM3-Audio-2BAdakah aplikasi perlu mendengar atau bercakap?
Interaksi audiovisual gabunganLFM3-Omni-2BPerlukah ia mentafsir penglihatan dan bunyi bersama?
Keputusan berstruktur daripada teks dan imejd1-2BBolehkah hasil dinyatakan sebagai keputusan dengan jenis data ditetapkan?
Keputusan berstruktur termasuk audiod1-Omni-2BPerlukah keputusan terhad turut menggunakan bunyi?

Pandangan kami: unit berguna AI setempat ialah tugas lengkap yang paling kecil. Model patut mempunyai keupayaan mencukupi untuk memenuhi kontrak aplikasi jelas, bersama cara menangani ketidakpastian. Segala tambahan mempunyai kos masa jalan, ujian dan integrasi yang perlu dibuktikan nilainya.

Anggap keluarga itu sebagai gulungan alat. Membawa semua alat munasabah bagi sesetengah tugas; untuk pelarasan berulang, memilih alat betul mungkin lebih mudah. Analogi ini tentang reka bentuk aplikasi, bukan dakwaan bahawa satu model sentiasa mengatasi model lain.

Asas bersama secara konsep bercabang kepada empat peranan modaliti dan dua peranan keputusan Rajah penerangan asli tentang peranan yang dinamakan dalam pengumuman LFM3 Liquid AI. Ia mengelompokkan pilihan aplikasi dan tidak menunjukkan butiran pelaksanaan dalaman.

Pemberat terbuka memberikan pilihan pelaksanaan, dengan lesen yang perlu dibaca

Memuat turun pemberat memberi pembangun sesuatu yang nyata untuk dibungkus, dinilai dan disesuaikan. Ia boleh menyokong pelaksanaan setempat dengan laluan data aplikasi di bawah kawalan pembangun. Itu berguna, tetapi kewujudan fail boleh muat turun tidak menyelesaikan syarat komersialnya.

Katalog model Liquid, disemak pada 2 November, menerangkan penggunaan komersial percuma sehingga syarikat melepasi hasil tahunan $10 juta. Kad model LFM3-1.7B mengenal pasti LFM Open License v1.0. Baca lesen yang dilampirkan pada checkpoint tepat dan halaman pelesenan semasa mengikut situasi pelaksanaan, pengedaran dan hasil yang dimaksudkan.

Ini langkah perolehan praktikal. Prototaip dalaman kecil, aplikasi pengguna boleh muat turun dan perkhidmatan untuk perniagaan lain boleh menimbulkan soalan pengedaran dan kewajipan berbeza. Rekod pengecam model, semakan dan lesen bersama aplikasi supaya keputusan kekal boleh dijejaki apabila projek berkembang.

Perisian masa jalan dan pemberat model juga mempunyai versi berasingan. Model boleh tersedia sedangkan masa jalan pada peranti masih tiada sokongan serasi. Semak gabungan didokumentasikan dan jangan menganggap setiap aplikasi yang boleh memuatkan keluarga terdahulu boleh memuatkan keluarga baharu dengan betul.

Bagi pasukan, rekod ini patut merangkumi prom atau templat yang dijangkakan checkpoint. Pemuat serasi masih boleh menghasilkan tingkah laku buruk jika format input salah. Kebolehulangan bermula dengan mengetahui perkara yang benar-benar dimuatkan dan cara aplikasi berkomunikasi dengannya.

Sekitar 1 GB pemberat hanyalah permulaan bajet memori

Liquid menghuraikan jejak 4-bit model teks sebagai sekitar 1 GB dalam bahan pelancaran 27 Oktober. Kad model teks menetapkan 1.73 bilion parameter dan konteks gabungan input serta output 256K token. Itu spesifikasi model; memori puncak aplikasi turut bergantung pada beban kerja dan masa jalan.

Fail pemberat hanyalah satu bahagian proses berjalan. Masa jalan memerlukan memori kerja; pemprosesan konteks memerlukan keadaan; input multimedia mungkin memerlukan penimbal dan pengekod tambahan. Program lain pada peranti bersaing untuk sumber sama. Tajuk saiz pemberat tidak boleh memberitahu sama ada keseluruhan aplikasi kekal lancar di bawah beban.

Oleh itu, bajet contoh patut bermula dengan jejak proses yang diukur. Rekod keadaan aplikasi ketika melahu, puncak semasa memproses permintaan mewakili penggunaan, dan keadaan selepas permintaan berulang. Uji panjang konteks dan saiz input yang benar-benar akan dibekalkan pengguna, bukan prom kecil yang dipilih kerana mudah dimuatkan.

Disiplin sama terpakai pada masa. Permulaan, pemprosesan prom dan penjanaan respons ialah penantian berasingan. Model yang menjana token pantas selepas kelewatan panjang boleh terasa perlahan dalam aplikasi interaktif; tugas kelompok mungkin lebih mementingkan item siap sejam. Pilih ukuran yang sepadan dengan interaksi.

Bagi ciri audio, masukkan seluruh laluan daripada input hingga hasil berguna. Bagi ciri imej, masukkan pengendalian imej. Bagi ciri keputusan, masukkan pengesahan dan serahan tindakan. Ini keperluan penilaian yang anda tentukan, bukan angka prestasi yang dibekalkan oleh pelancaran.

Bajet memori konsep memisahkan pemberat, keadaan konteks, masa jalan, pemprosesan input dan overhed aplikasi Rajah bajet memori asli. Lebar segmen ialah ilustrasi tanpa perkadaran terukur; angka kira-kira 1 GB merujuk jejak model teks 4-bit terbitan Liquid, bukan jumlah memori aplikasi. Sumber.

Tiga aplikasi contoh mendedahkan pertimbangan berbeza

Pembantu dokumen boleh mengasingkan pembacaan daripada keputusan

Bayangkan aplikasi perniagaan kecil menerima foto resit. Satu tugas ialah membaca peniaga, tarikh dan amaun yang kelihatan. Tugas lain ialah memutuskan sama ada dokumen cukup lengkap untuk disemak seseorang. Output itu wajar disahkan berasingan walaupun satu model menyumbang kepada kedua-duanya.

Laluan penglihatan-bahasa boleh menyokong soalan tentang imej; laluan keputusan boleh dinilai bagi semakan kelengkapan terhad. Aplikasi patut menyimpan imej sumber dan membezakan medan diekstrak daripada data perakaunan diterima. Tarikh yang hilang patut kekal hilang sehingga seseorang menyelesaikannya.

Bina set penilaian contoh dengan imej jelas, kabur, susun atur luar biasa dan resit dalam bahasa kerja sebenar. Ukur kesilapan per medan serta beban semakan. Kadar kejayaan keseluruhan tinggi boleh menyembunyikan kesilapan berulang pada medan paling penting bagi perniagaan.

Hasil produk berguna ialah barisan semakan lebih pendek dan jelas. Keindahan penerangan model kurang penting berbanding keupayaan penyemak memeriksa sumber dan membetulkan medan. Keutamaan itu membantu memilih antara output bahasa terbuka dan antara muka keputusan yang lebih terkawal.

Antara muka lisan boleh bermula dengan set tindakan dibenarkan yang sempit

Pertimbangkan pembantu bebas tangan contoh bagi aplikasi setempat. Pengguna boleh meminta mencari item, membaca status atau menyediakan draf tindakan. Keupayaan audio berguna apabila bercakap lebih mudah daripada menaip, tetapi aplikasi masih perlu mengetahui perkara yang dibenarkan berubah akibat permintaan.

Mulakan dengan kosa kata tindakan kecil dan laluan pengesahan jelas. Contohnya, permintaan mencari rekod boleh dijalankan segera dalam data dibenarkan, sementara permintaan mengubah rekod boleh membentangkan cadangan untuk semakan. Polisi milik aplikasi, bukan bergantung pada kata-kata yang kebetulan dihasilkan model.

Uji keadaan akustik sebenar. Perbualan latar, ujaran pendek dan nama hampir sama boleh mewujudkan pola kegagalan berbeza daripada ayat rakaman bersih. Masukkan kes yang hasil betulnya ialah bertanya semula. Jawapan lisan lancar kurang berguna daripada interaksi tepat yang boleh dipulihkan.

Calon omni relevan apabila permintaan bergantung pada perkara yang dilihat dan disebut. Jika semua tugas hanya menggunakan pertuturan, penambahan pemprosesan visual memerlukan alasan. Di sinilah pendekatan keluarga boleh membantu memastikan ciri sepadan dengan tugas.

Alat sokongan setempat boleh menghalakan kerja sambil mengekalkan jalan keluar

Aplikasi sokongan contoh mungkin memilih antara tiga barisan menggunakan tiket dan tangkap layar dilampirkan. Output keputusan terhad boleh lebih sesuai daripada jawapan panjang yang perlu ditafsir aplikasi. Soalan berguna ialah sama ada laluan dipilih cukup boleh dipercayai pada kadar semakan yang boleh diterima.

Kekalkan hasil “perlu semakan” yang jelas. Uji tiket yang tidak sesuai dengan mana-mana barisan, tangkap layar bercanggah dan kes kekurangan konteks. Aplikasi tidak patut memaksa model mencipta laluan sah hanya kerana skema menuntutnya.

Bandingkan model dengan asas mudah seperti peraturan sedia ada dan penghalaan manusia. Jika asas sudah mengendalikan kategori dengan baik, model perlu memperbaik bahagian lain dalam aliran kerja. Kebaharuan bukan kriteria penerimaan.

Untuk setiap kesilapan, simpan konteks dibenarkan yang mencukupi untuk memahami sebabnya. Asingkan masalah input, kategori kabur dan ralat model. Perbezaan itu menunjukkan sama ada model perlu diperbaik, takrif barisan diubah atau bahan sumber lebih baik diminta.

Jadual penanda aras ialah titik mula untuk beban kerja sendiri

Kad model LFM3-1.7B rasmi, disemak pada 2 November, mencadangkan pengambilan maklumat atau carian untuk kerja sarat pengetahuan dan memberi peringatan tentang pengekodan berejen serta penaakulan berbilang langkah kompleks pada saiz ini. Ini panduan berguna untuk menempatkan model dalam sistem lebih besar walaupun jadual penanda aras pembekal menunjukkan kemajuan.

Hasil penanda aras menjawab soalan khusus dalam persediaan tertentu. Aplikasi anda menambah data, alat, taburan bahasa dan kos kegagalan sendiri. Model boleh meningkat pada agregat awam tetapi masih memerlukan kerja teliti bagi beberapa kategori yang ditemui pengguna setiap hari.

Asingkan tiga perbandingan dalam pilot. Pertama, bandingkan kualiti tugas dengan aliran kerja semasa. Kedua, bandingkan kos sumber penuh pada peranti sasaran. Ketiga, bandingkan usaha memulihkan kegagalan. Perbandingan itu mungkin menghasilkan pemenang berbeza.

Model umum awan, contohnya, mungkin berguna sebagai laluan eskalasi apabila pakar setempat menolak. Susunan itu memerlukan polisi data dan pengalaman pengguna yang jelas. Operasi setempat ialah pilihan pelaksanaan yang disahkan merentasi seluruh aplikasi, termasuk log dan permintaan sandaran.

Penalaan halus patut mengikuti jurang yang terbukti. Jika kegagalan berpunca daripada bahan sumber hilang atau takrif output kabur, latihan tambahan mungkin mengukuhkan tugas yang salah. Tentukan kontrak dan periksa ralat sebelum memutuskan bahawa penyesuaian ialah langkah berguna seterusnya.

Pilot pertama patut muat pada satu halaman keputusan

Kad model teks rasmi memautkan format checkpoint dan arahan masa jalan. Mulakan di situ untuk gabungan model dan masa jalan tepat; gunakan Playground rasmi bagi semakan interaksi awal jika sesuai dengan polisi data. Kedua-dua laluan tidak menggantikan ujian pelaksanaan yang akan dihantar kepada pengguna.

  1. Tulis kontrak input dan output. Nyatakan bahan dibenarkan, hasil dijangka dan hasil semakan jelas. Pilih satu tugas, bukan persona pembantu umum.
  2. Pilih calon dan semakan. Padankan modaliti dan peranan output, kemudian rekod checkpoint, lesen dan masa jalan serasi. Baca batasan khusus model.
  3. Cipta set penilaian yang mewakili penggunaan. Masukkan kes biasa, sukar, permintaan tidak disokong dan contoh dalam bahasa pengguna sebenar. Asingkan bahan penilaian tertahan daripada data penyesuaian.
  4. Jalankan permulaan pantas didokumentasikan dalam persekitaran terasing. Ikuti arahan kebergantungan dan pemformatan semasa kad model. Sahkan identiti model yang dipulangkan sebelum membandingkan output.
  5. Ukur laluan aplikasi lengkap. Rekod ketepatan, kadar semakan, kependaman dan memori puncak untuk saiz input realistik. Catat perkakasan dan tetapan masa jalan bersama angka.
  6. Uji laluan ketidakpastian. Sahkan maklumat hilang, output tidak sah dan kegagalan masa jalan membawa kepada keadaan semakan atau cuba semula yang difahami.
  7. Tentukan pengkhususan seterusnya. Gunakan kategori ralat berulang untuk memilih input lebih baik, peraturan lebih jelas, pengambilan maklumat, penalaan halus atau model lain.

Untuk pusingan pertama, keputusan bertulis boleh ringkas: calon ini berguna untuk tugas ini pada peranti ini dengan syarat semakan ini. Kesimpulan sempit yang boleh diulang lebih bernilai daripada dakwaan umum bahawa AI setempat sedia untuk segala-galanya.

Model kecil memperoleh tempat dengan menyelesaikan tugas yang ditakrif

LFM3 meluaskan pilihan pembangun yang mahukan teks, penglihatan, bunyi atau keputusan terhad dekat dengan aplikasi. Kepentingan praktikalnya datang daripada kebolehan memilih peranan itu dan menilainya sebagai bahagian produk.

Langkah seterusnya ialah memperincikan satu tugas supaya kualiti, memori dan pemulihan semuanya boleh diukur. Model pakar berguna apabila seluruh aplikasi boleh bergantung pada kontraknya dan tahu tindakan apabila ia tidak boleh menjawab.

Sumber

Simpan bahan di sebalik sesuatu keputusan

Telli.sh ialah satu pilihan untuk menyimpan bahan sumber yang dibenarkan bersama catatan yang telah anda semak. Cipta ruang kerja catatan.


← Kembali ke blog