[Buku Nota Idea AI 01] SlideOn: model carian lebih kecil dengan dua kawalan kos yang berguna

Buku Nota Idea AI meneroka idea dan kemungkinan penggunaan praktikal di sebalik model serta alat AI yang baru muncul.

Anda ingat bahawa sebuah dokumen menerangkan cara membatalkan pesanan. Kotak carian hanya mengenali perkataan pembatalan. Malangnya, dokumen itu menamakan proses yang sama sebagai penarikan balik. Sesuatu koleksi boleh mengandungi jawapan yang betul tetapi masih sukar digunakan.

LightOn memperkenalkan SlideOn dan mSlideOn pada 19 Oktober 2026 sebagai dua model untuk mendapatkan semula dokumen yang berkaitan. SlideOn menumpukan bahasa Inggeris; mSlideOn memperluas pendekatan itu kepada teks berbilang bahasa, dokumen panjang dan kod. Tarikan khususnya ialah sepasang bajet boleh laras: berapa banyak ciri yang digunakan oleh pertanyaan, dan berapa banyak ciri yang disimpan oleh setiap dokumen. Pengumuman LightOn

Pengenalan ini menerangkan kesesuaian model tersebut, kesan kawalan itu dan cara mencuba perbandingan kecil sebelum membina perkhidmatan carian. Anda tidak memerlukan aplikasi sembang baharu untuk memahami ideanya. Mulakan dengan satu soalan, beberapa dokumen dan takrif hasil yang berguna.

Tangkapan skrin kad model awam pada 20 Oktober 2026. Sumber: LightOn di Hugging Face. Ini ialah halaman model yang diterbitkan, bukan hasil inferens setempat; antara muka itu turut menunjukkan bahawa model yang boleh dimuat turun tidak semestinya mempunyai penyedia inferens terhos.

Carian memerlukan senarai pendek yang baik sebelum jawapan

Sistem perolehan semula menyusun kedudukan dokumen berdasarkan pertanyaan. Sistem itu tidak semestinya perlu menulis jawapan, meringkaskan fail atau memutuskan sama ada sesebuah syarikat patut mengubah dasarnya. Tugas terdekatnya lebih khusus: meletakkan bahan sumber paling berkaitan hampir di kedudukan teratas.

Bayangkan sebuah buku panduan dalaman dengan tiga halaman tentang pemulangan, penghantaran dan cuti kakitangan. Soalan tentang memulangkan pesanan yang rosak sepatutnya mengutamakan halaman pemulangan. Jika hasil pertama sebaliknya membincangkan kalendar cuti, penjana jawapan yang fasih pada peringkat seterusnya sudah pun bermula dengan bukti yang salah.

Perbezaan ini menjadikan perolehan semula berguna walaupun tanpa AI generatif. Pakar sokongan boleh terus membuka dokumen yang disenaraikan. Penyelidik boleh mengumpulkan petikan untuk perbandingan. Alat pengekodan boleh mencari pelaksanaan yang berkemungkinan berkaitan sebelum seseorang memeriksanya.

Terdapat juga pembahagian tanggungjawab yang berguna. Perolehan semula membantu mencari bukti; dokumen asal kekal sebagai tempat untuk menyemak kata-kata, tarikh dan pengecualian. Hasil yang baik sepatutnya memudahkan akses kepada sumber itu, bukannya menggantikan sumber dengan skor keyakinan.

Carian jarang menyimpan buku alamat secara terpilih

Anggap indeks carian sebagai buku alamat. Indeks kata kunci konvensional merekodkan dokumen yang mengandungi sesuatu istilah. Model jarang terpelajar menghasilkan buku alamat jenis lain: model memberikan pemberat kepada set ciri terpelajar yang agak kecil, kemudian menggunakan ciri aktif yang dikongsi untuk menskor pertanyaan berbanding dokumen.

Perkataan jarang menerangkan sifat pemilihan itu. Sesuatu perwakilan mungkin mempunyai banyak kedudukan yang berpotensi tetapi hanya menggunakan sebahagian kecil daripadanya untuk teks tertentu. Indeks songsang boleh mengaitkan setiap ciri aktif dengan dokumen yang menggunakannya, lalu membantu enjin carian menumpukan senarai catatan yang berkaitan.

Kad model SlideOn menyatakan 32,768 ciri terpelajar yang berpotensi serta kawalan pemangkasan pertanyaan dan dokumen yang bebas antara satu sama lain. Kedudukan ciri tersebut ialah pemboleh ubah laten yang dipelajari, bukan kamus perkataan Inggeris yang telus. Anda tidak sepatutnya mentafsir ciri 100 sebagai sinonim yang dijamin untuk “pemulangan”. Kad model SlideOn

Butiran terakhir itu penting apabila menerangkan hasil. Perwakilan jarang boleh menjimatkan kos carian tanpa menjadikan setiap keputusan dalaman mudah difahami manusia. Penjelasan praktikal kepada pengguna masih sepatutnya berupa petikan berkaitan daripada dokumen sumber, dengan konteks yang mencukupi untuk menyemak sebab ia sepadan.

Rajah penerangan asal. Tanda ciri contoh menggambarkan proses; tanda itu bukan pengaktifan yang diukur daripada SlideOn.

Pilih model mengikut koleksi yang benar-benar anda miliki

Kedua-dua nama itu menerangkan titik permulaan yang berkaitan, bukannya tetapan bahasa yang boleh saling ditukar. Dalam keluarannya, LightOn menyenaraikan SlideOn dengan 174 juta parameter dan mSlideOn dengan 339 juta parameter. Angka yang lebih besar sahaja tidak menentukan model yang lebih sesuai untuk koleksi anda. Keluaran 19 Oktober

Label berbilang bahasa ialah sebab untuk menyiasat, bukannya jalan pintas untuk mengelakkan penilaian. Katalog dwibahasa mungkin mengandungi salinan terjemahan, dasar wilayah yang berbeza dan istilah yang tiada satu padanan harfiah. Semua ini ialah masalah perolehan semula yang berbeza walaupun dokumen berkongsi tag bahasa.

Sebagai contoh, bayangkan anda mencari dasar bayaran balik bahasa Perancis dengan soalan bahasa Inggeris. Itu ialah tugas rentas bahasa. Mencari dokumen bahasa Perancis dengan pertanyaan bahasa Perancis ialah tugas dalam bahasa yang sama. Rekodkan kedua-duanya secara berasingan: skor agregat boleh menyembunyikan pengalaman yang lemah bagi satu kumpulan pembaca.

Prinsip yang sama terpakai kepada kod. Mencari fail sumber tentang “pemulihan sesi” memerlukan sesuatu yang berbeza daripada memadankan nama fungsi secara tepat. Kekalkan pertanyaan pengecam tepat dalam perbandingan bersama soalan deskriptif, kerana sistem carian yang berguna sering memerlukan kedua-duanya.

Eksperimen pertama boleh dimuatkan dalam sebuah notebook

Mulakan dengan teks awam atau sintetik serta persekitaran Python yang bersih. Contoh yang diterbitkan menggunakan SparseEncoder daripada Sentence Transformers; ia ialah antara muka pemuatan model dan bukannya pelayan carian lengkap. Berikut ialah penyesuaian resipi rasmi, disemak pada 20 Oktober 2026. Penggunaan yang didokumenkan

1. Buka kad model dan semak kod inferens tersuai serta kebergantungan repositori. Pemuat di bawah menggunakan trust_remote_code=True, yang membenarkan pelaksanaan Python repositori itu dijalankan; gunakan semakan versi yang telah diteliti untuk eksperimen yang boleh diulang.
2. Cipta persekitaran terasing dan pasang julat versi pustaka yang didokumenkan.
3. Kodkan satu pertanyaan dan beberapa dokumen pendek. Gunakan kaedah pertanyaan dan dokumen model itu dan bukannya menambah awalan secara manual.
4. Periksa skor bersebelahan teks dokumen sebenar. Semakan awal ini berkaitan kedudukan, bukannya ambang skor sejagat.

python -m venv .venv
# Activate .venv using the command for your shell.
python -m pip install "sentence-transformers>=6.1,<6.2" "transformers>=5.3,<6"

from sentence_transformers import SparseEncoder

model = SparseEncoder("lightonai/SlideOn", trust_remote_code=True)
documents = [
    "Customers may return a damaged order within the stated return period.",
    "Standard delivery takes three working days after dispatch.",
    "Staff should record annual leave in the shared calendar.",
]
queries = ["What should I do if my delivery arrives broken?"]

q = model.encode_query(queries, top_k=64)
d = model.encode_document(documents, top_k=512)
scores = model.similarity(q, d)
print(scores)

Dokumen di atas ialah contoh pengajaran yang direka. Tiada hasil yang didakwa atau ketepatan terukur yang dilampirkan pada kod ini. Anda sepatutnya memeriksa sama ada dokumen pemulangan berada di tempat pertama, kemudian mencuba parafrasa dan alternatif yang sengaja disukarkan.

Jangan berhenti selepas pertanyaan paling mudah berjaya. Tanya tentang pembatalan pesanan sebelum penghantaran, bungkusan rosak selepas diterima dan bayaran balik selepas tarikh akhir yang dinyatakan. Jika koleksi itu tidak menjawab sesuatu soalan, ujian sepatutnya mendedahkan ketiadaan itu dan bukannya memberi ganjaran kepada hasil yang menarik tetapi tidak berkaitan.

Dua bajet menjawab dua soalan kos yang berbeza

Pemangkasan pertanyaan mengehadkan ciri yang digunakan ketika bertanya soalan. Pemangkasan dokumen mengehadkan ciri yang disimpan untuk setiap item berindeks. Dalam perkhidmatan besar, bajet pertama melibatkan kerja yang berulang bagi setiap carian; bajet kedua turut mempengaruhi indeks yang kekal antara carian.

Percubaan yang berguna mengubah satu bajet pada satu-satu masa. Kekalkan perwakilan dokumen semasa melaraskan pemangkasan pertanyaan, kemudian ulang dengan bajet dokumen alternatif. Jika kedua-duanya berubah serentak, hasil yang berbeza tidak banyak membantu menentukan perubahan yang menyebabkannya.

Tiada tetapan “cukup kecil” yang sejagat. FAQ pendek, arkib berbilang bahasa dan repositori perisian mempunyai taburan bahasa, panjang dan pengulangan yang berbeza. Konfigurasi yang berfungsi untuk soalan umum mungkin kehilangan butiran jarang yang membezakan dua prosedur hampir serupa.

Rancangan eksperimen asal. Ini ialah keadaan perbandingan, bukannya hasil penanda aras atau tetapan pengeluaran yang disyorkan.

Asingkan kualiti, masa dan storan dalam lajur berlainan. Jika carian menjadi lebih pantas tetapi artikel berkaitan terkeluar daripada halaman pertama, peningkatan masa itu bukan tanpa kos. Jika indeks yang lebih besar tidak memberikan manfaat bermakna untuk soalan yang ditanya pengguna, storan tambahannya mungkin tidak berbaloi.

Angka penanda aras bukan ukuran masa tindak balas

Kad model melaporkan 56.68 nDCG@10 pada BEIR-15 untuk tetapan SlideOn tanpa pemangkasan. Itu ialah hasil kualiti kedudukan yang dilaporkan merentas set data penanda aras, bukannya kebarangkalian sesuatu jawapan khusus itu betul. Ia juga bukan bilangan milisaat. Penilaian yang diterbitkan

Perbincangan kecekapan LightOn membezakan proksi FLOPS perolehan semula daripada kependaman terukur, serta bilangan nilai bukan sifar dokumen daripada saiz indeks dalam bait. Perbezaan itu wajar dikekalkan dalam setiap jadual perbandingan. Proksi matematik membantu menerangkan mekanisme; ukuran operasi memberitahu apa yang benar-benar dilakukan oleh sistem anda.

Bagi penilaian kecil, jam randik sahaja juga tidak mencukupi. Pemuatan awal model, pengekodan dokumen, pembinaan indeks dan pertanyaan berulang ialah fasa berbeza. Laporkan permulaan sejuk secara berasingan daripada carian selepas sistem bersedia, dan jelaskan sama ada masa itu merangkumi kerja mengekod pertanyaan.

Perhatian yang sama terpakai kepada skor kualiti. Sistem perolehan semula boleh menemui dokumen yang betul tetapi meletakkan petikan yang salah hampir di bahagian atas fail panjang. Rekodkan sama ada unit penilaian anda ialah fail, bahagian atau petikan, dan gunakan unit yang sama untuk setiap calon.

Tiga koleksi praktikal menampakkan pertukaran yang terlibat

Buku panduan operasi ialah contoh awal yang baik kerana hasil yang diingini biasanya jelas. Tulis soalan tentang pemulangan, kelewatan penghantaran dan akses akaun, kemudian kenal pasti halaman berautoriti untuk setiap satu. Sertakan soalan dengan kata-kata yang berbeza daripada tajuk halaman supaya anda menguji lebih daripada padanan tajuk.

Arkib projek berbilang bahasa menambah cabaran: subjek yang sama boleh muncul dalam nota mesyuarat, pengumuman terjemahan dan rancangan lama. Gunakan metadata untuk membezakan dasar semasa daripada perbincangan bersejarah. Keserupaan semantik tidak memutuskan versi yang patut diikuti oleh organisasi.

Koleksi dokumentasi pembangun menambah rentetan tepat dan kandungan hampir pendua. Soalan tentang tamat masa mungkin memerlukan panduan konsep serta kunci konfigurasi. Kekalkan carian leksikal sebagai garis dasar, dan periksa sama ada pendekatan hibrid berbaloi dengan kerumitannya untuk soalan sebenar anda.

Ini ialah senario penilaian yang dicadangkan, bukannya kajian kes yang telah dilaksanakan. Tujuannya ialah menjadikan kriteria penerimaan lebih konkrit. Dalam setiap kes, artifak penting ialah senarai soalan, sumber yang diterima dan kedudukan yang diperhatikan yang boleh disemak oleh orang lain.

Pastikan perbandingan pertama cukup kecil untuk diselesaikan

Gunakan, misalnya, 30 soalan yang mewakili keperluan sebenar dan bukannya timbunan pertanyaan tanpa had. Bahagikannya kepada carian biasa, parafrasa, kes kabur dan soalan yang tidak dapat dijawab oleh koleksi. Ini ialah reka bentuk permulaan yang dicadangkan, bukannya penanda aras yang mewakili populasi secara statistik.

Minta pakar bidang menilai hasil yang dijangka sebelum melaras tetapan. Jika tidak, setiap kedudukan yang mengejutkan mengundang penjelasan baharu tentang maksud “sebenar” soalan. Simpan set soalan berasingan yang tidak disentuh untuk semakan akhir supaya tetapan tidak sekadar menghafal contoh semasa pembangunan.

Rekodkan semakan versi model, peraturan prapemprosesan, saiz cebisan, tetapan pemangkasan dan butiran mesin. Mengubah mana-mana satu daripadanya boleh mengubah perbandingan. Pelaksanaan ringkas yang boleh diulang oleh orang lain lebih berguna daripada skor besar yang inputnya telah hilang.

Akhir sekali, periksa skrin hasil pada saiz yang akan digunakan orang ramai. Hasil teratas yang betul masih mengecewakan pengguna apabila tajuk dipotong sehingga sukar dikenal pasti atau petikan menyembunyikan ayat penentu. Kualiti perolehan semula dan kualiti antara muka bertemu ketika seseorang memilih bahan untuk dibuka.

Carian lebih baik memendekkan laluan ke sumber

Pada pandangan kami, idea SlideOn yang berguna ialah pemisahan kualiti dan bajet sumber kepada kawalan yang boleh diuji. Itu ialah titik permulaan yang lebih praktikal daripada menganggap setiap masalah carian memerlukan model jawapan lebih besar. Ia mengajak eksperimen sederhana: kekalkan soalan, ubah perwakilan dan periksa bahan yang benar-benar dapat ditemui pengguna.

Mulakan dengan dokumen yang berulang kali gagal ditemui oleh pasukan anda. Jika sistem perolehan semula baharu boleh mengutamakannya secara konsisten di bawah kata-kata berbeza, anda mempunyai penambahbaikan konkrit untuk dikembangkan. Destinasinya masih sumber yang boleh dibaca; tugas model ialah memendekkan laluan.

Sumber dan media

Disemak pada 20 Oktober 2026. Contoh persediaan menyesuaikan kad model awam; tiada pemasangan, inferens setempat atau penanda aras bebas yang didakwa. Tangkapan skrin: halaman model awam LightOn di Hugging Face, dirakam oleh penulis. Kedua-dua rajah ialah karya asal. Sumber aset dan notis lesen disertakan dalam rekod media.

• Keluaran LightOn, 19 Oktober 2026
• Kad model SlideOn dan penggunaan
• Kad model mSlideOn dan butiran bahasa
• Repositori latihan dan penilaian

Simpan soalan bersama bukti

Simpan set pertanyaan, pautan sumber dan nota semakan bersama supaya perbandingan kemudian menjawab soalan yang sama. Telli.sh boleh membantu menyusun rekod penyelidikan itu. Cipta akaun Telli.sh