AI hardware10 minit bacaan

Strata 0.2.17 Mahu Lebih Banyak RAM Anda. Patutkah PC Kerja Membenarkannya?

Belanjawan memori baharu Strata boleh mengurangkan trafik SSD, sementara tetapan lalai berasingan melindungi kesetiaan output. Ketahui pilihan untuk PC kerja dan cara menguji komprominya.

K
Ken Jo

Model setempat boleh menjawab dengan lebih pantas sambil menjadikan komputer yang menjalankannya kurang selesa digunakan. Pada mesin yang turut menjalankan pelayar, editor dan panggilan video, kedua-dua hasil itu perlu diambil kira dalam penanda aras yang sama.

Strata 0.2.17, dikeluarkan pada 20 November 2026, memperlihatkan kompromi itu dengan amat jelas. Untuk fail model tertentu yang tidak dapat mengekalkan semua pemberat pakarnya dalam RAM, persediaan berorientasikan prestasinya meningkatkan peruntukan yang kekal dalam memori. Keluaran ini turut mematikan satu pengoptimuman berasingan selepas pengguna melaporkan jawapan yang semakin lemah.

Soalan yang berguna ialah sama ada PC anda merupakan mesin inferens khusus atau masih menjadi komputer kerja. Kemas kini ini memberi sebab untuk menguji perbezaan tersebut, bukannya menerima angka token sesaat yang lebih pantas sebagai keseluruhan hasil.

Tiga perkara yang perlu diketahui: contoh 64 GiB khusus untuk fail Unsloth yang disokong dan konfigurasi perkakasan yang dinyatakan; aplikasi boleh mengekalkan belanjawan lama yang lebih mesra kerja; dan pengekalan dalam memori serta melangkau laluan model ialah dua kawalan berbeza.

Tambahan tujuh GiB boleh menjimatkan pembacaan SSD dengan ketara

Strata ialah persekitaran masa jalan model setempat yang menyelaraskan sumber mesin untuk melaksanakan model yang disokong. Selepas peralihan enjin yang diterangkan dalam 0.2.16, versi baharu aplikasi dan Terminal ialah 0.2.17. Enjin serta pengemas kini Control menggunakan versi 0.1.63. Keluaran ini menyediakan muat turun untuk Windows, Linux, Mac dan DGX Spark, walaupun adanya muat turun untuk sesuatu sistem pengendalian tidak bermakna setiap model dan laluan pelaksanaan berfungsi pada setiap mesin.

Perubahan memori berkenaan melibatkan fail Unsloth UD-Q4_K_XL dan UD-IQ4_XS apabila semua pakarnya tidak boleh kekal dalam RAM. Peraturan persediaan baharu menolak 17 GiB serta sebarang cache KV yang distrim daripada jumlah RAM apabila menentukan berapa banyak pemberat pakar yang perlu dikekalkan. Peraturan lama menolak 24 GiB. Ini ialah belanjawan pengekalan untuk laluan pelaksanaan tertentu, bukan janji bahawa keseluruhan model, cache dan sistem pengendalian akan muat dalam angka itu.

Mengapakah tambahan beberapa GiB boleh memberi kesan? Jika pemberat yang diperlukan sudah tersedia dalam memori, masa jalan boleh mengelakkan pengambilannya semula daripada storan. Prompt yang berat boleh menggunakan kelebihan ini merentas banyak capaian. Oleh itu, hubungannya lebih rumit daripada membandingkan tujuh GiB dengan saiz satu fail input. Ia turut bergantung pada pakar yang dicapai oleh beban kerja dan perkara yang telah dicache oleh masa jalan.

Contoh penyelenggara menggunakan had memori sebenar 64 GiB, UD-Q4_K_XL, kad RTX PRO 4500 Blackwell dan prompt kira-kira 65K token. Jadual keluaran melaporkan hasil berikut. Ini ialah ukuran projek bagi persediaan tersebut, bukan ramalan untuk setiap komputer 64GB.

Belanjawan pemberat pakar yang kekalBacaan SSD untuk prompt yang dinyatakanKadar penyahkodanRAM bebas yang dilaporkanProgram 8 GiB yang dimulakan kemudian
40 GiB, contoh lama97.7 GB57.7 token/s16.6 GiBTerus berjalan
47 GiB, contoh baharu37.0 GB84.2 token/s9.3 GiBTerus berjalan
52 GiB, ujian tambahan0.9 GB83.4–88.6 token/s6.6 GiBDitamatkan paksa

Baris terakhir paling menarik. Mengurangkan trafik storan sehingga hampir sifar tidak menghasilkan peningkatan kelajuan penyahkodan yang sama dramatik, dan satu program lain gagal. Jadual ini menyokong belanjawan yang ditentukan melalui pengukuran, bukannya memaksimumkan jumlah memori yang diperuntukkan kepada inferens.

Cara pengekalan model berkongsi komputer dengan memori kerja Grafik penerangan asal: pemberat pakar, cache masa jalan yang berubah dan aplikasi harian berkongsi memori mesin. Peraturan pengekalan dalam keluaran ini hanya terpakai pada laluan model yang dinyatakan.

Rizab kerja aplikasi ialah pilihan permulaan yang berguna

Bayangkan sebuah stesen kerja pembangun sebagai ilustrasi. Mesin itu mempunyai sesi pelayar yang panjang, IDE yang sedang mengindeks repositori dan pembantu setempat yang menyediakan jawapan daripada dokumen besar. Konfigurasi pembantu yang paling pantas apabila berjalan sendirian kurang membantu jika IDE mula melakukan pertukaran memori ke storan atau mesyuarat video menjadi tidak stabil. Garis dasar yang betul ialah keseluruhan sesi kerja.

Aplikasi Strata menawarkan pilihan berlabel “Leave 20% for my work.” Menurut nota keluaran, pilihan ini mengekalkan belanjawan lama: 40 GiB dalam contoh 64 GiB. Terminal, strata serve, Docker dan mod prestasi penuh aplikasi menggunakan peruntukan yang lebih baharu. Belanjawan yang ditentukan pengguna atau tetapan rizab yang jelas diberi keutamaan. Pemasangan 0.2.16 sedia ada boleh menerima migrasi belanjawan sekali sahaja pada perintah Strata pertama selepas kemas kini, tanpa menjalankan persediaan berasingan, melainkan peruntukan telah ditetapkan secara jelas oleh pengguna.

Perbezaan itu penting apabila dua orang mengatakan mereka menguji tetapan lalai. Seorang mungkin menggunakan mod rizab kerja dalam aplikasi desktop, manakala seorang lagi melancarkan pelayan daripada Terminal. Mereka boleh menjalankan versi aplikasi yang sama dengan keputusan pengekalan memori yang berbeza. Catat mod pelancaran bersama versi sebelum membandingkan hasil.

Nota keluaran turut menerangkan pengecualian. Mesin yang menggunakan memori CPU/GPU dikongsi seperti Strix Halo dan laluan pembahagian lapisan antara dua kad mengekalkan rizab lama. Fail model lain yang disenaraikan—IQ2_XS, IQ3_XXS, IQ3_S dan Q2_0—tidak menerima belanjawan pengekalan ini dalam mana-mana versi. Oleh itu, menyalin peraturan memori daripada satu contoh bukan pengganti yang baik untuk memeriksa konfigurasi model yang tepat.

Untuk Windows, enjin baharu turut mengehadkan peruntukan awalnya kepada memori bebas yang tersedia ditolak 4.25 GiB. Oleh itu, mesin yang sibuk boleh bermula di bawah peruntukan utama 47 GiB. Nota keluaran menyatakan dengan jelas bahawa tingkah laku Windows ini tidak diukur dalam contoh tersebut. Ia turut melaraskan cara mesin Windows nominal 64GB dikelaskan apabila sistem melaporkan kira-kira 63.1 GiB. Butiran ini berguna untuk memahami peruntukan berlainan yang diperhatikan; ia tidak menjadikan ujian yang diterbitkan itu penanda aras Windows.

Cadangan praktikal kami ialah bermula dengan pilihan rizab pada komputer yang anda gunakan secara interaktif. Cuba peruntukan lebih besar sebagai perbandingan yang disengajakan ketika beban kerja sasaran sedang berjalan, bukannya mengambil memori daripada aplikasi yang kebetulan anda tutup untuk ujian tersebut.

Jawapan pantas dan jawapan yang setia memerlukan suis berasingan

Perubahan utama kedua melibatkan “Skip rarely used parts of the model,” tetapan Expert yang diwakili oleh STRATA_ROUTE_TAIL_SKIP. Ini bukan belanjawan RAM.

Nota keluaran menerangkan bahawa, dalam keadaan penghalaan berkaitan, pengoptimuman ini boleh menggugurkan kerja pakar yang sepatutnya disalin dan dikira. Sebelum ini ia berjalan secara lalai pada laluan NVIDIA dan Radeon RX 9000. Penyelenggara mengubah tingkah laku automatik selepas menerima laporan kehilangan kualiti. Dalam 0.2.17, ia dimatikan melainkan pengguna telah mengaktifkannya secara jelas.

Terdapat perbezaan penting antara menyimpan pemberat yang diperlukan lebih dekat kepada pemproses dan memilih untuk tidak melaksanakan sebahagian kerja model. Yang pertama mengubah tempat data diperoleh. Yang kedua mengubah pengiraannya. Walaupun kedua-duanya meningkatkan daya pemprosesan, risiko terhadap output tidak patut dinilai seolah-olah tekniknya sama.

Dalam contoh RTX 5090 penyelenggara dengan UD-Q4_K_XL dan DFlash2, lima jenis permintaan sepanjang dua pusingan menghasilkan purata kadar penyahkodan 73.4 token/s apabila pelangkauan laluan dimatikan dan 94.5 apabila diaktifkan. Nota yang sama menyertakan ukuran pencapahan dengan token yang dipaksakan. Itu ialah perbandingan konfigurasi yang diterbitkan oleh projek, bukan skor sama ada jawapan terhasil berguna, selamat atau betul dalam aplikasi anda.

Kesan hariannya ialah kemas kini boleh mengurangkan daya pemprosesan pada laluan tertentu sambil memulihkan tingkah laku penghalaan yang lebih lengkap. Itu mungkin hasil yang memang diingini. Jika kegunaan anda termasuk menyemak angka tepat, menjana output berstruktur atau mengikuti arahan yang sukar, mengekalkan tingkah laku yang dikehendaki boleh lebih bernilai daripada aliran teks yang lebih pantas.

Dua ujian berasingan untuk pembantu setempat yang berguna Senarai semak penilaian asal: ukur tekanan sumber secara berasingan daripada kualiti jawapan. Mengubah pengekalan memori dan mengubah pelangkauan laluan ialah dua eksperimen yang berbeza.

Tetapan tersuai sedia ada ialah sebahagian daripada sejarah naik taraf anda

Tetapan lalai automatik dan pilihan yang dibuat secara jelas tidak dipindahkan dengan cara yang sama. Jika anda tidak pernah mengubah tetapan laluan, atau menggunakan nilai automatiknya, tingkah laku automatik baharu ialah dimatikan. Jika anda memilih pangkat 7 atau pangkat lain secara jelas, nota keluaran menyatakan pilihan itu dikekalkan. Nilai sifar yang ditetapkan secara jelas kekal dimatikan.

Ini melindungi konfigurasi yang disengajakan, tetapi turut bermakna mengemas kini dua mesin tidak semestinya menyamakan tingkah lakunya. Salah satunya mungkin mengekalkan eksperimen lama yang diaktifkan seseorang beberapa bulan dahulu. Sebelum mendiagnosis regresi, periksa tetapan yang dibawa ke hadapan.

Nota keluaran mendokumenkan strata launch --set STRATA_ROUTE_TAIL_SKIP=7 sebagai cara untuk mengaktifkan tingkah laku pangkat 7. Anggapnya sebagai eksperimen pilihan, bukan langkah naik taraf yang perlu dijalankan oleh semua orang. Jika masalah yang cuba diselesaikan ialah output yang tidak konsisten, terlebih dahulu pastikan pengoptimuman laluan dimatikan, bukannya mengaktifkannya untuk mendapatkan semula angka daya pemprosesan lama.

Terdapat juga tetapan lalai lain dalam 0.2.17, termasuk perubahan pembacaan prompt dan penyahkodan khusus perkakasan. Sesetengahnya boleh mengubah teks yang dijana. Ini satu lagi sebab untuk tidak mengubah beberapa tetapan serentak lalu mengaitkan keseluruhan perbezaan kepada RAM. Versi, fail model, laluan perkakasan dan pengatasan yang dinyatakan secara jelas membentuk konfigurasi yang benar-benar anda uji.

Jalankan perbandingan dengan aplikasi yang anda memang mahu kekalkan terbuka

Ujian yang berguna tidak memerlukan makmal, tetapi memerlukan soalan yang boleh diulang. Untuk PC kerja, tanya sama ada pembantu menyelesaikan tugas yang mewakili kegunaan sebenar sementara seluruh mesin kekal boleh digunakan dengan selesa. Untuk pelayan khusus, tanya sama ada belanjawan yang dipilih menyokong perkhidmatan serentak yang dikehendaki tanpa kegagalan memori.

  1. Catat konfigurasi permulaan. Rekod versi aplikasi dan enjin, sistem pengendalian, RAM, GPU, fail model yang tepat, mod pelancaran, saiz konteks dan sebarang tetapan memori atau laluan yang dinyatakan secara jelas. Kekalkan model dan pengkuantuman yang sama sepanjang perbandingan.
  2. Pilih tiga tugasan yang mewakili penggunaan. Contohnya, gunakan soalan ringkas, permintaan dokumen panjang dan pengekstrakan berstruktur dengan medan wajib yang diketahui. Ini ialah cadangan kes ujian, bukan tugas yang kami jalankan untuk artikel ini.
  3. Tetapkan garis dasar rizab kerja. Kekalkan pelayar, editor dan aplikasi biasa yang lain terbuka. Perhatikan memori bebas, aktiviti storan, kelewatan respons pertama, kadar penjanaan dan sama ada aplikasi tersebut kekal responsif.
  4. Ubah pengekalan memori sahaja. Bandingkan peruntukan berorientasikan prestasi dengan tetapan laluan yang sama. Perhatikan tekanan memori semasa tugas berjalan dan apabila satu lagi aplikasi biasa dimulakan selepas itu.
  5. Nilai output. Semak fakta wajib, pemformatan, pematuhan arahan dan ketekalan merentas ulangan. Anggap pengekstrakan yang sah dari segi sintaks tetapi menggugurkan item wajib sebagai kegagalan.
  6. Uji pelangkauan laluan secara berasingan jika diperlukan. Kekalkan belanjawan pengekalan memori yang dipilih. Bandingkan hasil dengan contoh penerimaan anda, kemudian tentukan sama ada peningkatan daya pemprosesan berbaloi dengan perubahan yang diperhatikan.

Untuk dokumen panjang, rekod kedua-dua permulaan sejuk dan permintaan ulangan. Caching boleh menjadikan larian kedua kelihatan sangat berbeza daripada yang pertama. Jangan campurkan hasil panas satu konfigurasi dengan pertemuan pertama konfigurasi lain dengan dokumen tersebut.

Rekod juga kegagalan, bukannya menyembunyikannya melalui purata. Jawapan pantas yang diikuti kejadian kehabisan memori bukan hasil yang baik untuk perkhidmatan latar belakang. Sesi editor tanpa gangguan boleh menjadi hasil penentu untuk komputer riba kerja, walaupun tetapan lain memenangi lajur kadar penyahkodan.

Tetapan yang lebih baik menyisakan ruang untuk kerja sebenar anda

Strata 0.2.17 menjadikan inferens setempat kurang menyerupai penanda aras pemecut tunggal dan lebih menyerupai pengurusan komputer kecil yang dikongsi. Memori ialah meja bersama: meletakkan lebih banyak bahan model di atasnya boleh mengurangkan perjalanan ke storan, tetapi kerja tetap memerlukan ruang untuk dilakukan.

Untuk mesin khusus, peruntukan baharu memberi sebab untuk mengukur sama ada pembacaan yang berkurangan menambah baik beban kerja yang anda kendalikan. Untuk stesen kerja harian, pilihan rizab ialah titik permulaan yang munasabah. Dalam kedua-dua keadaan, kekalkan kesetiaan output sebagai kriteria penerimaannya sendiri. Tetapan yang lebih pantas layak dipilih apabila tugas lengkap—bukan sekadar pembilang token—menjadi lebih baik.

Sumber dan media rasmi

Ukuran di atas dikaitkan kepada projek dan mengekalkan syarat perkakasan serta modelnya. Prosedur penilaian ialah aliran kerja yang dicadangkan untuk pembaca.


Cadangan Telli.sh: Simpan konfigurasi, prompt yang mewakili penggunaan dan nota perbandingan bersama supaya kemas kini seterusnya bermula dengan garis dasar yang berguna. Mulakan nota pertama anda dengan Telli.sh.


← Kembali ke blog