Mengapa PFN Mahu Menindan Memori pada Cip AI Seterusnya
Kerjasama MN-Core L2000 antara PFN dan SEMIFIVE menyasarkan kesesakan memori dalam inferens AI. Makna pelan pembangunannya untuk ejen, AI persendirian dan pembelian perkakasan pada masa depan.
Pembantu AI mungkin mempunyai memori yang cukup untuk memuatkan model, tetapi setiap jawapannya masih terasa lambat. Unit pengiraan sudah bersedia, namun pengiraan yang berguna bergantung pada penghantaran data yang betul pada masa yang tepat. Bagi syarikat yang menyediakan beberapa pembantu persendirian, perbezaan ini boleh menjadikan spesifikasi cip yang mengagumkan sebagai penantian yang mengecewakan antara perkataan.
Preferred Networks dan SEMIFIVE mempertaruhkan pembangunan mereka pada masalah itu. Pengumuman bertarikh 16 November 2026 menerangkan siri MN-Core L2000, pemproses berfokuskan inferens yang menindan logik dan DRAM secara menegak. Sasaran yang dinyatakan ialah lebar jalur memori lebih daripada dua kali ganda berbanding siri L1000 sebelumnya. PFN menyiarkan pengumuman itu di laman webnya pada 17 November. Pengumuman PFN
Persoalan yang menarik ialah bagaimana reka bentuk itu boleh mengubah kerja pihak yang akhirnya mengendalikan perkhidmatan AI. Pergerakan data yang lebih pantas boleh sama pentingnya dengan penambahan keupayaan pengiraan, manakala pembungkusan, sokongan perisian dan pelayan yang siap menentukan sama ada manfaatnya sampai ke skrin pengguna. Pengumuman L2000 menyediakan cara yang berguna untuk memikirkan keputusan ini sebelum tiba masanya untuk membuat pembelian.
Syarikat di sebalik PLaMo turut mereka bentuk jentera yang menjalankannya
Preferred Networks ialah syarikat AI yang berpangkalan di Tokyo, dengan kegiatan merangkumi pemproses, infrastruktur pengkomputeran dan keluarga model PLaMo. Dalam kerjasama ini, PFN bertanggungjawab terhadap seni bina pemproses dan reka bentuk logik; SEMIFIVE menyediakan pelaksanaan dan perkhidmatan rantaian bekalan menggunakan platform Samsung Foundry serta infrastruktur reka bentuk 3D-IC. Profil syarikat dan peranan pembangunan PFN
Pembahagian tugas itu penting kerana pemecut yang berguna bukan sekadar set arahan atau lukisan cip. Reka bentuk logik perlu diterjemahkan menjadi silikon yang boleh dihasilkan, memori perlu disambungkan kepadanya, dan peranti yang dibungkus perlu beroperasi secara konsisten. Akhirnya, pelanggan memerlukan konfigurasi pelayan yang boleh dihasilkan semula serta laluan perisian yang mengubah model menjadi aplikasi. Setiap peralihan tanggungjawab boleh mempengaruhi kos produk akhir dan jadual penghantarannya.
Hubungan dengan PLaMo memberikan titik permulaan yang dikenali pembaca, tetapi tidak membuktikan bahawa semua pelaksanaan PLaMo akan beralih kepada perkakasan ini. Pembangun model dan pembeli infrastruktur juga mempunyai persoalan yang berbeza. Pembangun mahu tahu sama ada beban kerja boleh dilaksanakan dengan cekap; pembeli mahu tahu sama ada pelaksanaan yang disokong mampu memenuhi sasaran perkhidmatan sepanjang hayat pemasangan itu.
Bagi pembaca Korea, penglibatan SEMIFIVE ialah contoh nyata kepakaran reka bentuk semikonduktor tempatan menyumbang kepada infrastruktur inferens. Persoalan seterusnya yang berguna ialah bagaimana kepakaran itu diterjemahkan menjadi peranti pengeluaran dan sistem yang disokong. Pengumuman kerjasama mengenal pasti pihak yang terlibat dan hala tujunya; produk hiliran akan menentukan pilihan yang tersedia kepada pelanggan.
Kapasiti memori dan lebar jalur memori menjawab persoalan berbeza
Kapasiti menunjukkan jumlah data yang boleh disimpan oleh sistem memori. Lebar jalur menunjukkan jumlah data yang boleh dipindahkan dalam sesuatu selang masa. Sesebuah model boleh muat dalam had pertama, tetapi had kedua masih mengehadkan kelajuan pemproses mengendalikannya. Menambah kapasiti sahaja tidak menjamin aplikasi menjadi lebih responsif.
Pengiraan perancangan yang ringkas memperjelas perbezaan pertama. Model padat hipotesis dengan 30 bilion parameter yang disimpan pada dua bait bagi setiap parameter memerlukan kira-kira 60 bilion bait untuk parameter itu sahaja. Pengiraan tersebut tidak merangkumi ruang kerja masa jalan, data perhatian yang dicache dan overhed lain. Ini ialah gambaran pengiraan storan, bukannya kenyataan tentang kapasiti L2000 atau model yang disokongnya.
Persoalan berikutnya ialah bagaimana beban kerja menggunakan data yang disimpan. Pemprosesan prom masuk dan penjanaan token output secara berturutan mengenakan tuntutan yang berbeza pada sistem. Penerangan NVIDIA tentang pengoptimuman inferens membezakan kerja selari dalam pemprosesan prom daripada penyahkodan autoregresif, apabila pergerakan memori boleh menjadi kekangan. Penerangan itu juga menjelaskan bagaimana pemprosesan kelompok dan pengurusan cache perhatian mengubah keseimbangannya. Panduan pengoptimuman inferens NVIDIA, 17 November 2023
Bayangkan memori sebagai ruang simpanan bahan yang bersambung dengan dapur. Ruang simpanan yang lebih besar membantu mengekalkan bahan di lokasi; laluan yang lebih lebar membantu dapur menerima bahan itu. Kedua-duanya tidak menunjukkan tempoh menyediakan sesuatu hidangan, kerana penyediaan dan bahagian lain dalam aliran kerja masih penting. Perbandingan perkakasan menjadi lebih berguna apabila fungsi yang berbeza itu kekal jelas.
Rajah penerangan asli yang memisahkan storan, pergerakan data dan respons aplikasi. Rajah ini menggambarkan asas keputusan, bukannya susun atur pakej L2000 yang belum diterbitkan.
Penindanan mengubah cabaran kejuruteraan serta laluan data
Pengumuman rasmi PFN menyertakan rajah susunan menegak logik dan DRAM siri MN-Core L. Rajah itu membantu menjelaskan hala tuju yang dicadangkan. Ia tidak menunjukkan pelayan lengkap yang akan dipasang pelanggan atau membuktikan prestasi aplikasi yang siap.
Menggabungkan komponen dalam satu tindanan memerlukan reka bentuk berfungsi sebagai sistem fizikal. Bekalan kuasa, penyingkiran haba dan keseragaman pembuatan perlu dibincangkan bersama pergerakan data. Perkara ini bukan tugas sampingan yang boleh ditangguhkan sehingga seni bina kelihatan menarik pada slaid. Semuanya mempengaruhi sama ada peranti boleh dihasilkan, dibungkus, disejukkan dan disokong pada kos yang munasabah.
Bagi pengendali, reka bentuk pakej ialah permulaan penelitian, bukannya penghujungnya. Rak mempunyai had kuasa, kemudahan mempunyai reka bentuk penyejukan, dan perkhidmatan mempunyai jangkaan masa operasi. Pemecut yang dicadangkan akhirnya perlu menepati ketiga-tiganya. Manfaat ekonomi bergantung pada keseluruhan pemasangan, termasuk peralatan dan tenaga kerja untuk memastikan ia terus berjalan.
Sebab itulah cerita kecekapan perlu disertakan dengan keadaan pengukurannya. Hasil yang baik untuk satu model, ketepatan angka dan tahap keserentakan tidak boleh mewakili semua beban kerja. Pelanggan perlu melihat keadaan apabila sistem berprestasi baik, apabila ia kehabisan ruang kapasiti dan jumlah tenaga yang digunakan oleh perkhidmatan lengkap untuk menyampaikan jawapan yang berguna.
Tiga beban kerja membawa tiga persoalan berbeza
Pertimbangkan pembantu dokumen persendirian untuk pasukan undang-undang atau kejuruteraan. Perkhidmatan contoh ini menerima permintaan secara tidak sekata, dan penggunanya menyedari kelewatan sebelum jawapan bermula. Penilaiannya perlu merangkumi dokumen yang mewakili penggunaan sebenar, masa pencarian maklumat dan respons pertama model. Pemecut boleh memperbaik sebahagian laluan itu sedangkan carian dokumen atau pemeriksaan kawalan akses masih menjadi punca kelewatan yang lebih besar.
Contoh kedua ialah ejen dalaman yang memanggil model berulang kali semasa menyiapkan tugas. Dalam keadaan ini, satu penjanaan yang lambat boleh menjejaskan beberapa langkah yang bergantung padanya. Hasil yang berguna ialah masa untuk menyelesaikan tugas yang diberi kebenaran dengan betul, termasuk hasil penggunaan alat dan sebarang kelulusan manusia. Peningkatan kadar token model hanya membantu bahagian aliran kerja yang benar-benar menunggu penjanaan.
Contoh ketiga ialah baris gilir pemprosesan semalaman yang mengelaskan atau meringkaskan koleksi rekod yang besar. Ia boleh menerima lebih banyak pemprosesan kelompok dan lebih mementingkan jumlah kerja yang siap sebelum tarikh akhir. Beban kerja itu mungkin memerlukan konfigurasi berbeza daripada pembantu interaktif, walaupun kedua-duanya menggunakan model yang sama. Semakan perolehan perlu mengekalkan perbezaan itu dan bukannya memilih demonstrasi dengan angka tajuk paling besar.
Senario ini ialah rancangan penilaian, bukannya percubaan L2000. Ia menunjukkan mengapa seni bina yang berfokuskan memori wajar diikuti tanpa mengandaikan satu hasil prestasi tertentu. Projek rintis terbaik bermula dengan beban kerja yang sudah difahami pasukan dan hasil yang boleh dibandingkan dengan sistem semasa.
| Keputusan | Bahan yang perlu disediakan pasukan | Perkara yang perlu ditunjukkan hasil |
|---|---|---|
| Pembantu dokumen persendirian | Soalan, dokumen dan peraturan akses yang mewakili penggunaan sebenar | Jawapan yang berguna tiba dalam sasaran masa respons yang dipersetujui |
| Ejen dalaman berbilang langkah | Tugas lengkap, panggilan alat dan titik kelulusan | Masa penyelesaian keseluruhan bertambah baik tanpa menjejaskan ketepatan |
| Baris gilir pemprosesan semalaman | Set rekod tetap dan tarikh akhir penyiapan | Kerja yang diperlukan siap dengan boleh dipercayai dalam belanjawan operasi |
Sasaran lebar jalur ialah satu input dalam anggaran perkhidmatan
Pada pandangan kami, perbandingan paling berguna bermula dengan kerja yang hendak diperoleh. Pasukan tidak membeli lebar jalur secara berasingan; mereka membeli keupayaan menyelesaikan tugas dalam batas tertentu. Untuk itu, rantaian bukti perlu menghubungkan model dan masa jalan dengan pelayan serta aplikasi.
Mulakan dengan sokongan model. Seni bina yang tepat, ketepatan angka dan operator yang diperlukan mesti berfungsi dalam susunan perisian yang disokong. Pengkompil atau masa jalan yang mampu menjalankan demonstrasi mungkin masih memerlukan kerja integrasi untuk perkhidmatan pengeluaran. Tanya versi yang disokong, operasi yang memerlukan penukaran dan pihak yang menyelenggara laluan itu apabila model berubah.
Kemudian, asingkan ukuran respons. Masa sehingga jawapan pertama yang boleh digunakan, kelajuan semasa penjanaan dan jumlah permintaan yang selesai menggambarkan pengalaman berbeza. Rekodkannya menggunakan saiz input dan tahap keserentakan yang sama, termasuk respons yang gagal atau tidak lengkap. Larian lebih pantas yang mengubah kualiti output atau menggugurkan permintaan secara senyap bukanlah hasil yang sama dengan peningkatan perkhidmatan.
Akhir sekali, masukkan semula aplikasi yang mengelilingi model. Pencarian maklumat, penyederhanaan kandungan, akses alat, baris gilir dan trafik rangkaian semuanya mengambil masa. Projek rintis perkakasan perlu menunjukkan berapa banyak daripada keseluruhan tugas menunggu inferens. Ini memberi pasukan anggaran munasabah tentang manfaat sebenar yang boleh dijangka daripada laluan inferens yang lebih pantas.
Pencapaian seterusnya yang kelihatan ialah penyerahan reka bentuk
Sasaran tape-out yang diumumkan ialah suku pertama 2027: masa apabila data reka bentuk akhir diserahkan untuk pembuatan. Ini ialah pencapaian pembangunan, bukannya tarikh penghantaran pelayan yang siap. Pelan pembangunan PFN
Pembuatan, pembungkusan, pengaktifan awal dan pengesahan masih perlu menghubungkan reka bentuk dengan produk yang boleh digunakan. Kelayakan perisian dan integrasi sistem kemudiannya menentukan apa yang boleh dilaksanakan pelanggan. Kemajuan pada peringkat ini boleh menjadi berita penting jauh sebelum pelancaran jualan umum, tetapi setiap peringkat menjawab persoalan yang berbeza.
Disiplin yang sama terpakai kepada asas perbandingan. L1000 sendiri dijadualkan dilancarkan pada 2027, maka pengumuman itu membandingkan generasi pembangunan dan bukannya dua sistem yang boleh dibeli hari ini. Pengumuman tersebut tidak menerbitkan harga runcit L2000, jadual penghantaran ke Korea atau penanda aras sistem yang siap. Jadual pembelian perlu berasaskan konfigurasi yang akhirnya disokong pembekal dan syarat penghantarannya.
Panduan peringkat pembangunan yang asli. Sasaran tape-out yang diumumkan ditandakan secara berasingan daripada pembuatan, kelayakan dan penghantaran pelanggan kemudian; tarikh peringkat berikutnya masih terbuka.
Kandungan yang diperlukan dalam fail penilaian praktikal
Pasukan boleh melakukan kerja yang berguna sambil mengikuti pelan pembangunan. Hasilkan asas perbandingan yang ringkas dan tetap bernilai sama ada pembelian akhirnya ialah sistem MN-Core, pelayan GPU atau perkhidmatan hos. Tujuannya ialah menjadikan perbandingan perkakasan masa depan lebih murah dan lebih bermakna.
- Pilih keseluruhan tugas. Takrifkan satu tugas interaktif dan, jika berkaitan, satu kerja kelompok. Rekodkan maksud penyelesaian yang betul serta sasaran masa respons atau tarikh akhir penyiapan.
- Tetapkan bahan ujian dan versi perisian. Simpan prom, dokumen input, semakan model, ketepatan angka dan tetapan masa jalan bersama-sama. Gunakan bahan yang dibenarkan untuk diproses oleh pasukan.
- Ukur laluan semasa. Rekodkan masa respons model, masa keseluruhan tugas, kegagalan dan penggunaan sumber di bawah beban yang dijangka. Catat apabila perkhidmatan menunggu pencarian maklumat atau alat, bukannya penjanaan.
- Minta konfigurasi sepadan yang disokong. Percubaan pembekal pada masa depan perlu mengenal pasti pemecut, konfigurasi memori, hos, masa jalan dan sokongan model. Pastikan sebarang perubahan kualiti atau ketepatan angka kekal jelas.
- Bandingkan keputusan operasi. Ambil kira pembelian, integrasi perisian, elektrik, penyejukan, sokongan dan kerja pemulihan. Nilai sama ada peningkatan itu menyelesaikan tugas asal pada kos yang boleh diterima.
Fail ini lebih berguna daripada koleksi tangkapan skrin daya pemprosesan yang tidak berkaitan. Ia mengelakkan pasukan mengubah beban kerja setiap kali sistem baharu tiba. Ia juga memudahkan pengesanan peningkatan sebenar: tugas yang sama disiapkan dengan baik, dengan kelewatan atau beban operasi yang lebih rendah.
Bagi pasukan kecil, keputusan segera mungkin ialah terus menggunakan perkakasan sedia ada sambil memperbaik aplikasi. Jika pencarian maklumat menguasai masa respons, inferens yang lebih pantas sahaja akan memberi kesan terhad. Jika perkhidmatan sentiasa menunggu penjanaan di bawah beban yang diperlukan, pemecut baharu menjadi calon percubaan yang lebih relevan. Kedua-dua penemuan membantu mengarahkan perbelanjaan kepada kesesakan yang menjejaskan pengguna.
Cerita perkakasan semakin mendekati memori
Kerjasama L2000 wajar diikuti kerana ia menghubungkan masalah inferens dengan reka bentuk fizikal dan kerja pengeluaran yang diperlukan untuk menanganinya. Bukti seterusnya yang berguna ialah kemajuan pembuatan dan kelayakan perisian, diikuti pengukuran pada sistem yang disokong. Hasil itu akan menunjukkan beban kerja yang mendapat manfaat dan pelaburan yang perlu dibuat oleh pengendali untuk memperolehnya.
Buat masa ini, pengajaran praktikalnya sudah tersedia. Asingkan kapasiti model, pergerakan data dan hasil aplikasi apabila membandingkan perkakasan AI. Model yang muat dalam memori ialah permulaan perbincangan; perkhidmatan yang boleh diharapkan ialah hasil yang diperlukan pembeli.
Sumber
- Preferred Networks, PFN dan SEMIFIVE Bekerjasama Membangunkan Siri MN-Core L2000, tarikh pengumuman 16 November 2026; disiarkan di laman web pada 17 November 2026. Menyertakan rajah struktur rasmi dan jadual pembangunan.
- Preferred Networks, Pengumuman dalam bahasa Jepun, siaran syarikat yang sepadan.
- Shashank Verma dan Neal Vaidya, NVIDIA Technical Blog, Menguasai Teknik LLM: Pengoptimuman Inferens, 17 November 2023. Latar belakang tentang fasa inferens, pemprosesan kelompok dan penggunaan memori, bukannya penanda aras perkakasan MN-Core.
Simpan beban kerja, tetapan model dan jawapan pembekal bersama-sama supaya penilaian seterusnya bermula daripada asas yang boleh dibandingkan. Mulakan nota pertama anda dengan Telli.sh.