Bolehkah DDR4 lama memberi lebih ruang kepada pelayan AI?
Netlist dan Marvell membawa reka bentuk CXL yang menggunakan DDR4 ke SC26. Lihat tugas yang boleh mendapat manfaat daripada memori hos tambahan dan perkara yang wajar diukur sebelum membeli.
Perkhidmatan carian dalaman terasa pantas sehingga permintaan memuncak pada waktu pagi. Perkhidmatan itu perlu mendapatkan petikan daripada ribuan dokumen sebelum menghantar permintaan jawapan ke GPU. Petikan yang kerap digunakan muat dalam memori, tetapi carian berulang dalam dokumen lain perlu kembali ke storan. Pengguna menunggu lebih lama walaupun pemecut masih mempunyai kapasiti. Bagi pasukan yang mengendalikan perkhidmatan itu, cache yang lebih besar pada pelayan mungkin lebih membantu daripada menambah sebuah GPU.
Dua pengumuman menjelang SC26 menunjukkan satu lagi cara membina cache itu. Dalam pengumuman 10 November, CXL Consortium berkata Netlist, pakar teknologi memori, merancang untuk mempamerkan bukti konsep NVvault-D4. Ia membolehkan DDR4 sedia ada digunakan sebagai tambahan memori hos melalui Compute Express Link, atau CXL. Pada 13 November, pengeluar cip Marvell mengumumkan pameran rakan kongsi yang menampilkan pengawal pengembangan memori Structera X dengan DDR4 dan DDR5. Pengumuman ini menerangkan perkakasan yang dirancang untuk dipamerkan. Harga, tarikh penghantaran dan hasil demonstrasi yang dirancang masih belum diketahui. SC26 berlangsung pada 15–20 November di Chicago, dengan pameran utama pada 17–19 November waktu tempatan. Pratonton Netlist daripada CXL Consortium · Pengumuman Marvell untuk SC26 · Tarikh rasmi SC26
Bagi pembeli, persoalannya ialah sama ada kapasiti tambahan itu dapat mengekalkan cukup data kerja dalam memori tanpa menjadikan permintaan paling lambat sukar diterima. Pasukan yang menyimpan DDR4 lebihan mungkin boleh mengurangkan kos dengan menggunakannya semula, asalkan modul melepasi kelayakan dan sistem boleh meletakkan data yang sesuai di situ. Nilainya bergantung pada kerja yang tertangguh sekarang dan di mana kelewatan itu berlaku.
Di mana memori tambahan itu ditempatkan
CPU boleh mencapai DRAM setempat terus melalui pengawal memorinya. Dengan pelayan dan peranti pengembangan memori CXL yang serasi, CPU juga boleh mencapai memori pada peranti itu melalui pautan CXL. Pengembangan menyediakan tempat tambahan untuk menyimpan data di pihak hos. Laluan capaian, lebar jalur dan kependamannya berbeza daripada saluran DRAM setempat. Perisian tegar dan sistem pengendalian perlu menyediakan kapasiti itu kepada sistem. Aplikasi atau sistem pengendalian juga memerlukan dasar penempatan halaman memori yang sesuai dengan beban kerja.
Perkara ini penting apabila ada cadangan untuk menggunakan stok DDR4 pada pelayan yang lebih baharu. Pelayan boleh mengekalkan DDR5 setempat sambil mencapai DDR4 melalui peranti pengembangan yang disokong. Pengawal peranti, kelayakan modul dan keserasian hos masih memainkan peranan. Bukti konsep yang menggunakan DDR4 sedia ada memberi sebab untuk menilai penggunaan semula. Jenis modul yang boleh diterima oleh konfigurasi yang disokong dan sistem yang boleh mengendalikannya dengan andal masih perlu ditentukan.
DRAM setempat boleh menyimpan halaman yang kerap dicapai, manakala lapisan pengembangan memuatkan cache yang lebih besar di pihak CPU. Memori lebar jalur tinggi pada pemecut mempunyai had kapasiti dan lebar jalurnya sendiri.
Dalam contoh carian tadi, pasukan boleh menyimpan data indeks yang kerap dibaca dalam DDR5 setempat dan memindahkan cache petikan atau hasil carian yang lebih besar dan jarang dibaca ke lapisan CXL. Selepas perkhidmatan menemui petikan yang diperlukan, bahagian inferens menghantarnya kepada model di GPU. Pemberat model dan data yang diperlukan oleh kernel pemecut masih perlu muat di tempat yang digunakan oleh enjin inferens untuk mencapainya. Lapisan pengembangan CXL dalam pengumuman ini menambah kapasiti memori hos. Memori lebar jalur tinggi GPU, lazimnya dipanggil HBM, kekal sebagai sumber yang berasingan.
Mulakan dengan menjejak bahagian proses yang mengambil masa bagi setiap permintaan. Jika CPU berulang kali menunggu data yang telah dikeluarkan daripada cache, lebih banyak memori hos mungkin dapat mengurangkan bacaan daripada storan. Jika model banyak menghabiskan masa membaca pemberat daripada memori GPU dan hos jarang menunggu, pembelian yang sama mungkin membawa sedikit perubahan pada masa jawapan. Pengambilan data yang lebih pantas masih boleh membantu walaupun kelajuan model kekal sama. Ukur kedua-dua peringkat sebelum mengaitkan perubahan prestasi keseluruhan dengan salah satu daripadanya.
Tiga prototaip Netlist menangani tugas yang berlainan
Untuk penggunaan semula DDR4, tumpukan perhatian pada NVvault-D4. CXL Consortium menyenaraikan mesin maya, pangkalan data dalam memori, pengkomputeran berprestasi tinggi dan beban kerja perusahaan sebagai sasaran. Hos pemayaan ialah satu contoh. Mesin maya yang paling aktif boleh kekal dalam memori setempat sementara pasukan menguji sama ada halaman daripada mesin maya yang kurang aktif boleh ditempatkan di lapisan pengembangan. Pasukan pangkalan data boleh mencuba pendekatan yang sama dengan sebahagian cache bacaan. Pangkalan data memerlukan dasar peruntukan yang mengekalkan halaman untuk pertanyaan sensitif kepada kependaman dekat dengan CPU. Ini ialah ujian rintis yang boleh menilai reka bentuk kapasiti tersebut. Pratonton itu tidak memberikan keputusan untuk beban kerja tertentu. Pratonton Netlist daripada CXL Consortium
Dua lagi reka bentuk Netlist menunjukkan mengapa nama komponennya penting. NVvault-HM menggunakan DRAM sebagai cache di hadapan kapasiti berasaskan NAND. Pengumuman itu membincangkan pemindahan data dan telemetri serta menyebut kegunaan seperti cache nilai kunci AI dan analitik. NVvault-PM ialah reka bentuk CXL Type 3 yang berasingan, dengan DRAM, sandaran NAND dan sumber tenaga terbina dalam untuk menangani kehilangan bekalan kuasa. Pratonton meletakkan PM untuk kegunaan seperti pengekalan cache nilai kunci, titik semak dan pemulihan. Pasukan yang menilai sandaran atau pengekalan data memerlukan butiran tentang tindak balas reka bentuk tertentu dalam senario kegagalan mereka. Pengumuman D4 tidak menunjukkan bahawa reka bentuk itu mempunyai ciri storan atau pemulihan kedua-dua reka bentuk tersebut. Pratonton Netlist daripada CXL Consortium
Cache nilai kunci model bahasa memberi satu lagi contoh ujian AI. Cache menyimpan data mekanisme perhatian daripada token terdahulu supaya model boleh menggunakannya semula. Enjin inferens yang boleh memindahkan data ke hos mungkin mengalihkan halaman cache sesi yang tidak aktif keluar daripada memori GPU dan memuatkannya semula apabila sesi disambung. Pasukan boleh menguji sama ada kapasiti hos tambahan membolehkannya menyimpan lebih banyak sesi dan berapa lama pemindahan itu menambah masa kepada permintaan yang disambung. Penempatan dan penyalinan bergantung pada enjin dan pelayan. Ini ialah contoh eksperimen untuk susunan memori hos berlapis. Dalam pratonton Netlist itu, cache KV disebut secara khusus untuk HM dan PM.
Pengumuman Marvell memberi pembeli kaedah pelaksanaan kedua untuk diperhatikan. Rakan kongsi Marvell merancang untuk mempamerkan sistem yang menggunakan keluarga pengawal Structera X dengan DDR4 dan DDR5. Program dan kit media memberi konteks tentang pameran dan keluarga produk. Pembeli masih perlu menyemak konfigurasi pelayan yang diluluskan oleh pembekal, memori yang boleh digunakan dan sokongan pembekal untuk keseluruhan sistem. Imej cip dalam kit media ialah bahan rujukan bagi keluarga produk tersebut. Program astaka CXL Consortium di SC26 · Pengumuman Marvell untuk SC26 · Kit media Marvell Structera
Ukur permintaan paling lambat dahulu
Angka purata boleh menyembunyikan permintaan yang membuatkan aplikasi terasa perlahan. Dalam perkhidmatan carian, dokumen popular mungkin memberi jawapan pantas sepanjang hari, sementara dokumen yang kurang popular menyebabkan proses yang sama berulang kali mencapai lapisan pengembangan. Peningkatan masa bagi permintaan paling lambat mungkin boleh diterima untuk pengindeksan berkelompok pada waktu malam. Pengguna yang menunggu hasil carian mungkin menyedarinya serta-merta. Nilai reka bentuk memori mengikut sasaran perkhidmatan sebenar pada waktu beban puncak.
Penyelidik bebas dalam kajian MELODY menunjukkan kepentingan perkara ini pada 2025. Mereka menguji 265 beban kerja menggunakan empat peranti memori CXL sebenar, lima platform CPU dan tujuh aras kependaman. Mereka mengkaji sensitiviti dalam julat bawah satu mikrosaat, antara 140 hingga 410 nanosaat. Jenis beban kerja, kependaman permintaan paling lambat dan tingkah laku CPU mempengaruhi prestasi memori CXL. Makalah itu menamakan peranti pengembangan yang diuji CXL-A hingga CXL-D. Keputusannya tidak memberikan anggaran prestasi untuk sistem yang diumumkan bagi SC26. Kajian itu membantu pembeli memahami mengapa purata kependaman atau satu penanda aras yang baik belum cukup untuk menilai prestasi sesebuah pelayan. Kajian MELODY daripada ASPLOS 2025 · Makalah penuh
Rancang tiga perbandingan jika platform membenarkannya. Mula-mula jalankan semula perkhidmatan semasa pada DRAM setempat yang sedia ada. Kemudian uji kapasiti yang lebih besar pada hos dengan beberapa lapisan memori. Akhir sekali, gunakan konfigurasi yang keseluruhan memorinya setempat dengan jumlah kapasiti yang sama supaya keputusan berlapis mempunyai rujukan yang setara. Sebagai contoh pengiraan kapasiti, bandingkan DRAM setempat 256 GiB serta pengembangan boleh guna 256 GiB dengan DRAM setempat 512 GiB. Pastikan aplikasi, set data, tetapan perisian dan beban yang dikenakan setara. Catat perbezaan platform atau saluran setempat yang timbul akibat konfigurasi tersebut. Jika pilihan lain dalam operasi ialah menggunakan storan apabila memori penuh atau membahagi kerja ke hos lain, ukur masa dan kos pilihan itu juga.
Bandingkan beban kerja dan trafik yang sama dalam kedua-dua konfigurasi. Semak permintaan yang paling lambat dan kira kos seunit kapasiti yang boleh digunakan.
- Mainkan semula trafik yang memenuhi cache. Gunakan campuran permintaan yang realistik, termasuk dokumen yang kerap dan jarang dicapai. Jalankan ujian daripada keadaan sejuk, kemudian ulangi selepas cache terisi. Pantau median, p95 dan p99 kependaman permintaan, kadar ralat dan daya pemprosesan pada tahap konkurensi yang sama. Untuk aplikasi carian AI, ukur masa pengambilan data dan inferens secara berasingan supaya cache yang lebih pantas tidak menutup kelembapan model, atau sebaliknya.
- Semak data yang benar-benar berpindah. Periksa peruntukan memori mengikut lapisan dan nod NUMA CPU, penghijrahan dan penuntutan semula halaman jika tersedia, serta pembilang pautan atau peranti yang disediakan oleh platform. Ujian yang kelihatan baik mungkin telah menggunakan DRAM setempat untuk hampir semua permintaan. Ujian yang kelihatan lemah mungkin meletakkan halaman indeks yang kerap dibaca pada lapisan jauh secara lalai. Catat dasar penempatan bersama setiap set ukuran.
- Uji keadaan sibuk pada waktu petang. Jalankan tugas kedua apabila beban kerja interaktif sedang sibuk, isi semula cache selepas mula semula dan perhatikan apa yang berlaku apabila perkhidmatan menghampiri had memori. Sahkan cara sistem pengendalian melaporkan ralat peranti atau memori, cara pengendali mengenal pasti hos yang terjejas dan cara perkhidmatan kembali kepada dasar peruntukan sebelumnya. Pemulihan wajar disertakan dalam ujian rintis untuk setiap konfigurasi yang perlu disokong oleh pasukan.
- Tetapkan kriteria lulus sebelum melihat carta. Gunakan sasaran p99 dan kadar ralat semasa sebagai titik mula. Catat jumlah kapasiti tambahan yang mesti boleh digunakan sambil memenuhi sasaran itu serta keadaan yang boleh menerima pemulihan lebih perlahan. Jika sistem hanya memenuhi sasaran apabila kadar data ditemui dalam cache tinggi, gunakan jejak trafik daripada hari yang sangat sibuk untuk menyemak sama ada kadar itu dapat dikekalkan dalam penggunaan sebenar.
Hitung semua kos penggunaan semula
DIMM sedia ada boleh membuatkan kos memori dalam cadangan kelihatan menarik. Pembelian masih memerlukan peranti pengembangan, hos atau naik taraf yang disokong, modul yang layak serta masa kakitangan untuk pelaksanaan dan sokongan. Peranti juga memerlukan slot atau sambungan platform yang sesuai. Semak peruntukan laluan PCIe yang dirancang untuk storan, rangkaian dan pemecut. Naik taraf memori kurang berbaloi jika menggunakan sumber yang diperlukan oleh beban kerja yang sama untuk memindahkan data.
Kira kos setiap GiB kapasiti yang boleh digunakan pada tahap perkhidmatan yang dikehendaki. Ambil kira kapasiti yang dikhaskan oleh platform atau perlu diketepikan untuk menyimpan halaman yang mencukupi secara setempat. Sertakan kuasa, penyejukan, pengesahan untuk seluruh kelompok pelayan, alat ganti dan sokongan sepanjang jangka hayat yang dirancang. Semak pihak yang membekalkan kemas kini perisian tegar dan cara sistem memaparkan status peranti serta ralat memori. Jika lapisan itu membolehkan hos membuat kerja yang jika tidak perlu menggunakan storan atau sebuah mesin tambahan, ukur kerja yang dapat dijimatkan dan ambil kira kos sampingan kedua-dua pilihan. Jalankan perkhidmatan pada kadar permintaan puncak pada kedua-dua seni bina untuk membandingkan kos mengekalkan masa tindak balas dalam sasaran.
Selepas SC26, perhatikan konfigurasi yang telah diluluskan, sokongan modul yang didokumenkan, keserasian perisian dan jejak beban kerja sebenar. Sistem yang dikeluarkan kelak boleh memberi pasukan dengan set kerja sekunder yang besar satu lagi cara mengembangkan pelayan sedia ada. Contoh yang meyakinkan ialah perkhidmatan yang dapat menyimpan lebih banyak data dokumen dalam memori hos, mengelakkan bacaan berulang daripada storan dan kekal dalam had p99 asal pada kos lebih rendah. Pasukan yang boleh menunjukkan keputusan itu mempunyai asas pembelian yang boleh digunakan semula pada pelayan seterusnya.
Sumber
- Pratonton Netlist untuk SC26 daripada CXL Consortium, 10 November 2026
- Pengumuman Marvell tentang rakan kongsi dan ketersambungan di SC26, 13 November 2026
- Program astaka SC26 dan grafik acara CXL Consortium
- Kit media keluarga produk Marvell Structera
- Program rasmi dan tarikh pameran SC26
- Makalah MELODY dan butiran penerbitan, ASPLOS 2025 · Makalah penuh
Untuk menyimpan nota rintis, jejak beban kerja dan keputusan pembelian di satu tempat, cipta akaun Telli.sh.