Bolehkah Pelayan AI Seterusnya Muat dalam Rak Berpenyejukan Udara yang Anda Sudah Ada?
Titania daripada Axelera menyasarkan inferens model besar dalam pelayan 4U berpenyejukan udara. Simulasinya menimbulkan persoalan tentang kuasa, memori dan kos pelaksanaan.
Pelayan AI seterusnya mungkin memerlukan litar elektrik baharu, susunan penyejukan yang berbeza dan pemindahan perisian sebelum boleh menjawab soalan pertama. Bagi pasukan yang mahu menjalankan inferens dalam bangunan sendiri, keperluan tersebut boleh sama penting dengan harga pemecut. Cip yang lebih pantas hanya menambah kapasiti berguna apabila sistem di sekelilingnya mampu memastikan cip itu terus beroperasi.
Pada 12 November 2026, syarikat pemecut Belanda Axelera AI mengumumkan seni bina Titania, generasi ketiga teknologi pemecutan AInya. Reka bentuk rujukan pelayan AX8 menempatkan lapan pakej pemecut dan memori pemecut 1 TB dalam sistem 4U berpenyejukan udara. Axelera menyatakan kuasa sistem lazim 5–6 kW dan menyasarkan persekitaran bekalan kuasa serta penyejukan pusat data sedia ada. Angka tersebut ialah spesifikasi reka bentuk platform masa hadapan. Pelanggan belum boleh mendapatkan pelayan pengeluaran untuk membuat ukuran sendiri. Pengumuman Axelera pada 12 November
Adakah reka bentuk ini boleh menjadikan inferens model besar praktikal di kemudahan yang sudah ada? Jawapannya bergantung pada kapasiti memori, respons yang diterima setiap pengguna, kerja pemasangan dan perisian yang perlu disenggarakan. Titania boleh dikaji kerana halaman produknya turut menerangkan syarat bagi perbandingan prestasi.
Titania membawa Axelera dari peranti pinggir ke sistem inferens yang lebih besar
Axelera sudah menghasilkan pemecut Metis dan Europa untuk peranti pinggir dan aplikasi perusahaan. Titania meneruskan hala tuju itu ke pelaksanaan inferens yang lebih besar dengan menggabungkan dua ciplet dalam setiap system-in-package, atau SiP. Reka bentuk ini menggunakan seni bina Digital In-Memory Computing milik syarikat, pengkomputeran RISC-V yang boleh diatur cara dan memori LPDDR6. Pengumuman itu mengetengahkan rancangan kad PCIe dan modul pemecut OAM, dengan konfigurasi penyejukan udara dan cecair yang dirancang melalui rakan sistem.
Bagi pembeli, memilih pakej pemecut dan memilih pelayan lengkap merupakan keputusan perolehan yang berasingan. Faktor bentuk PCIe tidak menjamin bahawa casis sedia ada mempunyai slot, bekalan kuasa, aliran udara atau sokongan perisian yang diperlukan. Kewujudan reka bentuk rujukan berpenyejukan udara juga tidak mengesahkan kesesuaian setiap bilik yang mempunyai rak. Bandingkan konfigurasi yang sendiri akan dibekalkan dan disokong oleh pembekal.
Grafik penerangan asal. Kos pelaksanaan merangkumi infrastruktur dan perisian untuk mengendalikan pelayan sebagai perkhidmatan inferens. Rujukan saiz dan kuasa AX8 diambil daripada pengumuman Axelera pada 12 November.
Bahan produk Axelera mengandungi ilustrasi pengeluar tentang seni bina ciplet Titania. Imej itu menunjukkan reka bentuk dan hierarki memori yang disasarkan. Ia tidak menunjukkan pemasangan pelanggan atau demonstrasi penanda aras. Halaman yang sama menyediakan nota konfigurasi untuk menafsir carta prestasi.
Satu terabait menjawab persoalan kapasiti sebelum persoalan kelajuan
Axelera menyatakan 128 GB LPDDR6 bagi setiap pakej Titania. Dengan lapan pakej, reka bentuk AX8 mencapai memori pemecut 1 TB yang diiklankan, dengan lebar jalur memori keseluruhan 19.6 TB/s dan pengkomputeran FP8 20 PFLOPS. Syarikat itu turut mengiklankan sokongan untuk FP4, MXFP4, FP8, MXFP8 dan BF16. Ketepatan berangka dan cara model diagihkan dalam pakej penting untuk menafsir angka tersebut. Seni bina dan spesifikasi pelayan rujukan yang diumumkan
Dalam model mixture-of-experts yang besar, jumlah parameter menentukan berapa banyak data pemberat perlu disimpan. Hanya sebahagian model mungkin aktif bagi setiap token. Oleh itu, kapasiti boleh kekal menjadi kekangan walaupun pengkomputeran aktif kelihatan mampu ditampung. Axelera menjadikan pemerhatian ini sebagai alasan untuk memilih LPDDR6 berkapasiti tinggi dan pergerakan data yang cekap. Pendekatannya mengimbangkan teknologi memori, pengkomputeran dan pembungkusan dengan cara yang berbeza daripada pemecut berasaskan HBM.
Axelera mengatakan satu pelayan AX8 direka untuk memuatkan model 1.6 trilion parameter pada FP4, dengan ruang untuk cache nilai-kunci. Tuntutan kapasiti pembekal tersebut bergantung pada ketepatan tertentu. Aplikasi masih perlu mengesahkan bahawa perwakilan model sebenar, panjang konteks dan permintaan serentak muat dalam konfigurasi yang disokong. Memori kerja yang diperlukan turut meningkat melebihi pemberat tersimpan apabila lebih banyak perbualan, atau perbualan yang lebih panjang, diproses.
Mengekalkan model dalam memori menyelesaikan satu halangan. Pengguna turut mengalami masa menunggu dan menilai mutu jawapan. Model yang muat mungkin masih perlu ditala agar memenuhi sasaran respons. Jika model lebih kecil sudah memenuhi keperluan dengan tepat, kapasiti tambahan mungkin tidak diperlukan. Pilih model dan ketepatan yang boleh diterima mengikut tugas, kemudian nilai perkakasan yang dapat menjalankannya.
Kelajuan interaktif dan daya pemprosesan keseluruhan mengutamakan reka bentuk berbeza
Bayangkan pembantu dokumen dalaman yang digunakan kakitangan semasa bermesyuarat. Nilai jawapan yang cukup pantas untuk meneruskan perbincangan berbeza daripada nilai ratusan jawapan yang disiapkan semalaman. Bagi pembantu itu, masa hingga teks berguna pertama muncul dan kelajuan teks seterusnya sama penting dengan jumlah token yang disampaikan. Ini ialah contoh beban kerja untuk menerangkan perbezaan tersebut. Tiada percubaan Titania dijalankan untuk contoh itu.
Pasukan lain pula mungkin memproses banyak dokumen tanpa sesiapa menunggu setiap respons. Pasukan itu boleh menerima masa menunggu lebih panjang jika pemprosesan berkelompok meningkatkan bilangan kerja yang siap setiap jam. Perkhidmatan besar yang dikongsi mungkin memerlukan kedua-dua corak pada waktu berbeza. Perbandingan yang menetapkan kelajuan setiap pengguna boleh menghasilkan kedudukan berbeza daripada perbandingan yang memaksimumkan daya pemprosesan keseluruhan.
Axelera meletakkan Titania sebagai sistem untuk inferens responsif dan menyatakan pada halaman produknya bahawa GPU berskala rak boleh mendahului pada saiz kelompok yang sangat besar. Carta menggunakan konfigurasi model dan rak yang berbeza. Pembeli boleh bertanya konfigurasi mana yang memenuhi keperluan kependaman dengan tahap keserentakan dan kos yang dijangkakan. Syarat prestasi Titania
| Persoalan beban kerja | Bukti yang patut diminta | Perkara yang belum dijawab oleh satu angka puncak |
|---|---|---|
| Bolehkah kakitangan menggunakan pembantu dokumen secara langsung? | Masa ke respons pertama dan kelajuan penjanaan pada tahap keserentakan yang disasarkan | Giliran dan respons paling lambat semasa waktu sibuk |
| Bolehkah perkhidmatan berkelompok menyiapkan tunggakan semalaman? | Bilangan kerja siap setiap jam dengan dokumen yang mewakili penggunaan | Kesan panjang input dan pengelompokan terhadap masa siap |
| Bolehkah satu pelayan menggabungkan tugas video dengan bahasa? | Hasil menyeluruh dengan penyahkodan, inferens dan logik aplikasi aktif | Beban hos, beban kerja yang bersaing serta kerja yang terlepas atau lewat |
Baca keterangan simulasi sebelum menilai nisbah prestasi
Halaman Titania menjelaskan bahawa angka prestasinya datang daripada simulasi dalaman menggunakan pengkompil pengeluaran Axelera. Satu perbandingan menggunakan hasil simulasi sistem Titania lapan kad pada Ogos 2026 dan data pesaing daripada InferenceX pada September 2026. Syarat yang dinyatakan merangkumi FP4, 8,000 token input dan 1,000 token output. Carta lain menggunakan simulasi berskala rak pada Oktober, dengan konfigurasi sistem masing-masing.
Syarat ini menerangkan perkara yang cuba dibandingkan oleh carta dan mengehadkan kesimpulan yang boleh dibuat pembeli. Simulasi yang menggunakan pengkompil memberi maklumat kejuruteraan. Ujian bebas pada perkakasan Titania pengeluaran ialah bukti yang berasingan. Pemasangan Metis atau Europa yang ada boleh memberi konteks teknologi Axelera, tetapi unjuran Titania masih memerlukan ukuran daripada sistem yang dibekalkan.
Tuntutan sehingga tujuh kali lebih daya pemprosesan per watt dan sehingga dua puluh kali lebih baik dari segi jumlah kos pemilikan datang daripada rangka perbandingan pembekal tersebut. Kedua-dua nisbah itu tidak menetapkan harga atau meramalkan bil lokasi tertentu. Halaman produk menyebut perbandingan TDP dengan TDP dan mengaitkan kos dengan model jumlah kos pemilikan Axelera. TDP ialah angka kuasa reka bentuk. Penggunaan elektrik sebenar bergantung pada sistem lengkap dan beban kerja.
Grafik penerangan asal. Pertimbangkan model, ketepatan, panjang permintaan dan tahap keserentakan bersama-sama semasa membaca perbandingan prestasi. Syarat sumber terdapat pada halaman produk Titania daripada Axelera.
Minta butiran konfigurasi sebelum memasukkan nisbah dalam hamparan perolehan. Simpan versi model, ketepatan, pemeriksaan mutu dan taburan permintaan bersama keputusan. Tentukan sempadan ukuran kuasa, sama ada pemecut, pelayan lengkap atau kemudahan. Jika sempadan berbeza, perbandingan boleh memihak kepada bacaan yang meliputi bahagian sistem yang lebih kecil.
Penyejukan udara tetap memerlukan peruntukan kuasa dan haba
“Berpenyejukan udara” menerangkan cara pelayan mengalihkan haba ke udara di sekelilingnya. Sistem penyejukan kemudahan yang sesuai masih perlu mengeluarkan haba itu dari bilik. Penggunaan lazim AX8 sebanyak 5–6 kW dalam rancangan Axelera ialah angka yang besar bagi sebuah unit 4U. Pasukan kemudahan perlu menilai konfigurasi yang ditawarkan, syarat pemasangan dan beban kerja sebelum menyimpulkan rak itu sesuai.
Skalanya boleh dianggarkan. Mesin yang menggunakan purata 5–6 kW tanpa henti selama 24 jam akan menggunakan 120–144 kWh pada sempadan pelayan untuk hari itu. Ini ialah kiraan berdasarkan purata yang dianggap berterusan. Penggunaan Titania ketika aktif dan melahu boleh memberi hasil berlainan. Penyejukan, kerugian penukaran kuasa dan komponen kemudahan yang lain menambah penggunaan masing-masing.
Tarikan cadangan Axelera ialah kemungkinan menggunakan pusat data sedia ada tanpa mengubahnya untuk rak berketumpatan tinggi dengan penyejukan cecair. Penjimatan bergantung pada apa yang sudah disokong oleh lokasi. Tempat yang mempunyai lebihan kapasiti elektrik dan penyejukan menghadapi kerja berlainan daripada tempat dengan litar dan penyejukan yang hampir mencapai had. Casis 4U dan kad PCIe masih memerlukan perancangan yang lebih luas daripada peningkatan sebuah PC meja.
Kesinambungan perisian boleh sama penting dengan kapasiti perkakasan
Axelera mengatakan asas Voyager SDK dan AxeleraScript meliputi Metis, Europa dan Titania. Pengumuman itu menyenaraikan rancangan untuk keselarian tensor, pakar dan jalur paip, penyahkodan spekulatif serta pemunggahan atau pemisahan cache KV. Kad PCIe Titania juga dikemukakan sebagai pilihan penggantian pada masa hadapan bagi Axelera Server 250p berasaskan Europa. Janji itu berkaitan dengan pasukan yang sudah menilai ekosistem perisiannya.
Bagi pengguna Europa, soalan terdekat adalah sejauh mana aplikasi sedia ada boleh dibawa ke sistem baharu, termasuk operasi disokong, penukaran model, kod penyepaduan, pemantauan dan pembungkusan pelaksanaan. Bagi pasukan daripada platform lain, peralihan kepada Voyager memerlukan kerja kejuruteraan. SDK yang dikongsi boleh mengurangkan usaha antara produk pembekal yang sama. Aplikasi masih perlu disahkan pada setiap sasaran menggunakan model dan saluran pemprosesan sebenar.
Pertimbangkan perkhidmatan video yang menghasilkan penerangan peristiwa daripada rakaman. Penyahkodan 8K dan pengekodan 4K pada cip bagi H.265 dan AV1 yang diumumkan untuk Titania boleh mengubah pembahagian tugas antara pemecut dan hos. Percubaan praktikal perlu meliputi tetapan kodek yang disokong, penyediaan bingkai, model bahasa, penyimpanan dan respons aplikasi. Kelajuan model bahasa sahaja belum membuktikan bahawa perkhidmatan lengkap mampu mengendalikan beban video yang diperlukan.
Bagi pembantu dokumen persendirian, kerja setara meliputi carian dokumen dan kawalan akses. Inferens di premis mengubah lokasi model berjalan. Kebenaran dokumen, log, sandaran dan bukti kelayakan perkhidmatan masih perlu direka. Sertakan pelan pemilikan perisian semasa menilai sebut harga perkakasan. Tentukan siapa yang mengemas kini persekitaran masa jalan, menyemak perubahan model dan memulihkan perkhidmatan selepas kegagalan.
Penilaian yang berguna bermula dengan enam keputusan
Pada tahap sekarang, Titania lebih sesuai untuk penilaian berperingkat. Mulakan dengan aplikasi dan garis dasar yang tersedia, kemudian minta bukti apabila sistem yang disokong muncul. Demonstrasi pembekal boleh membantu memilih langkah berikutnya jika konfigurasi dan hadnya direkodkan. Ujian penerimaan di lokasi yang disasarkan masih perlu dilakukan.
- Tetapkan tugas dan sasaran perkhidmatan. Pilih permintaan dokumen, ejen atau video yang mewakili penggunaan. Tentukan mutu jawapan, masa respons dan keserentakan waktu sibuk sebelum memilih model terbesar.
- Rekod garis dasar semasa. Gunakan sistem atau perkhidmatan dihoskan yang sudah ada untuk mengukur jumlah kerja, kependaman dan kos operasi. Simpan versi model dan permintaan supaya perbandingan seterusnya bermakna.
- Minta konfigurasi yang disokong. Dapatkan rancangan sokongan model, susunan memori, spesifikasi hos, versi perisian dan tanggungjawab rakan sistem. Bezakan ciri yang diumumkan daripada fungsi yang telah ditunjukkan pada konfigurasi itu.
- Dapatkan semakan kemudahan. Beri pasukan yang bertanggungjawab syarat elektrik, aliran udara dan pemasangan daripada pembekal. Sertakan peralatan bersebelahan dan kapasiti penyejukan dalam penilaian.
- Uji keseluruhan perkhidmatan apabila perkakasan tersedia. Sertakan corak ketibaan permintaan, carian dokumen, kodek dan pemantauan. Ukur kuasa seluruh pelayan bagi tempoh yang sama dengan kerja siap dan statistik masa respons.
- Kira kos mengendalikan sistem. Masukkan masa penyepaduan, sokongan, penyenggaraan dan pilihan pemulihan yang praktikal. Bandingkan kos pemilikan dengan beban kerja sebenar yang dijangkakan, termasuk waktu lengang.
Langkah ini turut membantu menilai keputusan untuk terus menggunakan peralatan semasa. Jika model lebih kecil sudah memenuhi sasaran dengan sedikit usaha operasi, mengelakkan pemindahan yang tidak diperlukan menjimatkan belanja dan masa kakitangan. Jika kapasiti memori atau kerja pemasangan menjadi kekangan, reka bentuk Titania memberi asas konkrit untuk perbincangan seterusnya dengan pembekal.
Jadual pengeluaran ialah sebahagian daripada spesifikasi perkakasan
Pengumuman Axelera pada November menyasarkan pengeluaran pada suku ketiga 2027 dan menerangkan komitmen pelaksanaan pelanggan yang berlanjutan hingga awal 2028. Halaman produk menggunakan julat pengeluaran yang lebih luas pada separuh kedua 2027 dan menunjukkan pilihan peningkatan pada 2028. Kenyataan ini menerangkan hala tuju. Permulaan pembuatan, penghantaran pelayan yang disokong dan pemasangan di negara tertentu ialah peringkat yang berasingan.
Untuk perancangan pada November 2026, rakan sistem perlu mengesahkan harga serantau, tarikh penghantaran dan liputan perkhidmatan. Komitmen membeli perkakasan masa hadapan dan pemasangan pelanggan yang sudah beroperasi mempunyai nilai bukti yang berbeza. Organisasi dengan keperluan inferens segera masih memerlukan penyelesaian yang tersedia dan pelan operasi yang dapat disokong. Titania boleh dimasukkan dalam penilaian akan datang tanpa menjadikannya prasyarat pelancaran terdekat.
Hasil yang paling bernilai ialah kapasiti inferens yang boleh dipasang, disenggara dan dibiayai dalam kemudahan sendiri. Titania mengaitkan kapasiti memori, prestasi interaktif dan infrastruktur sedia ada. Ujian seterusnya ialah sama ada pilihan reka bentuk dan simulasi itu boleh menjadi sistem yang disokong, dengan prestasi diukur pada kerja pelanggan.
Sumber
- Axelera AI: pengumuman seni bina Titania, 12 November 2026
- Axelera AI: spesifikasi produk Titania, hala tuju dan syarat simulasi, dirujuk pada 18 November 2026.
- Projek DARE: rakan Axelera memperkenalkan cip inferens AI Titania generasi seterusnya, 12 November 2026
Simpan takrif beban kerja, soalan untuk pembekal dan hasil ujian bersama-sama supaya perbandingan seterusnya bermula daripada andaian yang sama. Mulakan nota pertama anda dengan Telli.sh.