Bisakah Server AI Berikutnya Masuk ke Rak Berpendingin Udara yang Sudah Anda Miliki?
Titania dari Axelera menargetkan inferensi model besar dalam server 4U berpendingin udara. Simulasinya mengarahkan perhatian pada daya, memori, dan biaya penerapan.
Server AI berikutnya mungkin memerlukan sirkuit listrik baru, pengaturan pendinginan yang berbeda, dan migrasi perangkat lunak sebelum bisa menjawab pertanyaan pertamanya. Bagi tim yang ingin menjalankan inferensi di gedung sendiri, kebutuhan tersebut bisa sama pentingnya dengan harga akselerator. Cip yang lebih cepat baru menambah kapasitas yang berguna ketika sistem di sekitarnya mampu menjaga cip tetap beroperasi.
Pada 12 November 2026, perusahaan akselerator asal Belanda Axelera AI mengumumkan arsitektur Titania, generasi ketiga teknologi akselerasi AI-nya. Rancangan server referensi AX8 menempatkan delapan paket akselerator dan memori akselerator 1 TB dalam sistem 4U berpendingin udara. Axelera menyebut daya sistem tipikal 5–6 kW dan menargetkan lingkungan daya dan pendinginan pusat data yang sudah ada. Angka tersebut merupakan spesifikasi rancangan untuk platform mendatang. Pelanggan belum bisa membeli server produksi untuk mengukurnya. Pengumuman Axelera pada 12 November
Pertanyaannya adalah apakah rancangan ini bisa membuat inferensi model besar layak dijalankan di fasilitas yang sudah ada. Jawabannya bergantung pada kapasitas memori, respons yang diterima setiap pengguna, pekerjaan instalasi, dan perangkat lunak yang perlu dipelihara. Titania dapat dikaji karena halaman produknya juga memuat kondisi yang melandasi perbandingan kinerja.
Titania memperluas jangkauan Axelera dari perangkat tepi ke sistem inferensi yang lebih besar
Axelera sudah membuat akselerator Metis dan Europa untuk perangkat tepi dan aplikasi perusahaan. Titania memperluas arah itu ke penerapan inferensi yang lebih besar dengan menggabungkan dua chiplet dalam setiap system-in-package, atau SiP. Rancangannya menggunakan arsitektur Digital In-Memory Computing milik Axelera, komputasi RISC-V yang dapat diprogram, dan memori LPDDR6. Pengumuman tersebut memperkenalkan rencana kartu PCIe dan modul akselerator OAM, dengan konfigurasi berpendingin udara dan cairan melalui mitra sistem.
Bagi pembeli, paket akselerator dan server lengkap merupakan dua keputusan pengadaan yang berbeda. Format PCIe saja tidak menjamin bahwa sasis yang sudah ada memiliki slot, pasokan daya, aliran udara, dan dukungan perangkat lunak yang dibutuhkan. Adanya rancangan referensi berpendingin udara juga tidak memastikan kompatibilitas semua ruang yang memiliki rak. Bandingkan konfigurasi yang benar-benar akan dikirim dan didukung oleh pemasok.
Grafik penjelas orisinal. Anggaran penerapan mencakup infrastruktur dan perangkat lunak untuk mengoperasikan server sebagai layanan inferensi. Rujukan ukuran dan daya AX8 berasal dari pengumuman Axelera pada 12 November.
Materi produk Axelera mencantumkan ilustrasi produsen tentang arsitektur chiplet Titania. Gambar tersebut menunjukkan rancangan dan hierarki memori yang direncanakan. Ilustrasi itu tidak memperlihatkan instalasi pelanggan ataupun demonstrasi uji tolok ukur. Halaman yang sama menyediakan catatan konfigurasi untuk membantu membaca grafik kinerjanya.
Satu terabita menjawab soal kapasitas sebelum soal kecepatan
Axelera menyebut setiap paket Titania memiliki 128 GB LPDDR6. Rancangan AX8 dengan delapan paket mencapai angka memori akselerator 1 TB yang diumumkan, dengan lebar pita memori agregat 19,6 TB/s dan kinerja komputasi FP8 20 PFLOPS. Perusahaan juga mengumumkan dukungan FP4, MXFP4, FP8, MXFP8, dan BF16. Presisi dan pembagian model di antara paket akselerator penting untuk menafsirkan angka ini. Arsitektur dan spesifikasi server referensi yang diumumkan
Pada model mixture-of-experts berskala besar, jumlah seluruh parameter menentukan berapa banyak data bobot yang harus disimpan. Pada setiap token, hanya sebagian model mungkin aktif. Kapasitas dapat tetap menjadi kendala walaupun komputasi yang aktif tampak masih dapat ditangani. Axelera menggunakan pengamatan tersebut untuk menjelaskan pilihan LPDDR6 berkapasitas tinggi dan perpindahan data yang efisien. Pendekatannya memilih keseimbangan berbeda antara teknologi memori, komputasi, dan pengemasan dari akselerator berbasis HBM.
Menurut Axelera, satu server AX8 dirancang untuk menampung model 1,6 triliun parameter pada FP4, dengan ruang tersisa untuk cache key-value. Klaim kapasitas dari vendor tersebut berlaku pada presisi tertentu. Tim aplikasi masih perlu memastikan representasi model, panjang konteks, dan jumlah permintaan serentaknya sesuai dengan konfigurasi yang didukung. Kebutuhan memori kerja layanan melebihi ukuran bobot yang tersimpan ketika percakapan makin panjang atau jumlahnya bertambah.
Menjaga model tetap berada di memori mengatasi satu kendala. Pengguna juga merasakan waktu tunggu dan kualitas jawaban. Model yang muat mungkin tetap perlu disetel untuk memenuhi sasaran waktu respons. Model yang lebih kecil dan sudah cukup akurat bisa menghilangkan kebutuhan akan kapasitas tambahan. Pilih model dan presisi yang dapat diterima sesuai tugas, lalu evaluasi perangkat kerasnya.
Kecepatan interaktif dan laju keluaran total membutuhkan desain yang berbeda
Bayangkan asisten dokumen internal yang dipakai karyawan dalam rapat. Jawaban yang muncul cukup cepat agar diskusi terus berjalan memiliki nilai berbeda dari ratusan jawaban yang selesai semalam. Untuk asisten itu, waktu hingga teks pertama yang berguna muncul dan kecepatan lanjutan respons sama pentingnya dengan jumlah token yang dilayani. Ini merupakan contoh beban kerja untuk ilustrasi. Tidak ada uji Titania dalam contoh ini.
Tim lain mungkin memproses tumpukan dokumen tanpa orang yang menunggu tiap respons. Tim itu bisa menerima waktu tunggu lebih lama jika pemrosesan secara berkelompok meningkatkan jumlah pekerjaan yang selesai per jam. Layanan bersama berskala besar bisa memerlukan kedua perilaku pada jam yang berbeda. Urutan hasil perbandingan dengan kecepatan per pengguna tetap dapat berbeda dari perbandingan yang memaksimalkan laju keluaran total.
Axelera memosisikan Titania untuk inferensi responsif dan mengakui pada halaman produknya bahwa GPU skala rak dapat unggul pada ukuran kelompok pemrosesan yang sangat besar. Grafiknya memakai konfigurasi model dan rak yang berbeda. Dalam keputusan pembelian, tanyakan konfigurasi mana yang memenuhi sasaran latensi layanan dengan jumlah permintaan serentak dan biaya yang diperkirakan. Kondisi kinerja Titania
| Pertanyaan tentang beban kerja | Bukti yang perlu diminta | Hal yang belum dijawab oleh satu angka puncak |
|---|---|---|
| Bisakah karyawan memakai asisten dokumen secara langsung? | Waktu respons awal dan laju generasi pada jumlah pengguna serentak yang dituju | Antrean dan respons paling lambat selama jam sibuk |
| Bisakah layanan batch menghabiskan antrean semalam? | Jumlah pekerjaan yang selesai per jam dengan dokumen representatif | Pengaruh panjang masukan dan pengelompokan terhadap waktu penyelesaian |
| Bisakah satu server menggabungkan tugas video dan bahasa? | Hasil menyeluruh saat dekode, inferensi, dan logika aplikasi aktif | Beban host, pekerjaan yang bersaing, dan pekerjaan yang terlewat atau terlambat |
Baca keterangan simulasi sebelum membandingkan rasio kinerja
Halaman Titania menyatakan bahwa angka kinerjanya berasal dari simulasi internal dengan kompilator produksi Axelera. Salah satu perbandingan server memakai hasil simulasi sistem Titania dengan delapan kartu pada Agustus 2026 dan data kompetitor dari InferenceX pada September 2026. Kondisinya mencakup FP4, masukan 8.000 token, dan keluaran 1.000 token. Grafik lain berasal dari simulasi skala rak pada Oktober dengan konfigurasi sistemnya sendiri.
Kondisi tersebut menjelaskan apa yang hendak dibandingkan oleh grafik dan membatasi kesimpulan pembeli. Simulasi yang menggunakan kompilator memberi informasi rekayasa. Uji independen pada perangkat Titania produksi masih merupakan bukti yang berbeda. Penerapan Metis atau Europa yang sudah ada dapat memberi konteks untuk teknologi Axelera, tetapi tidak mengubah proyeksi Titania menjadi hasil pengukuran sistem yang dikirim ke pelanggan.
Klaim pengumuman mengenai laju keluaran per watt hingga tujuh kali lebih baik dan total biaya kepemilikan hingga dua puluh kali lebih baik berada dalam kerangka perbandingan vendor tersebut. Rasio itu tidak memberikan penawaran harga atau perkiraan tagihan satu lokasi. Halaman produk membandingkan TDP dengan TDP dan menyebut biaya berasal dari model total biaya kepemilikan Axelera. TDP adalah ukuran daya rancangan. Pemakaian listrik layanan akan bergantung pada keseluruhan sistem dan beban kerjanya.
Grafik penjelas orisinal. Baca perbandingan kinerja dengan mempertimbangkan model, presisi, panjang permintaan, dan jumlah permintaan serentak. Kondisi sumber tercantum pada halaman produk Titania dari Axelera.
Minta konfigurasi di balik rasio sebelum menyalinnya ke lembar pengadaan. Simpan versi model, presisi, pemeriksaan kualitas, dan distribusi permintaan bersama hasil. Pastikan apakah batas pengukuran daya mencakup akselerator, server utuh, atau fasilitas. Jika batasnya berbeda, perbandingan dapat memberi keuntungan pada angka yang cakupannya lebih sempit.
Pendinginan udara tetap memerlukan anggaran daya dan panas
“Berpendingin udara” menjelaskan bagaimana server memindahkan panas ke udara di sekitarnya. Panas itu tetap harus dikeluarkan dari ruangan oleh sistem pendingin fasilitas yang sesuai. Konsumsi AX8 tipikal sebesar 5–6 kW menurut rancangan Axelera cukup besar untuk satu perangkat 4U. Staf fasilitas perlu melihat konfigurasi yang ditawarkan, syarat pemasangan, dan beban kerja sebelum menentukan apakah raknya cocok.
Skalanya dapat diperkirakan dengan perhitungan sederhana. Mesin yang terus memakai rata-rata 5–6 kW selama 24 jam akan menggunakan 120–144 kWh pada batas server hari itu. Ini hasil hitung dengan asumsi daya rata-rata konstan. Penggunaan saat bekerja maupun menganggur dapat menghasilkan angka berbeda pada Titania. Pendinginan, rugi konversi daya, dan bagian fasilitas lain juga menambah konsumsi.
Daya tarik rancangan Axelera adalah peluang memakai pusat data yang sudah ada tanpa merombak fasilitas untuk rak berdensitas tinggi dengan pendinginan cairan. Besarnya penghematan bergantung pada kemampuan lingkungan yang tersedia. Lokasi dengan cadangan listrik dan kapasitas pendinginan menghadapi pekerjaan yang berbeda dari lokasi yang sirkuit dan pendingin ruangnya hampir mencapai batas. Sasis 4U dan kartu PCIe tetap memerlukan rencana instalasi yang lebih luas dari pemutakhiran PC desktop.
Kesinambungan perangkat lunak bisa sama pentingnya dengan kapasitas perangkat keras
Axelera menyatakan fondasi Voyager SDK dan AxeleraScript mencakup Metis, Europa, dan Titania. Pengumumannya memaparkan rencana paralelisme tensor, expert dan pipeline, speculative decoding, serta pemindahan beban atau pemisahan cache KV. Perusahaan juga menyebut kartu Titania PCIe sebagai jalur penggantian mendatang untuk Axelera Server 250p berbasis Europa. Janji ini relevan bagi tim yang sudah menguji ekosistem perangkat lunaknya.
Bagi pemakai Europa, pertanyaan langsungnya adalah bagian aplikasi mana yang bisa dipakai kembali, seperti operasi yang didukung, konversi model, kode integrasi, pemantauan, dan pengemasan penerapan. Tim yang memakai platform lain akan memerlukan pekerjaan rekayasa untuk pindah ke Voyager. SDK bersama dapat mengurangi pekerjaan antarlini produk satu vendor, sambil tetap memerlukan validasi aplikasi pada setiap target. Periksa portabilitas menggunakan model dan rangkaian proses yang benar-benar akan dipakai.
Bayangkan layanan video yang menyusun deskripsi kejadian dari rekaman. Dukungan dekode 8K dan enkode 4K di cip untuk H.265 dan AV1 yang diumumkan Titania dapat mengubah pembagian kerja antara akselerator dan host. Uji praktis perlu menyertakan pengaturan codec yang didukung, penyiapan bingkai, model bahasa, penyimpanan, dan respons aplikasi. Kecepatan model bahasa saja belum membuktikan bahwa layanan lengkap sanggup menangani beban video yang dibutuhkan.
Untuk asisten dokumen privat, pekerjaan yang setara mencakup pengambilan dokumen dan kontrol akses. Inferensi di lokasi sendiri mengubah tempat model berjalan. Otorisasi dokumen, catatan aktivitas, cadangan, dan kredensial layanan tetap perlu dirancang. Sertakan rencana kepemilikan perangkat lunak saat meninjau penawaran perangkat keras. Tentukan siapa yang memperbarui runtime, memeriksa perubahan model, dan memulihkan layanan setelah kegagalan.
Evaluasi yang berguna dimulai dari enam keputusan
Status Titania saat ini lebih sesuai untuk evaluasi bertahap. Mulailah dari aplikasi dan dasar pembanding yang tersedia, lalu minta bukti ketika sistem yang didukung mulai tersedia. Demonstrasi vendor dapat membantu menentukan langkah selanjutnya jika konfigurasi dan batasannya dicatat. Uji penerimaan di lokasi yang direncanakan tetap perlu dilakukan.
- Tetapkan pekerjaan dan sasaran layanan. Pilih permintaan dokumen, agen, atau video yang mewakili penggunaan. Tetapkan kualitas jawaban, waktu respons, dan jumlah permintaan serentak pada jam sibuk sebelum memilih model terbesar.
- Catat kondisi awal. Gunakan sistem atau layanan penyedia yang sedang dipakai untuk mengukur volume, latensi, dan biaya operasional. Simpan versi model dan permintaan agar hasil berikutnya dapat dibandingkan.
- Minta konfigurasi yang didukung. Dapatkan rencana dukungan model, susunan memori, spesifikasi host, versi perangkat lunak, dan pembagian tanggung jawab mitra. Bedakan fitur yang diumumkan dari fungsi yang sudah didemonstrasikan pada konfigurasi itu.
- Minta pemeriksaan fasilitas. Berikan kepada tim yang berwenang persyaratan kelistrikan, aliran udara, dan pemasangan dari pemasok. Masukkan peralatan sekitar dan kapasitas pendinginan yang tersedia.
- Uji layanan lengkap ketika perangkat tersedia. Sertakan pola kedatangan permintaan, pencarian dokumen, codec, dan pemantauan. Ukur daya seluruh server pada selang waktu yang sama dengan pekerjaan yang diselesaikan dan statistik waktu respons.
- Hitung biaya pengoperasian yang akan ditanggung. Sertakan waktu integrasi, dukungan, pemeliharaan, dan rencana cadangan yang praktis. Bandingkan biaya kepemilikan dengan beban kerja yang benar-benar diharapkan, termasuk jam sepi.
Langkah-langkah ini juga membantu menilai keputusan mempertahankan peralatan. Jika model kecil sudah memenuhi sasaran dengan usaha operasional yang rendah, menghindari migrasi yang tidak perlu menjaga anggaran dan waktu staf. Jika kapasitas memori atau pekerjaan instalasi adalah kendala utama, rancangan Titania memberi dasar yang konkret untuk pembicaraan berikutnya dengan pemasok.
Jadwal produksi juga bagian dari spesifikasi perangkat keras
Pengumuman Axelera menargetkan produksi pada kuartal ketiga 2027 dan menyebut komitmen penerapan pelanggan hingga awal 2028. Halaman produk memakai cakupan produksi yang lebih luas pada paruh kedua 2027 dan menunjukkan jalur peningkatan pada 2028. Informasi ini merupakan peta jalan. Awal produksi, pengiriman server yang didukung, dan pemasangan di suatu negara merupakan tonggak terpisah.
Untuk perencanaan pada November 2026, harga per wilayah, jadwal pengiriman, dan cakupan layanan harus dikonfirmasi oleh mitra sistem. Komitmen membeli perangkat keras di masa depan berbeda dari instalasi pelanggan yang sudah berjalan. Organisasi yang memiliki kebutuhan inferensi segera tetap perlu memilih solusi yang tersedia dengan rencana pengoperasian yang sanggup didukung. Titania dapat masuk ke evaluasi mendatang tanpa menjadi prasyarat peluncuran dalam waktu dekat.
Hasil yang paling bernilai adalah kapasitas inferensi yang benar-benar bisa dipasang, dipelihara, dan dijangkau oleh anggaran fasilitas. Titania menghubungkan kapasitas memori, kinerja interaktif, dan penggunaan infrastruktur yang sudah ada. Langkah berikutnya adalah menghadirkan sistem yang didukung dan mengukur kinerjanya pada pekerjaan yang perlu diselesaikan pelanggan.
Sumber
- Axelera AI: pengumuman arsitektur Titania, 12 November 2026
- Axelera AI: spesifikasi produk Titania, peta jalan, dan kondisi simulasi, diakses pada 18 November 2026.
- Proyek DARE: mitra Axelera memperkenalkan cip inferensi AI Titania generasi berikutnya, 12 November 2026
Simpan definisi beban kerja, pertanyaan untuk pemasok, dan hasil uji pada satu tempat agar perbandingan berikutnya memakai asumsi yang sama. Mulai catatan pertama Anda di Telli.sh.