AI hardwareDoc trong 17 phut

Máy chủ AI tiếp theo có vừa tủ rack làm mát bằng không khí hiện có?

Titania của Axelera hướng đến suy luận mô hình lớn với máy chủ 4U làm mát bằng không khí. Kết quả mô phỏng đặt ra những câu hỏi về công suất, bộ nhớ và chi phí triển khai.

K
Ken Jo

Máy chủ AI tiếp theo có thể cần mạch điện mới, phương án làm mát khác và một đợt chuyển đổi phần mềm trước khi trả lời câu hỏi đầu tiên. Với đội ngũ muốn chạy suy luận ngay tại cơ sở của mình, các yêu cầu đó có thể quan trọng ngang giá bộ tăng tốc. Chip nhanh hơn chỉ mang lại năng lực xử lý hữu ích khi hệ thống xung quanh đủ sức duy trì hoạt động của nó.

Ngày 12 tháng 11 năm 2026, công ty thiết kế bộ tăng tốc Axelera AI của Hà Lan công bố kiến trúc Titania, thế hệ thứ ba của công nghệ tăng tốc AI của hãng. Thiết kế máy chủ tham chiếu AX8 dự kiến dùng tám gói bộ tăng tốc và tổng cộng 1 TB bộ nhớ cho các bộ tăng tốc trong hệ thống 4U làm mát bằng không khí. Hãng nêu mức công suất hệ thống điển hình 5–6 kW và nhắm tới hạ tầng điện, làm mát của các trung tâm dữ liệu hiện có. Đây là thông số thiết kế được công bố cho một nền tảng tương lai. Khách hàng chưa thể mua máy để tự đo các con số đó. Thông báo của Axelera ngày 12 tháng 11

Vấn đề là liệu thiết kế này có giúp việc suy luận bằng mô hình lớn trở nên khả thi tại cơ sở sẵn có hay không. Câu trả lời phụ thuộc vào dung lượng bộ nhớ, phản hồi mà từng người dùng nhận được, công việc lắp đặt và phần mềm cần duy trì. Trang sản phẩm Titania công bố cả các điều kiện dùng để so sánh hiệu năng, tạo cơ sở để xem xét những yếu tố này.

Titania đưa Axelera từ thiết bị biên đến các hệ thống suy luận lớn hơn

Axelera đã sản xuất các bộ tăng tốc Metis và Europa cho thiết bị biên và ứng dụng doanh nghiệp. Titania mở rộng hướng đi đó sang những hệ thống suy luận lớn hơn, kết hợp hai chiplet trong mỗi hệ thống đóng gói, hay SiP. Thiết kế dùng kiến trúc Digital In-Memory Computing của hãng, năng lực tính toán RISC-V có thể lập trình và bộ nhớ LPDDR6. Công bố đề cập đến cả card PCIe lẫn mô-đun tăng tốc OAM, với các cấu hình làm mát bằng không khí hoặc chất lỏng dự kiến được cung cấp qua đối tác hệ thống.

Đối với bên mua, chọn gói tăng tốc và chọn cả máy chủ là hai quyết định mua sắm khác nhau. Chuẩn PCIe không bảo đảm thùng máy hiện có đủ khe cắm, nguồn điện, luồng khí và hỗ trợ phần mềm. Việc có thiết kế tham chiếu làm mát bằng không khí cũng không xác nhận mọi phòng máy có tủ rack đều phù hợp. Hãy so sánh các cấu hình mà nhà cung cấp thực sự có thể bàn giao và bảo trì.

Đồ họa tự thực hiện chia ngân sách triển khai thành máy chủ, điện và làm mát, chuyển đổi phần mềm và vận hành lâu dài.

Đồ họa giải thích tự thực hiện. Ngân sách triển khai bao gồm hạ tầng và phần mềm cần để vận hành máy chủ như một dịch vụ suy luận. Thông số tham chiếu về kích thước và công suất AX8 lấy từ thông báo của Axelera ngày 12 tháng 11.

Tài liệu sản phẩm của Axelera có hình minh họa của nhà sản xuất về kiến trúc chiplet Titania. Hình cho thấy thiết kế dự kiến và hệ thống phân cấp bộ nhớ. Đây không phải ảnh lắp đặt tại khách hàng hoặc phần trình diễn đo hiệu năng. Trang đó cũng cung cấp các ghi chú cấu hình cần thiết để hiểu biểu đồ.

Một terabyte trả lời câu hỏi dung lượng trước câu hỏi tốc độ

Axelera công bố 128 GB LPDDR6 trên mỗi gói Titania. Tám gói trong thiết kế AX8 đạt mức bộ nhớ bộ tăng tốc được quảng bá là 1 TB, cùng băng thông bộ nhớ tổng 19,6 TB/s và khả năng tính toán FP8 20 PFLOPS. Hãng còn công bố hỗ trợ FP4, MXFP4, FP8, MXFP8 và BF16. Cần xem xét độ chính xác số và cách phân bổ mô hình qua các gói khi diễn giải số liệu. Thông số kiến trúc và máy chủ tham chiếu đã công bố

Với mô hình mixture-of-experts lớn, tổng số tham số quyết định lượng dữ liệu trọng số phải lưu, dù chỉ một phần mô hình có thể hoạt động đối với từng token. Vì vậy, dung lượng vẫn có thể là giới hạn khi khối lượng tính toán đang hoạt động có vẻ dễ xử lý. Axelera dựa vào điểm này để lý giải việc dùng LPDDR6 dung lượng cao và truyền dữ liệu hiệu quả. So với bộ tăng tốc dùng HBM, hãng chọn cách cân bằng khác giữa công nghệ bộ nhớ, năng lực tính toán và kỹ thuật đóng gói.

Axelera cho biết một máy chủ AX8 được thiết kế để chứa mô hình 1,6 nghìn tỷ tham số ở FP4, đồng thời còn chỗ cho bộ nhớ đệm khóa–giá trị. Đây là tuyên bố về dung lượng của nhà cung cấp với một độ chính xác cụ thể. Nhóm triển khai vẫn phải xác định cách biểu diễn mô hình, độ dài ngữ cảnh và số yêu cầu đồng thời có phù hợp với cấu hình được hỗ trợ hay không. Bộ nhớ làm việc vượt quá dung lượng chứa trọng số khi dịch vụ xử lý nhiều cuộc hội thoại hơn hoặc các cuộc hội thoại dài hơn.

Giữ được mô hình trong bộ nhớ giúp gỡ một trở ngại. Người dùng còn quan tâm đến thời gian chờ và chất lượng câu trả lời. Mô hình vừa bộ nhớ có thể vẫn cần tinh chỉnh để đáp ứng mục tiêu thời gian phản hồi. Mô hình nhỏ hơn đã đủ chính xác có thể giúp tránh phải tăng dung lượng. Hãy chọn mô hình và độ chính xác phù hợp với công việc, rồi đánh giá phần cứng phục vụ được chúng.

Tốc độ tương tác và thông lượng tổng ưu tiên những thiết kế khác nhau

Hãy hình dung một trợ lý tài liệu nội bộ mà nhân viên sử dụng trong cuộc họp. Câu trả lời đến đủ nhanh để cuộc thảo luận tiếp tục có giá trị khác với hàng trăm câu trả lời hoàn thành sau một đêm. Với trợ lý này, thời gian chờ đến đoạn văn bản hữu ích đầu tiên và tốc độ tạo phần tiếp theo quan trọng cùng với tổng số token xử lý. Đây là ví dụ minh họa về tải công việc, không phải kết quả thử Titania.

Một nhóm khác có thể xử lý tài liệu tồn đọng mà không cần ai theo dõi từng phản hồi. Họ có thể chấp nhận chờ lâu hơn nếu xử lý theo lô làm tăng số công việc hoàn thành mỗi giờ. Dịch vụ dùng chung quy mô lớn có thể cần cả hai cách vào các giờ khác nhau. Vì vậy, một so sánh giữ cố định tốc độ mỗi người dùng có thể xếp hạng hệ thống khác với so sánh tối đa hóa thông lượng tổng.

Axelera định vị Titania cho suy luận phản hồi nhanh và thừa nhận trên trang sản phẩm rằng GPU quy mô tủ rack có thể dẫn đầu khi lô xử lý rất lớn. Các biểu đồ dùng nhiều cấu hình mô hình và tủ rack. Bên mua nên xác định cấu hình nào đáp ứng độ trễ mục tiêu ở mức tải đồng thời và chi phí dự kiến. Các điều kiện hiệu năng của Titania

Câu hỏi về tải công việcBằng chứng cần yêu cầuĐiều một số liệu đỉnh chưa trả lời
Nhân viên có thể dùng trợ lý tài liệu trực tiếp không?Thời gian phản hồi đầu tiên và tốc độ tạo văn bản ở mức tải đồng thời dự kiếnThời gian xếp hàng và các phản hồi chậm trong giờ cao điểm
Dịch vụ xử lý theo lô có giải quyết hết công việc qua đêm không?Số việc hoàn thành mỗi giờ với tài liệu đại diệnTác động của độ dài đầu vào và việc chia lô đến thời gian hoàn thành
Một máy chủ xử lý được cả video và tác vụ ngôn ngữ không?Kết quả toàn hệ thống khi giải mã, suy luận và logic ứng dụng đều hoạt độngTải máy chủ, các tác vụ tranh tài nguyên và công việc bị bỏ lỡ hoặc chậm

Đọc điều kiện mô phỏng trước các tỷ lệ hiệu năng

Trang sản phẩm Titania ghi nhận số liệu hiệu năng xuất phát từ mô phỏng nội bộ chạy qua trình biên dịch sản xuất của Axelera. Một phép so sánh dùng hệ thống Titania tám card được mô phỏng vào tháng 8 năm 2026 và dữ liệu đối thủ từ InferenceX tháng 9 năm 2026. Điều kiện được nêu gồm FP4, đầu vào 8.000 token và đầu ra 1.000 token. Các biểu đồ khác dựa trên mô phỏng quy mô tủ rack tháng 10 với cấu hình hệ thống riêng.

Những điều kiện này cho thấy biểu đồ có ý định so sánh điều gì và đặt giới hạn cho kết luận của bên mua. Mô phỏng có dùng trình biên dịch mang lại thông tin kỹ thuật. Thử nghiệm độc lập trên phần cứng Titania đã sản xuất là một loại bằng chứng khác. Các hệ thống Metis hay Europa đang chạy có thể bổ sung bối cảnh về công nghệ Axelera, nhưng dự báo về Titania vẫn cần được đo trên hệ thống bàn giao.

Các tuyên bố rằng thông lượng trên mỗi watt tốt hơn tới bảy lần và tổng chi phí sở hữu tốt hơn tới hai mươi lần đều thuộc khung so sánh của hãng. Chúng không phải báo giá hoặc dự báo hóa đơn của một cơ sở cụ thể. Trang sản phẩm mô tả việc so sánh TDP với TDP và nêu rằng chi phí lấy từ mô hình tổng chi phí sở hữu của Axelera. TDP là thông số công suất thiết kế. Điện năng của dịch vụ thực tế phụ thuộc vào toàn bộ hệ thống và tải công việc.

Đồ họa so sánh tự thực hiện tách các điều kiện về mô hình và yêu cầu khỏi độ trễ dịch vụ, thông lượng và công suất hệ thống đo được.

Đồ họa giải thích tự thực hiện. Khi đọc kết quả so sánh, hãy xét đồng thời mô hình, độ chính xác, độ dài yêu cầu và mức tải đồng thời. Xem các điều kiện gốc tại trang sản phẩm Titania của Axelera.

Hãy yêu cầu cấu hình đứng sau một tỷ lệ trước khi dùng nó trong bảng mua sắm. Lưu phiên bản mô hình, độ chính xác, phép kiểm tra chất lượng và phân bố yêu cầu cùng kết quả. Sau đó hỏi phép đo công suất tính ở phạm vi bộ tăng tốc, toàn bộ máy chủ hay cả cơ sở. Nếu phạm vi khác nhau, một kết quả có thể trông tốt hơn chỉ vì số đo bao phủ ít thiết bị hơn.

Làm mát bằng không khí vẫn cần dự trù điện và nhiệt

“Làm mát bằng không khí” mô tả cách máy chủ truyền nhiệt ra không khí xung quanh. Hệ thống làm mát của cơ sở vẫn phải đưa lượng nhiệt đó ra khỏi phòng. Mức tiêu thụ điển hình dự kiến 5–6 kW của AX8 là đáng kể cho một máy 4U. Nhóm quản lý cơ sở cần biết cấu hình được báo giá, yêu cầu lắp đặt và tải công việc dự kiến trước khi quyết định một tủ rack có phù hợp hay không.

Một phép tính đơn giản cho thấy quy mô. Máy chạy với công suất trung bình 5–6 kW liên tục trong 24 giờ sẽ dùng 120–144 kWh ở phạm vi máy chủ trong ngày đó. Đây là phép tính giả định công suất trung bình duy trì liên tục, không phải số đo Titania. Tải thực tế và thời gian nhàn rỗi có thể làm thay đổi mức tiêu thụ. Làm mát, tổn hao chuyển đổi điện và các thiết bị khác của cơ sở còn có phần tiêu thụ riêng.

Sức hấp dẫn của đề xuất Axelera là khả năng tận dụng trung tâm dữ liệu hiện có mà không phải cải tạo cho tủ rack làm mát bằng chất lỏng mật độ cao. Khoản tiết kiệm phụ thuộc năng lực sẵn có của cơ sở. Một nơi còn dư công suất điện và làm mát sẽ đối mặt với dự án khác nơi có mạch điện và hệ thống làm mát đã gần giới hạn. Thùng máy 4U hay card PCIe vẫn cần kế hoạch lắp đặt khác hẳn việc nâng cấp máy tính để bàn.

Duy trì phần mềm có thể quan trọng ngang dung lượng phần cứng

Axelera cho biết nền tảng Voyager SDK và AxeleraScript trải rộng từ Metis, Europa đến Titania. Công bố mô tả kế hoạch hỗ trợ song song tensor, chuyên gia và đường ống, giải mã suy đoán và chuyển tải hoặc tách bộ nhớ đệm KV. Hãng cũng nêu card PCIe Titania là một hướng thay thế trong tương lai cho Axelera Server 250p dùng Europa. Các kế hoạch này đáng xem xét với đội ngũ đang đánh giá hệ sinh thái phần mềm của hãng.

Với người dùng Europa, câu hỏi trước mắt là có thể chuyển được bao nhiêu phần của ứng dụng, từ phép toán được hỗ trợ, chuyển đổi mô hình, mã tích hợp cho đến giám sát và đóng gói triển khai. Đội ngũ bắt đầu trên nền tảng khác cần tính công sức chuyển sang Voyager. SDK dùng chung có thể giảm việc làm trên các sản phẩm cùng hãng. Ứng dụng vẫn phải được xác thực trên từng hệ thống đích với mô hình và quy trình xử lý thực tế.

Hãy xét một dịch vụ video tạo mô tả sự kiện từ bản ghi. Khả năng giải mã 8K và mã hóa 4K ngay trên chip cho H.265 và AV1 mà Titania công bố có thể thay đổi cách chia việc giữa bộ tăng tốc và máy chủ. Thử nghiệm nên gồm các thiết lập codec được hỗ trợ, chuẩn bị khung hình, mô hình ngôn ngữ, lưu trữ và phản hồi của ứng dụng. Một mô hình ngôn ngữ nhanh hơn chưa đủ chứng minh toàn dịch vụ xử lý được lượng video cần thiết.

Với trợ lý tài liệu riêng tư, công việc tương ứng gồm truy xuất tài liệu và kiểm soát truy cập. Chạy suy luận tại cơ sở làm thay đổi nơi mô hình hoạt động. Việc cấp quyền tài liệu, nhật ký, bản sao lưu và thông tin xác thực của dịch vụ vẫn cần thiết kế. Khi đánh giá báo giá phần cứng, hãy kèm kế hoạch quản lý phần mềm. Xác định ai cập nhật môi trường chạy, kiểm tra thay đổi mô hình và khôi phục dịch vụ sau sự cố.

Một đợt đánh giá nên bắt đầu bằng sáu quyết định

Ở giai đoạn hiện tại, Titania phù hợp hơn với đánh giá theo từng bước. Hãy bắt đầu với ứng dụng và đường cơ sở sẵn có, sau đó yêu cầu bằng chứng khi các hệ thống được hỗ trợ xuất hiện. Một buổi trình diễn của nhà cung cấp có thể giúp quyết định bước tiếp theo nếu ghi nhận cấu hình và giới hạn. Việc nghiệm thu cuối cùng vẫn phải thực hiện tại địa điểm dự kiến.

  1. Đặt mục tiêu công việc và dịch vụ. Chọn yêu cầu tài liệu, tác nhân hoặc video có tính đại diện. Xác định chất lượng câu trả lời, thời gian phản hồi và tải đồng thời lúc cao điểm có thể chấp nhận trước khi chọn mô hình lớn nhất.
  2. Ghi lại đường cơ sở hiện tại. Dùng hệ thống đang chạy hoặc dịch vụ thuê ngoài để đo lượng công việc, độ trễ và chi phí vận hành. Giữ phiên bản mô hình và yêu cầu để so sánh về sau.
  3. Yêu cầu cấu hình được hỗ trợ. Xin danh sách mô hình dự kiến hỗ trợ, bố trí bộ nhớ, thông số máy chủ, phiên bản phần mềm và trách nhiệm của đối tác hệ thống. Phân biệt tính năng công bố với chức năng đã trình diễn trên cấu hình đó.
  4. Kiểm tra cơ sở lắp đặt. Cung cấp yêu cầu về điện, luồng khí và lắp đặt của nhà cung cấp cho bộ phận chịu trách nhiệm. Đưa thiết bị lân cận và năng lực làm mát còn lại vào đánh giá.
  5. Thử toàn bộ dịch vụ khi có phần cứng. Bao gồm mẫu yêu cầu đến, truy xuất dữ liệu, codec và giám sát. Đo công suất toàn máy trong cùng khoảng thời gian ghi số việc hoàn thành và thống kê thời gian phản hồi.
  6. Tính chi phí cam kết vận hành. Tính thời gian tích hợp, hỗ trợ, bảo trì và kế hoạch dự phòng khả thi. So sánh chi phí sở hữu theo tải dự kiến thật sự, kể cả lúc ít việc.

Các bước này cũng giúp đánh giá quyết định giữ lại thiết bị. Nếu mô hình nhỏ đáp ứng được mục tiêu với ít công vận hành, tránh chuyển đổi không cần thiết sẽ tiết kiệm tiền và thời gian. Nếu dung lượng hoặc việc lắp đặt là giới hạn, thiết kế Titania cho đội ngũ một chủ đề cụ thể để bàn với nhà cung cấp.

Thời điểm sản xuất cũng là một phần của thông số phần cứng

Thông báo tháng 11 của Axelera đặt mục tiêu sản xuất vào quý III năm 2027 và nói đến cam kết triển khai cho khách hàng kéo dài đến đầu năm 2028. Trang sản phẩm nêu khung rộng hơn là nửa cuối năm 2027 và đưa ra hướng nâng cấp vào năm 2028. Những tuyên bố này mô tả lộ trình. Bắt đầu sản xuất, bàn giao máy chủ được hỗ trợ và lắp đặt ở một quốc gia cụ thể là những mốc riêng.

Để lập kế hoạch vào tháng 11 năm 2026, cần đối tác hệ thống xác nhận giá theo khu vực, ngày bàn giao và phạm vi dịch vụ. Cam kết mua phần cứng tương lai và hệ thống đã vận hành tại khách hàng mang lại bằng chứng khác nhau. Tổ chức có nhu cầu suy luận ngay vẫn cần một giải pháp đang sẵn có và kế hoạch vận hành có thể duy trì. Có thể đưa Titania vào đánh giá tương lai mà không dùng nó làm điều kiện cho kế hoạch ra mắt trước mắt.

Kết quả đáng giá nhất là năng lực suy luận mà đội ngũ thực sự có thể lắp đặt, duy trì và chi trả tại cơ sở của mình. Titania kết nối dung lượng bộ nhớ, khả năng tương tác và hạ tầng hiện có. Bước kế tiếp là biến thiết kế và mô phỏng thành hệ thống được hỗ trợ, với hiệu năng đo trên công việc khách hàng cần xử lý.

Nguồn


Giữ định nghĩa tải công việc, câu hỏi dành cho nhà cung cấp và kết quả thử nghiệm ở cùng một nơi để lần so sánh sau bắt đầu với cùng các giả định. Tạo ghi chú đầu tiên với Telli.sh.


← Quay lai blog