AI InfrastructureDoc trong 15 phut

DDR4 cũ có thể giúp máy chủ AI bớt chật bộ nhớ không?

Netlist và Marvell đưa các thiết kế CXL dùng DDR4 đến SC26. Xem bộ nhớ máy chủ bổ sung có thể giúp ở đâu và cần đo gì trước khi mua.

K
Ken Jo

Dịch vụ tìm kiếm nội bộ chạy nhanh cho đến giờ cao điểm buổi sáng. Nó phải tìm các đoạn liên quan trong hàng nghìn tài liệu rồi mới gửi yêu cầu trả lời đến GPU. Những đoạn hay dùng nằm vừa trong bộ nhớ, nhưng mỗi lượt tìm phần còn lại của kho tài liệu lại phải đọc từ thiết bị lưu trữ. Người dùng chờ lâu hơn dù bộ tăng tốc vẫn còn công suất. Với đội vận hành dịch vụ, mở rộng bộ nhớ đệm trên máy chủ có thể hữu ích hơn mua thêm GPU.

Hai thông báo trước thềm SC26 cho thấy thêm một cách xây dựng bộ nhớ đệm đó. Ngày 10 tháng 11, CXL Consortium cho biết hãng chuyên về bộ nhớ Netlist dự kiến trình diễn một thiết kế thử nghiệm mang tên NVvault-D4, dùng DDR4 sẵn có để mở rộng bộ nhớ máy chủ qua Compute Express Link, hay CXL. Ngày 13 tháng 11, hãng chip Marvell công bố các màn trình diễn của đối tác dùng bộ điều khiển mở rộng bộ nhớ Structera X với DDR4 và DDR5. Hai thông báo mô tả phần cứng dự kiến trưng bày. Giá, thời điểm giao hàng và kết quả của các màn trình diễn vẫn để ngỏ. SC26 diễn ra từ ngày 15 đến 20 tháng 11 tại Chicago. Khu trưng bày mở cửa thường lệ từ ngày 17 đến 19 tháng 11 theo giờ địa phương. CXL Consortium giới thiệu thiết kế của Netlist · Thông báo SC26 của Marvell · Lịch SC26 chính thức

Với bên mua, câu hỏi là dung lượng bổ sung có giữ được đủ dữ liệu của tải công việc trong bộ nhớ mà vẫn bảo đảm thời gian phản hồi của những yêu cầu chậm nhất hay không. Đội có sẵn DDR4 dư có thể tiết kiệm chi phí nếu các mô-đun đạt điều kiện sử dụng và hệ thống đưa được đúng dữ liệu vào đó. Giá trị của phương án phụ thuộc vào công việc nào đang phải chờ và nó chờ ở đâu.

Bộ nhớ bổ sung nằm ở đâu?

CPU truy cập DRAM gắn trực tiếp qua bộ điều khiển bộ nhớ của mình. Nếu máy chủ và thiết bị mở rộng bộ nhớ CXL tương thích, CPU cũng có thể truy cập bộ nhớ phía sau thiết bị đó qua liên kết CXL. Phần mở rộng bổ sung chỗ chứa dữ liệu ở phía máy chủ. Đường truy cập, băng thông và độ trễ của nó khác các kênh DRAM gắn trực tiếp. Phần sụn và hệ điều hành phải nhận diện, cung cấp dung lượng này cho hệ thống. Ứng dụng hoặc hệ điều hành cũng cần chính sách đặt trang nhớ phù hợp với tải công việc.

Điểm này quan trọng khi có đề xuất đưa DDR4 trong kho vào máy chủ đời mới. Máy chủ có thể giữ DDR5 gắn trực tiếp và truy cập DDR4 qua thiết bị mở rộng được hỗ trợ. Bộ điều khiển của thiết bị, việc thẩm định mô-đun và khả năng tương thích với máy chủ đều cần xem xét. Một thiết kế thử nghiệm dùng DDR4 có sẵn là lý do để khảo sát khả năng tái sử dụng. Còn phải xác nhận cấu hình được hỗ trợ chấp nhận những mô-đun nào và hệ thống nào có thể vận hành ổn định với chúng.

Sơ đồ DRAM gắn trực tiếp và phần mở rộng CXL trong bộ nhớ máy chủ dành cho CPU, bên cạnh bộ nhớ riêng của GPU

DRAM gắn trực tiếp có thể giữ các trang được truy cập thường xuyên, còn tầng mở rộng chứa bộ nhớ đệm dung lượng lớn hơn ở phía CPU. Bộ nhớ băng thông cao của bộ tăng tốc có giới hạn dung lượng và băng thông riêng.

Trong ví dụ tìm kiếm, đội vận hành có thể giữ dữ liệu chỉ mục thường dùng trong DDR5 gắn trực tiếp và chuyển bộ nhớ đệm lớn hơn chứa các đoạn văn hoặc kết quả ít truy cập sang tầng CXL. Khi dịch vụ tìm được đoạn phù hợp, phần xử lý suy luận chuyển đoạn đó cho mô hình chạy trên GPU. Trọng số mô hình và dữ liệu cần cho nhân tính toán của bộ tăng tốc vẫn phải vừa trong vùng bộ nhớ mà bộ máy suy luận dự kiến truy cập. Tầng mở rộng CXL trong các thông báo này bổ sung dung lượng cho bộ nhớ máy chủ. Bộ nhớ băng thông cao của GPU, thường gọi là HBM, vẫn là tài nguyên riêng.

Hãy bắt đầu bằng bản ghi thời gian xử lý của các yêu cầu. Nếu CPU liên tục phải chờ dữ liệu đã bị đẩy khỏi bộ nhớ đệm, bổ sung bộ nhớ máy chủ có thể giảm lượt đọc từ thiết bị lưu trữ. Nếu phần lớn thời gian mô hình dành để đọc trọng số từ bộ nhớ GPU và phía máy chủ hiếm khi phải chờ, khoản đầu tư đó có thể ít ảnh hưởng đến thời gian trả lời. Dịch vụ có thể phản hồi nhanh hơn nhờ bước truy xuất dữ liệu được rút ngắn dù mô hình vẫn chạy ở tốc độ cũ. Hãy đo cả hai trước khi quy thay đổi về tốc độ của cả dịch vụ cho bất kỳ bước nào.

Ba thiết kế thử nghiệm của Netlist phục vụ những công việc khác nhau

NVvault-D4 là thiết kế cần theo dõi nếu quan tâm đến tái sử dụng DDR4. CXL Consortium nêu các mục tiêu gồm máy ảo, cơ sở dữ liệu trong bộ nhớ, điện toán hiệu năng cao và tải công việc doanh nghiệp. Máy chủ ảo hóa là một ví dụ cụ thể. Đội vận hành có thể giữ các máy ảo bận nhất trong bộ nhớ gắn trực tiếp và thử chuyển các trang ít hoạt động hơn sang tầng mở rộng. Đội cơ sở dữ liệu có thể thử cách tương tự với một phần bộ nhớ đệm đọc. Cơ sở dữ liệu cần chính sách cấp phát giữ những trang phục vụ truy vấn nhạy với độ trễ ở gần CPU. Đó là các kịch bản thử nghiệm có thể dùng để đánh giá thiết kế mở rộng dung lượng. Thông báo chưa đưa ra kết quả trên từng tải công việc. CXL Consortium giới thiệu thiết kế của Netlist

Hai mẫu còn lại của Netlist cho thấy vì sao cần để ý tên từng thiết kế. NVvault-HM dùng DRAM làm bộ nhớ đệm trước tầng dung lượng dùng NAND. Thông báo đề cập đến di chuyển dữ liệu, số liệu giám sát và các trường hợp sử dụng như bộ nhớ đệm khóa–giá trị của AI và phân tích dữ liệu. NVvault-PM là thiết kế CXL Type 3 riêng, được mô tả với DRAM, NAND dự phòng và nguồn năng lượng tích hợp để xử lý khi mất điện. Thông báo định vị PM cho các tác vụ như giữ bộ nhớ đệm khóa–giá trị, lưu điểm kiểm tra và khôi phục. Đội đánh giá khả năng sao lưu hoặc lưu giữ dữ liệu cần biết thiết kế cụ thể đó hoạt động ra sao trong các dạng sự cố của mình. Phạm vi giới thiệu D4 chỉ cho phép đánh giá những đặc tính được công bố riêng cho mẫu này. CXL Consortium giới thiệu thiết kế của Netlist

Bộ nhớ đệm khóa–giá trị của mô hình ngôn ngữ là một ví dụ thử nghiệm AI riêng. Nó lưu dữ liệu attention từ các token trước để mô hình dùng lại. Bộ máy suy luận hỗ trợ chuyển dữ liệu sang bộ nhớ máy chủ có thể đưa các trang bộ nhớ đệm của phiên không hoạt động ra khỏi GPU rồi tải lại khi phiên tiếp tục. Đội vận hành có thể thử xem dung lượng máy chủ bổ sung có giúp giữ được nhiều phiên hơn hay không, và quá trình sao chép kéo dài thời gian phản hồi của yêu cầu tiếp tục phiên bao nhiêu. Cách đặt và sao chép dữ liệu phụ thuộc vào bộ máy suy luận và máy chủ. Đây là một phép thử khả thi cho cấu hình bộ nhớ máy chủ phân tầng. Trong thông báo, Netlist nêu rõ bộ nhớ đệm khóa–giá trị là trường hợp sử dụng của HM và PM.

Thông báo của Marvell mở thêm một hướng triển khai để bên mua theo dõi. Đối tác của hãng dự kiến giới thiệu các hệ thống dùng dòng bộ điều khiển Structera X với DDR4 và DDR5. Chương trình triển lãm và bộ tài liệu báo chí cung cấp bối cảnh về khu trưng bày và dòng sản phẩm. Bên mua vẫn cần xác nhận nhà cung cấp đã thẩm định cấu hình máy chủ nào, cấu hình đó nhận những loại bộ nhớ nào và họ hỗ trợ toàn bộ hệ thống ra sao. Ảnh chip trong bộ tài liệu là tư liệu tham khảo về dòng sản phẩm. Chương trình gian trưng bày SC26 của CXL Consortium · Thông báo SC26 của Marvell · Bộ tài liệu báo chí Marvell Structera

Đo các yêu cầu chậm trước

Số trung bình có thể che khuất những yêu cầu làm ứng dụng có vẻ chậm. Với một dịch vụ tìm kiếm, các tài liệu phổ biến có thể trả kết quả nhanh cả ngày trong khi những tài liệu ít dùng khiến cùng nhóm tiến trình phải liên tục truy cập tầng mở rộng. Nhiều yêu cầu rất chậm hơn có thể chấp nhận được khi lập chỉ mục theo lô vào ban đêm. Khách hàng đang chờ kết quả tìm kiếm có thể nhận ra ngay. Thiết kế bộ nhớ cần đáp ứng mục tiêu của dịch vụ thực tế ở tải cao điểm.

Nghiên cứu độc lập MELODY năm 2025 làm rõ vấn đề này. Nhóm nghiên cứu khảo sát 265 tải công việc với bốn thiết bị bộ nhớ CXL thật, năm nền tảng CPU và bảy mức độ trễ. Họ kiểm tra độ nhạy trong khoảng dưới một micro giây, từ 140 đến 410 nano giây, và nhận thấy loại tải, độ trễ của các truy cập chậm nhất và hành vi của CPU đều ảnh hưởng đến cách hệ thống sử dụng bộ nhớ CXL. Bài báo chỉ gọi các thiết bị mở rộng được kiểm tra là CXL-A đến CXL-D. Kết quả không dùng để ước tính hiệu năng các hệ thống được công bố tại SC26. Giá trị của nghiên cứu với bên mua là chỉ ra vì sao một số độ trễ trung bình hay một phép đo thuận lợi chưa đủ để dự đoán hiệu năng của một máy chủ cụ thể. Nghiên cứu MELODY tại ASPLOS 2025 · Toàn văn bài báo

Nếu nền tảng cho phép, hãy chuẩn bị ba cấu hình để so sánh. Trước hết, chạy lại dịch vụ hiện tại trên DRAM gắn trực tiếp đang dùng. Tiếp theo, thử tăng dung lượng với bộ nhớ máy chủ phân tầng. Cuối cùng, thử cấu hình có cùng tổng dung lượng nhưng toàn bộ bộ nhớ gắn trực tiếp để đối chiếu. Ví dụ minh họa về dung lượng là so sánh 256 GiB DRAM gắn trực tiếp cộng 256 GiB mở rộng khả dụng với 512 GiB DRAM gắn trực tiếp. Giữ ứng dụng, dữ liệu, thiết lập phần mềm và tải đưa vào ở mức tương đương. Ghi lại mọi khác biệt về nền tảng hoặc kênh bộ nhớ cục bộ do các cấu hình bắt buộc. Nếu phương án vận hành khác là đẩy dữ liệu xuống thiết bị lưu trữ hoặc chia tải sang máy chủ thứ hai, cũng hãy đo thời gian và tính chi phí cho phương án đó.

Bảng đánh giá so sánh DRAM gắn trực tiếp với DRAM gắn trực tiếp kết hợp CXL ở cùng tải ứng dụng, theo dõi độ trễ của yêu cầu chậm và chi phí dung lượng

So sánh cùng tải công việc và lưu lượng yêu cầu trên cả hai cấu hình. Kiểm tra những yêu cầu chậm nhất và tính chi phí cho mỗi đơn vị dung lượng sử dụng được.

  1. Phát lại lưu lượng đủ để lấp đầy bộ nhớ đệm. Dùng tập yêu cầu sát thực tế, gồm cả tài liệu hay đọc lại và tài liệu ít truy cập. Chạy thử từ lúc khởi động nguội và chạy lại sau khi bộ nhớ đệm đã có dữ liệu. Theo dõi trung vị, p95 và p99 của độ trễ yêu cầu, tỷ lệ lỗi và thông lượng với cùng mức đồng thời. Với ứng dụng tìm kiếm bằng AI, đo riêng thời gian truy xuất và suy luận để mức nhanh hơn ở bước này không che khuất mức chậm hơn ở bước kia.
  2. Xác minh dữ liệu thực tế đã chuyển đi đâu. Xem dung lượng được cấp theo tầng và nút NUMA của CPU, việc di chuyển và thu hồi trang khi có dữ liệu, cùng các bộ đếm của liên kết hoặc thiết bị mà nền tảng cung cấp. Một lượt thử có vẻ tốt có thể đã xử lý hầu hết yêu cầu bằng DRAM gắn trực tiếp. Một lượt có vẻ kém có thể đã mặc định đặt các trang chỉ mục hay đọc ở tầng xa. Ghi chính sách đặt trang bên cạnh từng bộ số đo.
  3. Thử tải trong tình huống cao điểm. Chạy thêm một tác vụ khi tải tương tác đang cao, làm ấm bộ nhớ đệm sau khi khởi động lại và theo dõi khi dịch vụ gần chạm giới hạn bộ nhớ. Xác nhận cách hệ điều hành báo lỗi bộ nhớ hoặc thiết bị, cách đội vận hành nhận biết máy chủ bị ảnh hưởng và cách dịch vụ trở về chính sách cấp phát trước đó. Bất kỳ cấu hình nào đội vận hành phải hỗ trợ đều cần thử cả bước khôi phục.
  4. Đặt tiêu chí đạt trước khi xem biểu đồ. Bắt đầu từ mục tiêu p99 và tỷ lệ lỗi hiện tại. Ghi mức dung lượng bổ sung phải dùng được trong khi vẫn đạt mục tiêu và tình huống nào có thể chấp nhận khôi phục chậm hơn. Nếu hệ thống chỉ đạt mục tiêu với tỷ lệ trúng bộ nhớ đệm cao, hãy kiểm tra bằng bản ghi từ những ngày đặc biệt bận để biết tỷ lệ đó có giữ được trong điều kiện thật hay không.

Tính toàn bộ chi phí tái sử dụng

Các DIMM có sẵn có thể làm khoản chi cho bộ nhớ trông hấp dẫn. Dự án vẫn cần thiết bị mở rộng, máy chủ được hỗ trợ hoặc bản nâng cấp, mô-đun được thẩm định và thời gian triển khai, hỗ trợ của nhân sự. Thiết bị còn cần khe cắm hoặc kết nối nền tảng phù hợp. Đối chiếu cách phân bổ làn PCIe dự kiến với nhu cầu của thiết bị lưu trữ, mạng và bộ tăng tốc. Nâng cấp bộ nhớ kém thuyết phục hơn nếu làm mất tài nguyên mà chính tải công việc đó đang dùng để chuyển dữ liệu.

Tính chi phí trên mỗi GiB khả dụng ở mức dịch vụ yêu cầu. Tính cả dung lượng do nền tảng giữ lại hoặc phải dành để giữ đủ trang ở tầng cục bộ, điện năng và làm mát, thẩm định trên cả đội máy, linh kiện dự phòng và hỗ trợ trong vòng đời dự kiến. Xác nhận ai cung cấp cập nhật phần sụn và hệ thống công bố tình trạng thiết bị, lỗi bộ nhớ ra sao. Nếu tầng mở rộng giúp máy chủ xử lý cùng lượng công việc vốn phải chuyển xuống thiết bị lưu trữ hoặc cần thêm một máy khác, hãy đo phần công việc tiết kiệm được và tính chi phí phát sinh ở cả hai phương án. Một phép thử đơn giản là chạy dịch vụ ở lưu lượng cao điểm trên cả hai kiến trúc rồi so chi phí để giữ thời gian phản hồi trong mục tiêu.

Sau SC26, hãy theo dõi những cấu hình đã được thẩm định, danh sách mô-đun được hỗ trợ, khả năng tương thích phần mềm và bản ghi tải công việc thực. Một hệ thống được phát hành có thể đem lại thêm cách mở rộng máy chủ hiện có cho các đội cần giữ một tập dữ liệu thứ cấp lớn. Trường hợp thuyết phục nhất là dịch vụ giữ được nhiều dữ liệu tài liệu hơn ở phía máy chủ, giảm đọc lặp lại từ lưu trữ và vẫn đạt giới hạn p99 cũ với chi phí thấp hơn. Đội vận hành chứng minh được kết quả đó sẽ có căn cứ dùng lại khi mua máy chủ tiếp theo.

Nguồn tham khảo


Để lưu ghi chú thử nghiệm, bản ghi tải công việc và quyết định mua sắm cùng một chỗ, hãy tạo tài khoản Telli.sh.


← Quay lai blog