AI hardwareDoc trong 16 phut

Vì sao PFN muốn xếp chồng bộ nhớ trên chip AI thế hệ tiếp theo?

Dự án MN-Core L2000 của PFN và SEMIFIVE hướng tới nút thắt bộ nhớ trong suy luận AI. Lộ trình phát triển này có ý nghĩa gì với tác nhân AI, AI riêng tư và các quyết định mua phần cứng trong tương lai?

K
Ken Jo

Một trợ lý AI có thể có đủ bộ nhớ để nạp mô hình nhưng vẫn phản hồi chậm. Các đơn vị tính toán đã sẵn sàng, song để thực hiện công việc hữu ích, dữ liệu phù hợp phải được chuyển đến đúng lúc. Với doanh nghiệp vận hành nhiều trợ lý nội bộ, khác biệt này có thể biến thông số chip ấn tượng thành khoảng chờ khó chịu giữa các từ được tạo ra.

Preferred Networks và SEMIFIVE đang đặt cược vào một hướng phát triển để giải quyết vấn đề đó. Thông báo ngày 16 tháng 11 năm 2026 của hai công ty giới thiệu dòng MN-Core L2000, bộ xử lý tập trung vào suy luận với logic và DRAM được xếp chồng theo chiều dọc. Mục tiêu được công bố là băng thông bộ nhớ cao hơn hai lần so với dòng L1000 tiền nhiệm. PFN đăng thông báo lên website vào ngày 17 tháng 11. Thông báo của PFN

Điều đáng quan tâm là thiết kế này có thể thay đổi điều gì đối với những người sau này vận hành dịch vụ AI. Việc chuyển dữ liệu nhanh hơn có thể quan trọng ngang với việc bổ sung năng lực tính toán, còn đóng gói chip, hỗ trợ phần mềm và máy chủ hoàn chỉnh quyết định lợi ích có đến được màn hình người dùng hay không. Thông báo L2000 mang đến một cách hữu ích để suy nghĩ về những lựa chọn đó trước khi đến thời điểm mua sắm.

Công ty đứng sau PLaMo cũng thiết kế bộ máy vận hành bên dưới

Preferred Networks là công ty AI tại Tokyo, hoạt động trong các lĩnh vực bộ xử lý, hạ tầng điện toán và họ mô hình PLaMo. Trong dự án này, PFN phụ trách kiến trúc bộ xử lý và thiết kế logic; SEMIFIVE cung cấp dịch vụ triển khai thiết kế và chuỗi cung ứng, sử dụng nền tảng của Samsung Foundry cùng hạ tầng thiết kế 3D-IC. Vai trò của các bên trong dự án PFN

Sự phân công đó quan trọng vì một bộ tăng tốc hữu ích không chỉ là tập lệnh hay bản vẽ chip. Thiết kế logic phải trở thành silicon có thể sản xuất, bộ nhớ phải kết nối được với nó, và các linh kiện sau đóng gói phải hoạt động ổn định. Cuối cùng, khách hàng cần một cấu hình máy chủ có thể tái tạo và một lộ trình phần mềm biến mô hình thành ứng dụng. Mỗi khâu bàn giao đều có thể ảnh hưởng đến chi phí và tiến độ giao sản phẩm hoàn chỉnh.

Mối liên hệ với PLaMo giúp độc giả có một điểm khởi đầu quen thuộc, nhưng không có nghĩa mọi hệ thống PLaMo sẽ chuyển sang phần cứng này. Nhà phát triển mô hình và người mua hạ tầng cũng đặt ra những câu hỏi khác nhau. Nhà phát triển quan tâm liệu khối lượng công việc có thể được biểu đạt một cách hiệu quả hay không; người mua quan tâm liệu cách triển khai được hỗ trợ có đáp ứng mục tiêu dịch vụ trong suốt vòng đời hệ thống hay không.

Với độc giả Hàn Quốc, sự tham gia của SEMIFIVE là ví dụ cụ thể về chuyên môn thiết kế bán dẫn trong nước góp mặt vào hạ tầng suy luận. Câu hỏi hữu ích tiếp theo là chuyên môn đó sẽ chuyển thành linh kiện sản xuất hàng loạt và hệ thống được hỗ trợ như thế nào. Thông báo hợp tác xác định các bên và hướng đi; những sản phẩm về sau sẽ quyết định các lựa chọn thực tế dành cho khách hàng.

Dung lượng và băng thông bộ nhớ trả lời hai câu hỏi khác nhau

Dung lượng cho biết hệ thống bộ nhớ có thể chứa bao nhiêu dữ liệu. Băng thông cho biết nó có thể chuyển bao nhiêu dữ liệu trong một khoảng thời gian. Một mô hình có thể nằm trong giới hạn thứ nhất, trong khi giới hạn thứ hai kìm hãm tốc độ xử lý. Chỉ tăng dung lượng không bảo đảm ứng dụng phản hồi nhanh hơn.

Một phép tính đơn giản phục vụ lập kế hoạch giúp làm rõ khác biệt đầu tiên. Một mô hình đặc giả định có 30 tỷ tham số, lưu ở mức hai byte mỗi tham số, sẽ cần khoảng 60 tỷ byte chỉ cho phần tham số. Phép tính này chưa bao gồm vùng làm việc khi chạy, dữ liệu attention được lưu đệm và các khoản phát sinh khác. Đây là minh họa cho việc tính ngân sách lưu trữ, không phải thông tin về dung lượng hay những mô hình mà L2000 hỗ trợ.

Câu hỏi tiếp theo là khối lượng công việc sử dụng dữ liệu đã lưu như thế nào. Xử lý đầu vào và lần lượt tạo các token đầu ra đặt ra những yêu cầu khác nhau đối với hệ thống. Bài giải thích về tối ưu suy luận của NVIDIA phân biệt công việc song song khi xử lý đầu vào với quá trình giải mã tự hồi quy, nơi việc chuyển dữ liệu bộ nhớ có thể trở thành điểm nghẽn. Bài viết cũng giải thích vì sao xử lý theo lô và quản lý bộ đệm attention làm thay đổi sự cân bằng đó. Hướng dẫn tối ưu suy luận của NVIDIA, ngày 17 tháng 11 năm 2023

Hãy hình dung bộ nhớ như kho thực phẩm nối với nhà bếp. Kho lớn hơn giúp giữ nhiều nguyên liệu tại chỗ; lối đi rộng hơn giúp nhà bếp nhận nguyên liệu nhanh hơn. Cả hai đều chưa cho biết một bữa ăn cụ thể sẽ mất bao lâu, vì khâu chuẩn bị và phần còn lại của quy trình vẫn có vai trò. So sánh phần cứng trở nên hữu ích hơn khi các nhiệm vụ riêng biệt này được thể hiện rõ.

Dung lượng bộ nhớ, việc chuyển dữ liệu và khả năng phản hồi của ứng dụng là các phần riêng biệt trong hệ thống suy luận

Sơ đồ giải thích tự thiết kế, tách biệt lưu trữ, chuyển dữ liệu và khả năng phản hồi của ứng dụng. Sơ đồ minh họa vấn đề cần quyết định, không mô tả cách bố trí đóng gói L2000 chưa được công bố.

Xếp chồng thay đổi cả bài toán kỹ thuật lẫn đường truyền dữ liệu

Thông báo chính thức của PFN có sơ đồ logic và DRAM xếp chồng theo chiều dọc của dòng MN-Core L. Đây là góc nhìn hữu ích về hướng thiết kế được đề xuất. Sơ đồ chưa thể hiện toàn bộ máy chủ mà khách hàng sẽ lắp đặt, cũng chưa xác lập hiệu năng của một ứng dụng hoàn chỉnh.

Khi đưa các linh kiện vào một khối xếp chồng, thiết kế phải hoạt động như một hệ thống vật lý. Cấp điện, tản nhiệt và tính nhất quán trong sản xuất cần được xem xét cùng với việc chuyển dữ liệu. Đây không phải những chi tiết có thể để đến khi kiến trúc đã trông hấp dẫn trên trang trình chiếu mới giải quyết. Chúng ảnh hưởng đến khả năng sản xuất, đóng gói, làm mát và hỗ trợ linh kiện với chi phí phù hợp.

Với đơn vị vận hành, thiết kế đóng gói vì vậy là điểm bắt đầu tìm hiểu chứ chưa phải điểm kết thúc. Tủ máy có giới hạn điện năng, cơ sở hạ tầng có thiết kế làm mát, và dịch vụ có yêu cầu về thời gian hoạt động. Bộ tăng tốc được đề xuất cuối cùng phải phù hợp với cả ba. Lợi ích kinh tế phụ thuộc vào toàn bộ hệ thống lắp đặt, bao gồm thiết bị và nhân lực cần thiết để duy trì hoạt động.

Đó cũng là lý do mọi câu chuyện về hiệu quả cần đi kèm điều kiện đo. Kết quả thuận lợi với một mô hình, độ chính xác số và mức đồng thời nhất định không thể đại diện cho mọi khối lượng công việc. Khách hàng cần biết hệ thống hoạt động tốt ở đâu, khi nào hết dư địa và toàn bộ dịch vụ tiêu thụ bao nhiêu năng lượng để tạo ra câu trả lời hữu ích.

Ba khối lượng công việc sẽ đặt ra ba câu hỏi khác nhau

Hãy xét một trợ lý tài liệu nội bộ dành cho nhóm pháp lý hoặc kỹ thuật. Dịch vụ minh họa này nhận yêu cầu không đều, còn người dùng chú ý đến khoảng chờ trước khi câu trả lời bắt đầu. Đánh giá cần bao gồm tài liệu đại diện, thời gian truy xuất và phản hồi đầu tiên của mô hình. Bộ tăng tốc có thể cải thiện một phần đường đi đó, trong khi tìm kiếm tài liệu hoặc kiểm tra quyền truy cập vẫn chiếm phần chờ lớn hơn.

Ví dụ thứ hai là tác nhân nội bộ gọi mô hình nhiều lần để hoàn thành một nhiệm vụ. Trong trường hợp này, một lượt sinh chậm có thể ảnh hưởng đến nhiều bước phụ thuộc phía sau. Kết quả hữu ích là thời gian hoàn thành một nhiệm vụ được cấp quyền đúng, bao gồm kết quả từ công cụ và mọi bước phê duyệt của con người. Tăng tốc độ token của mô hình chỉ giúp phần quy trình thực sự phải chờ quá trình sinh.

Ví dụ thứ ba là hàng đợi xử lý qua đêm để phân loại hoặc tóm tắt một tập hồ sơ lớn. Quy trình này có thể chấp nhận xử lý theo lô nhiều hơn và ưu tiên tổng lượng công việc hoàn thành trước hạn. Nó có thể phù hợp với cấu hình khác trợ lý tương tác, ngay cả khi cả hai dùng cùng mô hình. Khi thẩm định mua sắm, cần giữ rõ khác biệt đó thay vì chọn bất cứ bản trình diễn nào tạo ra con số nổi bật nhất.

Những tình huống này là kế hoạch đánh giá, không phải thử nghiệm L2000. Chúng cho thấy vì sao kiến trúc tập trung vào bộ nhớ đáng được theo dõi mà không cần giả định một kết quả hiệu năng duy nhất. Thử nghiệm thí điểm tốt nhất bắt đầu từ khối lượng công việc nhóm đã hiểu và kết quả có thể so sánh với hệ thống hiện tại.

Quyết địnhNhóm cần chuẩn bị gìKết quả cần cho thấy điều gì
Trợ lý tài liệu nội bộCâu hỏi, tài liệu và quy tắc truy cập đại diệnCâu trả lời hữu ích xuất hiện trong giới hạn phản hồi đã thống nhất
Tác nhân nội bộ nhiều bướcNhiệm vụ hoàn chỉnh, lượt gọi công cụ và điểm phê duyệtThời gian hoàn thành toàn trình được cải thiện mà vẫn bảo đảm tính đúng đắn
Hàng đợi xử lý qua đêmTập hồ sơ cố định và hạn hoàn thànhCông việc cần thiết hoàn tất ổn định trong ngân sách vận hành

Mục tiêu băng thông chỉ là một đầu vào khi ước tính dịch vụ

Theo chúng tôi, phép so sánh hữu ích nhất bắt đầu từ công việc cần mua năng lực để thực hiện. Một nhóm không mua riêng băng thông; họ mua khả năng hoàn thành nhiệm vụ trong các giới hạn nhất định. Điều đó đòi hỏi chuỗi bằng chứng từ mô hình và môi trường chạy đến máy chủ và ứng dụng.

Hãy bắt đầu bằng hỗ trợ mô hình. Kiến trúc cụ thể, độ chính xác số và các toán tử cần thiết phải hoạt động trong bộ phần mềm được hỗ trợ. Một trình biên dịch hay môi trường chạy thực hiện được bản trình diễn vẫn có thể để lại công việc tích hợp cho dịch vụ sản xuất. Cần hỏi phiên bản nào được hỗ trợ, toán tử nào cần chuyển đổi, và ai duy trì lộ trình đó khi mô hình thay đổi.

Tiếp theo, tách biệt các thước đo phản hồi. Thời gian đến câu trả lời hữu ích đầu tiên, tốc độ trong lúc sinh và tổng số yêu cầu hoàn tất mô tả những trải nghiệm khác nhau. Ghi nhận chúng với cùng kích thước đầu vào và mức đồng thời, tính cả phản hồi lỗi hoặc chưa hoàn tất. Một lần chạy nhanh hơn nhưng thay đổi chất lượng đầu ra hoặc âm thầm bỏ yêu cầu là kết quả khác với việc cải thiện dịch vụ.

Cuối cùng, hãy đặt ứng dụng trở lại xung quanh mô hình. Truy xuất, kiểm duyệt, truy cập công cụ, hàng đợi và lưu lượng mạng đều tiêu tốn thời gian. Thử nghiệm phần cứng cần cho thấy bao nhiêu phần của nhiệm vụ hoàn chỉnh đang chờ suy luận. Nhờ đó, nhóm có thể ước tính hợp lý lợi ích thực sự mong đợi từ đường suy luận nhanh hơn.

Cột mốc tiếp theo có thể quan sát là bàn giao thiết kế

Mục tiêu tape-out được công bố là quý I năm 2027: thời điểm dữ liệu thiết kế cuối cùng được bàn giao để sản xuất. Đây là cột mốc phát triển, không phải ngày giao máy chủ hoàn chỉnh. Lộ trình phát triển của PFN

Sản xuất, đóng gói, đưa chip vào hoạt động ban đầu và xác nhận vẫn phải nối thiết kế với sản phẩm sử dụng được. Thẩm định phần mềm và tích hợp hệ thống sau đó quyết định khách hàng có thể triển khai những gì. Tiến triển qua các giai đoạn này có thể tạo ra tin tức quan trọng từ lâu trước khi mở bán rộng rãi, nhưng mỗi giai đoạn trả lời một câu hỏi khác nhau.

Nguyên tắc đó cũng áp dụng cho mốc so sánh. Bản thân L1000 được lên lịch phát hành vào năm 2027, nên thông báo đang so sánh các thế hệ phát triển, không phải hai hệ thống có thể mua ngay hôm nay. Thông báo chưa công bố giá bán lẻ L2000, lịch giao tại Hàn Quốc hay kết quả đo của hệ thống hoàn chỉnh. Kế hoạch mua sắm cần dựa trên cấu hình được nhà cung cấp hỗ trợ và điều khoản giao hàng sẽ được công bố sau này.

Các cột mốc phát triển tách biệt thông báo kiến trúc với triển khai tại khách hàng

Sơ đồ giai đoạn phát triển tự thiết kế. Mục tiêu tape-out đã công bố được đánh dấu riêng với sản xuất, thẩm định và giao hàng cho khách hàng; thời điểm của các giai đoạn sau vẫn chưa được xác định.

Hồ sơ đánh giá thực tế nên có những gì?

Trong lúc theo dõi lộ trình, nhóm vẫn có thể làm những việc hữu ích. Cần tạo một đường cơ sở gọn, còn giá trị dù lựa chọn mua sau cùng là hệ thống MN-Core, máy chủ GPU hay dịch vụ thuê ngoài. Mục đích là giúp việc so sánh phần cứng tương lai ít tốn kém và có ý nghĩa hơn.

  1. Chọn công việc hoàn chỉnh. Xác định một nhiệm vụ tương tác và, nếu phù hợp, một tác vụ theo lô. Ghi rõ thế nào là hoàn thành đúng và giới hạn phản hồi hoặc hạn hoàn thành.
  2. Cố định tài liệu thử nghiệm và phiên bản phần mềm. Lưu cùng nhau prompt, tài liệu đầu vào, bản mô hình, độ chính xác số và thiết lập môi trường chạy. Dùng dữ liệu mà nhóm được phép xử lý.
  3. Đo quy trình hiện tại. Ghi nhận thời gian phản hồi của mô hình, thời gian toàn nhiệm vụ, lỗi và mức sử dụng tài nguyên dưới tải dự kiến. Chú thích khi dịch vụ đang chờ truy xuất hoặc công cụ thay vì chờ sinh nội dung.
  4. Yêu cầu cấu hình được hỗ trợ tương ứng. Thử nghiệm của nhà cung cấp trong tương lai cần nêu rõ bộ tăng tốc, cấu hình bộ nhớ, máy chủ chủ quản, môi trường chạy và hỗ trợ mô hình. Thể hiện rõ mọi thay đổi về chất lượng hoặc độ chính xác số.
  5. So sánh quyết định vận hành. Tính cả mua sắm, tích hợp phần mềm, điện, làm mát, hỗ trợ và công việc khôi phục. Đánh giá liệu cải tiến có giải quyết nhiệm vụ ban đầu với chi phí chấp nhận được hay không.

Hồ sơ này hữu ích hơn một tập ảnh chụp thông lượng không liên quan với nhau. Nó giúp nhóm tránh thay đổi khối lượng công việc mỗi khi một hệ thống mới xuất hiện. Nó cũng giúp nhận ra lợi ích thực sự: cùng một công việc được hoàn thành tốt, với ít độ trễ hơn hoặc gánh nặng vận hành thấp hơn.

Với nhóm nhỏ, quyết định trước mắt có thể là tiếp tục dùng phần cứng hiện có và cải thiện ứng dụng. Nếu truy xuất chiếm phần lớn thời gian phản hồi, chỉ tăng tốc suy luận sẽ có tác dụng hạn chế. Nếu dịch vụ thường xuyên phải chờ sinh nội dung dưới mức tải yêu cầu, bộ tăng tốc mới trở thành ứng viên thử nghiệm phù hợp hơn. Cả hai phát hiện đều giúp hướng chi tiêu vào nút thắt ảnh hưởng đến người dùng.

Câu chuyện phần cứng đang tiến gần hơn đến bộ nhớ

Dự án hợp tác L2000 đáng theo dõi vì kết nối vấn đề suy luận với thiết kế vật lý và công việc sản xuất cần thiết để giải quyết nó. Bằng chứng hữu ích tiếp theo sẽ là tiến triển qua sản xuất và thẩm định phần mềm, rồi đến phép đo trên các hệ thống được hỗ trợ. Những kết quả đó sẽ cho thấy khối lượng công việc nào được hưởng lợi và đơn vị vận hành phải đầu tư những gì để đạt được lợi ích ấy.

Hiện tại, bài học thực tế đã rõ. Khi so sánh phần cứng AI, hãy tách biệt dung lượng dành cho mô hình, việc chuyển dữ liệu và kết quả của ứng dụng. Mô hình vừa bộ nhớ là điểm khởi đầu của cuộc trao đổi; dịch vụ đáng tin cậy mới là kết quả người mua cần.

Nguồn


Lưu cùng nhau khối lượng công việc, thiết lập mô hình và câu trả lời của nhà cung cấp để lần đánh giá tiếp theo bắt đầu từ một đường cơ sở có thể so sánh. Tạo ghi chú đầu tiên với Telli.sh.


← Quay lai blog