PFN为什么要把内存堆到下一代AI芯片上?
PFN与SEMIFIVE合作开发MN-Core L2000,瞄准AI推理的内存瓶颈。它的开发路线对智能体、私有AI以及未来的硬件采购意味着什么?
AI助手即使有足够的内存装下模型,也可能每次回答都显得迟缓。运算单元已经就绪,但真正开展计算,还要靠正确的数据在正确的时间送达。对于同时运行多个私有助手的企业,这种差别可能让漂亮的芯片规格变成输出文字时令人难受的等待。
Preferred Networks与SEMIFIVE正围绕这一问题投入研发。双方于2026年11月16日宣布的MN-Core L2000系列,是一种面向推理、将逻辑与DRAM垂直堆叠的处理器。其公开目标是让内存带宽超过前代L1000系列的两倍。PFN于11月17日在官网刊登了这份公告。PFN公告
值得关注的是,这种设计将来能为AI服务的运营者带来什么变化。更快的数据搬运可能和增加算力一样重要,而封装、软件支持及最终服务器决定了这些收益能否传递到用户屏幕上。L2000的公告提供了一个机会,让团队在真正采购之前,先理清这些决策。
PLaMo背后的公司也在设计支撑它的计算硬件
Preferred Networks是一家总部位于东京的AI公司,业务涉及处理器、计算基础设施以及PLaMo模型系列。在此次合作中,PFN负责处理器架构和逻辑设计;SEMIFIVE基于Samsung Foundry的平台与3D-IC设计基础设施,提供实现和供应链服务。PFN公司背景与研发分工
这种分工很重要,因为有用的加速器不只是指令集或一张芯片图。逻辑设计必须成为可制造的硅片,内存必须与其连接,封装后的器件还要稳定工作。客户最终需要可重复交付的服务器配置,以及把模型变成应用的软件路径。每次交接都可能影响成品的成本和交付计划。
与PLaMo的联系为读者提供了熟悉的切入点,却不意味着所有PLaMo部署都会迁移到这套硬件上。模型开发者和基础设施采购者关心的问题也不相同。开发者关注工作负载能否高效表达;采购者关注受支持的实现能否在设备使用周期内持续满足服务目标。
对于韩国读者而言,SEMIFIVE的参与是本土半导体设计能力进入推理基础设施的具体例子。接下来值得追问的是,这些能力如何转化为量产器件和有支持保障的系统。合作公告说明了参与者和方向,后续产品才决定客户实际能选择什么。
内存容量与内存带宽回答的是不同问题
容量说明内存系统可以存下多少数据。带宽说明它在一定时间内能够搬运多少数据。模型可以满足第一项限制,但处理器处理它的速度仍可能受第二项限制。单纯增加容量,并不保证应用响应更快。
一个简单的规划计算就能说明第一层区别。假设一个稠密模型有300亿个参数,每个参数占两个字节,仅参数本身就需要约600亿字节。这还没有计入运行时工作区、注意力缓存及其他开销。这个例子用于说明存储预算,并不是在描述L2000的容量或受支持模型。
下一步要看工作负载如何使用已存储的数据。处理输入提示词和连续生成输出token,对系统的要求并不一样。NVIDIA的推理优化指南区分了提示词处理阶段的并行工作与自回归解码阶段,后者可能受数据搬运限制。指南也解释了批处理和注意力缓存管理为何会改变这种平衡。NVIDIA推理优化指南,2023年11月17日
可以把内存想成通过通道连接厨房的储藏室。更大的储藏室能在现场保留更多食材,更宽的通道能让厨房更快收到食材。但两者都不能单独说明一道菜要多久,因为备餐和其他流程仍然重要。比较硬件时,保留这些不同环节的边界,结果才更有用。
原创说明图,区分存储、数据搬运与应用响应。它用于解释决策问题,并不描绘尚未公开的L2000封装布局。
堆叠改变的不只是数据路径,还有工程难题
PFN的官方公告提供了一张MN-Core L系列逻辑与DRAM垂直堆叠的示意图。它有助于理解所提出的技术方向。但它并未展示客户最终安装的完整服务器,也不能证明成品应用的性能。
把组件堆叠起来,意味着设计必须作为一个物理系统成立。供电、散热和制造一致性,都需要与数据搬运一起讨论。这些并不是架构在演示文稿上显得吸引人之后再补做的事情。它们会影响器件能否以合理成本完成制造、封装、冷却并获得维护支持。
因此,对运营者来说,封装设计是评估的起点。机架有功率边界,场地有冷却方案,服务有可用性要求。所提议的加速器最终必须同时适配这三者。经济收益取决于整套部署,包括让系统持续运行所需的设备和人力。
这也是为什么效率叙事必须附带测量条件。某个模型、精度和并发级别下的有利结果,不能代表所有工作负载。客户需要知道系统在哪些地方表现良好、哪里会耗尽余量,以及整个服务为提供有用答案消耗了多少能源。
三种工作负载会提出三种不同的问题
先看法律或工程团队使用的私有文档助手。这个示例服务的请求到达并不规律,用户会注意到回答开始前的延迟。评估应包括有代表性的文档、检索耗时和模型首次响应。加速器可以改善其中一段路径,但文档搜索或访问权限检查仍可能是更大的延迟来源。
第二个例子是完成任务时反复调用模型的内部智能体。在这里,一次缓慢生成就可能拖累多个相互依赖的步骤。真正有用的结果,是完成一项获得正确授权的任务所需的总时间,包括工具返回以及必要的人工审批。提高模型token速率,只能帮助那些确实在等待生成的流程。
第三个例子是夜间处理队列,对大量记录进行分类或摘要。它能够接受更多批处理,也更重视截止时间前完成的总工作量。即使使用同一个模型,这类任务偏好的配置也可能与交互式助手不同。采购评审应保留这种区别,而不是直接选择演示数字最大的一套。
这些场景是评估计划,并不是L2000实测。它们说明,关注内存的架构值得跟进,却无需预设一种统一的性能结果。最好的试点应从团队已经熟悉的工作负载出发,并能与现有系统进行比较。
| 决策对象 | 团队应准备什么 | 结果需要说明什么 |
|---|---|---|
| 私有文档助手 | 典型问题、文档和访问规则 | 有用的答案能在约定的响应目标内到达 |
| 多步骤内部智能体 | 完整任务、工具调用和审批节点 | 在不损失正确性的前提下改善端到端完成情况 |
| 夜间处理队列 | 固定记录集和完成期限 | 所需工作能在运营预算内可靠完成 |
带宽目标只是估算服务能力的一项输入
我们的看法是,最有用的比较应从采购要完成的工作出发。团队不是孤立地购买带宽,而是在购买一种受约束条件下完成任务的能力。为此,需要从模型和运行时一直延伸到服务器及应用的证据链。
首先看模型支持。准确的架构、精度和所需算子,都必须在受支持的软件栈上正常工作。能够跑通演示的编译器或运行时,仍可能给生产服务留下集成工作。应询问支持哪些版本、哪些操作需要转换,以及模型变化后由谁维护这条路径。
然后分开衡量响应。首次得到有用答案的时间、生成过程中的速度,以及完成请求的总量,描述的是不同体验。使用相同输入规模和并发条件记录它们,并计入失败或未完成的响应。改变输出质量或悄悄丢弃请求得到的更快结果,与服务本身改善不是一回事。
最后,把应用重新放回模型周围。检索、内容审核、工具访问、排队和网络传输都会耗时。硬件试点应说明整项任务中有多少时间在等待推理。这样,团队才能合理估计更快的推理路径实际会带来多大收益。
下一个明确里程碑是设计交付,而不是服务器交货
公告中的流片目标是2027年第一季度,也就是把最终设计数据交给制造环节的时间点。这是研发里程碑,不是成品服务器的交付日期。PFN开发路线
制造、封装、上电调试和验证,还需要把设计连接到可用产品。随后,软件适配验证和系统集成才会决定客户可以部署什么。推进这些阶段,可能在全面销售之前就带来重要消息,但每个阶段回答的问题不同。
比较基线也应遵循同样的原则。L1000本身也计划于2027年推出,因此公告比较的是研发代际,而不是两套今天就能买到的系统。公告没有给出L2000零售价格、韩国交付时间或成品系统基准测试。采购时间表应基于供应商最终提供支持的配置与交付条款。
原创研发阶段指南,将已宣布的流片目标与后续制造、适配验证和客户交付分开标注;后续阶段的日期仍未确定。
一份实用的评估档案应包含什么
在跟进路线图的同时,团队已经可以开展有价值的工作。应建立一份简洁的基线,无论最终购买的是MN-Core系统、GPU服务器还是托管服务,它都能继续发挥作用。目标是让未来硬件比较更省成本,也更有意义。
- 选择完整任务。 定义一项交互式任务;如有需要,再定义一项批处理任务。记录何为正确完成,以及响应或完成期限。
- 固定测试材料与软件版本。 将提示词、输入文档、模型版本、精度和运行时设置保存在一起。使用团队获准处理的材料。
- 测量现有路径。 在预期负载下记录模型响应时间、任务总时间、失败情况和资源用量。标明服务何时在等待检索或工具,而不是等待生成。
- 要求匹配且受支持的配置。 未来的供应商试用应明确加速器、内存配置、主机、运行时和模型支持情况。任何质量或精度变化都应清晰可见。
- 比较运营决策。 计入采购、软件集成、电力、冷却、支持和恢复工作。判断改善是否以可接受的成本解决了最初的任务。
这样的档案,比一堆互不相关的吞吐量截图更有用。它能避免团队每遇到新系统就更换测试工作负载。也更容易识别真正的提升:同样的工作,得到妥善完成,同时减少延迟或降低运营负担。
对于小团队,眼下的决定可能是继续使用现有硬件,同时改进应用。如果检索主导响应时间,仅靠更快推理的作用有限。如果服务在所需负载下持续等待生成,新加速器就更值得进入试用名单。两种发现都能把投入引向真正影响用户的瓶颈。
硬件发展的焦点正在向内存靠近
L2000合作值得关注,是因为它把推理问题与解决问题所需的物理设计和生产工作连接起来。接下来有用的证据,是制造和软件适配验证的进展,以及受支持系统上的测量结果。这些结果将说明哪些工作负载受益,以及运营者为获得收益需要投入什么。
目前,实用的启示已经很清楚。比较AI硬件时,应区分模型容量、数据搬运和应用结果。模型装得进内存,只是讨论的开始;采购者真正需要的,是可靠的服务。
来源
- Preferred Networks,PFN与SEMIFIVE合作开发MN-Core L2000系列,公告日期为2026年11月16日,官网刊登日期为2026年11月17日。包含官方结构图和开发时间表。
- Preferred Networks,日文公告,对应的公司新闻稿。
- Shashank Verma与Neal Vaidya,NVIDIA Technical Blog,Mastering LLM Techniques: Inference Optimization,2023年11月17日。用于解释推理阶段、批处理与内存使用背景,并非MN-Core硬件基准测试。
将工作负载、模型设置和供应商答复保存在一起,让下一次评估从可比较的基线开始。使用Telli.sh创建第一条笔记。