AI Infrastructure阅读约 8 分钟

旧 DDR4 能让 AI 服务器腾出更多余量吗?

Netlist 和 Marvell 将在 SC26 展示基于 DDR4 的 CXL 设计。看看增加主机内存在哪些场景有用,以及采购前该测什么。

K
Ken Jo

一个内部搜索服务平时响应挺快,到了早高峰却慢下来。在把问答请求交给 GPU 之前,服务要从几千份文档中找出相关段落。经常访问的段落能留在内存中,反复查到的其他内容仍要回到存储读取。有些用户等得更久,加速器却还有余力。对维护这个服务的团队而言,给服务器加大缓存,可能比再加一块 GPU 更有用。

SC26 开幕前的两份预告,给这种缓存提供了另一种实现思路。11 月 10 日,CXL 联盟宣布,内存厂商 Netlist 计划展示名为 NVvault-D4 的概念验证方案。它通过 Compute Express Link(CXL)把现有 DDR4 用作扩展主机内存。11 月 13 日,芯片厂商 Marvell 宣布其合作伙伴将展出采用 Structera X 内存扩展控制器、搭配 DDR4 和 DDR5 的方案。两份公告介绍的是拟参展的硬件,价格、交付日期及演示结果仍待确认。SC26 于 11 月 15 日至 20 日在芝加哥举行,常规展览开放时间为当地 11 月 17 日至 19 日。 CXL 联盟的 Netlist 预告 · Marvell 的 SC26 公告 · SC26 官方日程

采购方需要确认,额外容量能否让足够多的有用数据留在内存中,同时让最慢的请求仍在可接受的时间内返回。手头有闲置 DDR4 的团队,如果内存条符合要求,系统也能把合适的数据放进去,复用就可能更划算。它到底值不值,得看哪些环节正在等待、又在等什么。

扩展出来的内存放在哪里?

CPU 通过内存控制器直接访问本地连接的 DRAM。如果服务器和 CXL 内存扩展设备兼容,CPU 也能经 CXL 链路访问扩展设备后面的内存。这样的扩展给主机侧增加了存放数据的地方,其访问路径、带宽和延迟都与本地 DRAM 通道不同。固件和操作系统必须能识别并提供这部分容量,应用或操作系统还要有适合工作负载的页面放置策略。

这对计划把库存 DDR4 用在新服务器上的团队尤其重要。服务器可以保留本地 DDR5,经受支持的扩展设备访问 DDR4。设备控制器、内存条的兼容性验证以及主机兼容性仍然重要。采用现有 DDR4 的概念验证让复用方案值得一查,也留下两个问题:受支持的配置究竟能接纳哪些内存条,哪些系统能稳定运行它们?

CPU 主机内存中的本地 DRAM 和 CXL 扩展示意图,GPU 内存单独呈现。

本地 DRAM 可存放频繁访问的页面,扩展层可容纳更大的 CPU 侧缓存。加速器的高带宽内存有自己的容量和带宽上限。

以上面的搜索服务为例,团队可以把频繁读取的索引留在本地 DDR5,把访问相对少、规模更大的文档段落缓存或搜索结果缓存放到 CXL 层。服务找到合适的段落后,推理后端会把它们传给在 GPU 上运行的模型。模型权重和加速器内核所需的数据,仍必须放在推理引擎预期可以访问的位置,并且放得下。这两份公告中的 CXL 扩展层增加的是主机内存容量。GPU 的高带宽内存通常称为 HBM,仍是一项独立资源。

先抓取一份请求耗时跟踪。如果 CPU 总在等已经被缓存淘汰的数据,增加主机内存可能让这部分工作无需再读存储。如果主要耗时在模型从 GPU 内存读取权重,主机很少停下来等数据,同样的采购可能对回答速度影响很小。模型本身速度不变时,检索提速仍可能有价值。先分别测量两段耗时,再归因整个服务的变化。

Netlist 的三款原型各有用途

关注 DDR4 复用,可以看 Netlist 的 NVvault-D4。联盟列出的目标包括虚拟机、内存数据库、高性能计算和企业工作负载。虚拟化主机就是一个具体例子:把最忙的来宾留在本地内存,再试试看活跃度较低的来宾内存页能否放进扩展层。数据库团队也可以对部分读缓存尝试同一思路。数据库需要分配策略,把延迟敏感查询用到的页面尽可能留在靠近 CPU 的位置。这些都是可尝试的容量扩展试点。预告未给出具体工作负载的结果。 CXL 联盟的 Netlist 预告

另外两款 Netlist 方案说明,为什么需要分清型号。NVvault-HM 在以 NAND 为后端的容量前使用 DRAM 缓存,公告除了数据迁移与遥测,还提到 AI 键值缓存和分析等用例。NVvault-PM 是独立的 CXL Type 3 设计,预告称它配备 DRAM、NAND 备份和用于断电处理的内置电源。PM 的定位包括保留键值缓存、保存检查点和恢复。评估备份或持久化功能的团队,需要了解具体方案在自身故障条件下如何表现。D4 公告没有依据表明 D4 也具备另外两款的存储或恢复行为。 CXL 联盟的 Netlist 预告

语言模型的键值缓存也可以单独设计一项 AI 实验。缓存保存先前 token 的注意力数据,便于模型复用。支持向主机卸载的推理引擎,可能会把闲置会话的缓存页移出 GPU 内存,等会话再次活跃时加载回来。团队可以测试增加主机容量后能否保留更多会话,以及数据传输会给恢复后的请求增加多少延迟。数据放置和复制行为取决于引擎和服务器。这是主机分层内存的一种可行实验。在 Netlist 此次预告中,明确面向 KV 缓存的是 HM 和 PM。

Marvell 的公告为买家提供了另一条可关注的实现路线。其合作伙伴计划展示基于 Structera X 控制器系列、采用 DDR4 和 DDR5 的系统。展会安排和媒体资料可帮助了解展示和产品系列。买家仍需确认供应商认证了哪些服务器配置、它们可用哪些内存,以及供应商如何支持整套系统。资料中的芯片图片是产品系列参考素材。 CXL 联盟 SC26 展区安排 · Marvell 的 SC26 公告 · Marvell Structera 媒体资料

先看最慢的请求

平均值容易掩盖那些让人觉得应用卡顿的请求。对搜索服务来说,热门文档可能一整天都能快速命中,较冷门的文档却可能让同一批工作进程反复访问扩展内存层。对夜间索引批处理而言,最慢的那部分请求进一步变慢可能可以接受,等待搜索结果的人却可能立刻察觉。内存设计要能在负载达到峰值时满足服务的实际指标。

2025 年发表的 MELODY 研究给出了具体证据。独立研究人员采用 4 台真实 CXL 内存设备、5 种 CPU 平台和 7 个延迟级别研究了 265 种工作负载。他们在 140–410 纳秒的亚微秒区间内考察了延迟敏感性,发现工作负载、尾部延迟和 CPU 行为都会影响系统使用 CXL 内存的表现。论文把受测扩展器编号为 CXL-A 至 CXL-D。研究结果并未提供对 SC26 公告所涉系统的性能估计。它对买家的启示是,靠一个平均延迟数字或一项有利的基准成绩,无法判断具体服务器的实际表现。 ASPLOS 2025 的 MELODY 研究 · 论文全文

平台允许的话,安排三组对照。首先在现有本地 DRAM 上复现当前服务。然后用主机分层内存测试增加容量后的表现。最后,配置相同总容量的全本地内存,让分层结果有一个有意义的对照。仅举一个容量配置的例子:对比 256 GiB 本地 DRAM 加 256 GiB 可用扩展内存,与 512 GiB 本地 DRAM。保持应用、数据集、软件设置和施加的负载可比,同时记录各配置导致的平台或本地内存通道差异。如果实际替代方案是把超出内存的部分溢写到存储,或再开一台主机做分片,也要测耗时、算成本。

试点评分表在相同应用负载下比较本地 DRAM 与本地 DRAM 加 CXL,跟踪尾部延迟和容量成本。

在两套配置中使用相同的工作负载与流量。查看最慢的请求,计算每单位可用容量的成本。

  1. 回放足以填满缓存的流量。 用接近实际的请求组合,包含反复访问和很少访问的文档。从冷启动开始跑一次,再在缓存预热后跑一次。在同样的并发下观察请求延迟的中位数、p95、p99,以及错误率和吞吐量。对 AI 搜索应用,应分别跟踪检索和推理耗时,避免一边变快掩盖另一边变慢。
  2. 确认哪些数据实际迁移了。 查看各内存层和各 CPU NUMA 节点上的分配情况,条件允许时也看页面迁移与回收,以及平台提供的链路或设备计数器。表现看似不错的一次测试,可能几乎所有请求都留在本地 DRAM。看似糟糕的一次,也可能只是默认把常读索引页放在远端内存层。每组测量都要记录当时的放置策略。
  3. 模拟一个忙碌的下午。 在交互负载繁忙时同时跑第二个作业,模拟重启后的缓存预热,并观察服务接近内存上限时的行为。确认操作系统如何报告设备或内存错误、值班人员如何定位受影响的主机、服务如何恢复之前的分配策略。只要某套配置需要团队长期支持,就在试点中验证恢复流程。
  4. 看图之前先定通过标准。 以团队当前的 p99 和错误率目标为起点,写下在这些目标下至少要增加多少可用容量,以及哪些情况能容忍恢复较慢。如果系统只有在缓存命中率较高时才达标,就用特别忙的日子的流量跟踪来验证生产峰值下能否保持这种命中率。

把复用的全部成本算进去

使用现有 DIMM,方案的内存采购项可能很好看。实际采购还包括扩展设备、兼容的主机或升级、通过验证的内存条,以及部署与维护所需的人力。设备也需要合适的插槽或平台连接。对照存储、网络和加速器,核对计划中的 PCIe 通道分配。如果内存升级占用了同一工作负载用于搬运数据的资源,这笔投入就可能得不偿失。

按要求的服务水平计算每 GiB 可用容量的成本。计入平台预留的容量、为确保足够多页面留在本地而需要让出的容量,以及整个使用周期的供电、散热、批量设备验证、备件和支持成本。确认谁提供固件更新,系统如何报告健康状态与内存错误。如果扩展层能让单台主机承担原本要溢写到存储或再加一台机器才能完成的工作,就量化省下的这部分工作,并对比两种方案各自的开销。做个简单实验就能把对比落到实处:让两种架构都以峰值请求速率运行,比较各自把响应时间控制在目标内的成本。

SC26 结束后,可以关注通过认证的配置、正式文档中的内存条支持范围、软件兼容性和真实工作负载跟踪数据。产品正式推出后,拥有较大次级工作集的团队,可能多一种扩展现有服务器的办法。最有说服力的例子,是一个服务能在主机内存中保留更多文档数据,减少反复访问存储,并以更低成本满足现有 p99 上限。能拿出这种结果,团队就有了一套可在下一台服务器上复用的采购理由。

资料来源


想把试点记录、工作负载跟踪和采购决策整理到一起,可以注册 Telli.sh 账号。


← 返回博客