一台服务器接 30 张 GPU,能缩短实验室的 AI 排队时间吗?
LIQID UltraStack 可以让不同模型各用一张 AMD Instinct MI350P。看看厂商的 20 卡实测和 30 卡推算有何区别,再量量研究人员实际要等多久。
早上九点,一个研究组开始从昨天的扫描件中提取文字,另一个组提交了要翻译的笔记,第三个组想从仪器手册里快速找到答案。如果这些任务共用一个推理队列,一条简短的问题可能得排在一大批文档后面。等答案出来,提问的人可能已经自己去翻 PDF 了。
2026 年 11 月 12 日,基础设施厂商 LIQID 介绍了一种 UltraStack 配置,在一台双路 AMD EPYC 9005 主机上连接 4 到 30 张 AMD Instinct MI350P 加速卡。公开的部署方案在每张卡上运行一个模型实例。因此,OCR 任务可以继续运行,同时由其他 GPU 处理翻译或问答。LIQID 宣布将在芝加哥 SC26 展会上演示这套设备,展览定于 11 月 17 日至 19 日举行。LIQID 11 月 12 日的公告与官方系统图片 · SC26 日程
如果实验室有多种必须按时完成的任务,而每个模型都能装入一张卡,这种设计就有意义。从实际等待时间着手,先问分开用卡能消掉多少由其他任务造成的等待,再看瓶颈会移到哪里,以及改善是否值得额外的功耗和花费。大部分问题都能用远小于满配规模的试验来验证。
每张 GPU 都有自己独立的 144 GB 显存
按照 LIQID 公布的架构,AMD EPYC 主机通过 PCIe Gen 5 互连连接 MI350P 卡。显卡可以放在与主机相连的独立 GPU 机箱里。AMD 给出的单卡规格为 144 GB 专用 HBM3E,接口为 PCIe 5.0 x16。在一卡一模型的布局下,每个模型使用分配给它的显卡上的内存。每个实例可以处理多条请求,具体数量取决于服务软件的限制和显存预算。LIQID UltraStack 数据手册 · AMD MI350P 规格
按十进制单位计算,20 张卡合计有 2.88 TB HBM3E。这个数字便于估算系统能容纳多少个独立模型实例。对分配到第七张卡的任务而言,估算起点依然是 144 GB。如果模型必须把参数和运行状态分到多张 GPU 才能装下,就要选取一种分布式运行方案,单独做基准测试。LIQID 公布的扩展结果来自各卡上的独立实例。LIQID 的测试设置和显存数据
Telli.sh 根据 LIQID 的硬件说明和 AMD 的显卡规格制作的示意图。图中展示了各卡独立提供推理服务的示例,省略了机箱和主机外设。
模型参数量可以帮你缩小选择范围,但参数量相同的两个模型可能有不同的显存需求。先确定具体权重和精度,再给运行时以及模型在生成时保留已有词元所用的缓存留出空间。如果服务同时接受多条长请求,就用拟采用的模型和实际请求组合观察显存。在空闲卡上跑一个短提示只能确认服务可以启动。持续用允许的最长输入压测,才能确认服务能否继续接收工作。
任务到达节奏不一样时,独立队列能派上用场
设想一所大学的档案馆要同时数字化访谈录音和纸质档案。试运行时,可以用一张卡跑文档模型做 OCR,一张卡转写访谈,再用第三张卡翻译短文本。用一周的用量数据找到最忙的服务后,可以在第四张卡上加开一个实例。给每类服务设置独立队列,并限制同一时刻可以接纳的工作量。这样,积压的扫描页就较难因争用同一张加速卡而拖延一项短翻译。
假设档案馆收到一项先识别文字再翻译的请求。不同文档可以同时处于不同阶段。第一份文档进入翻译,第二份可以开始 OCR。单份文档的翻译仍然依赖这份文档的识别输出。因此,既要测量整条流水线完成了多少份文档,也要测其中一份文档从上传到拿到可用结果用了多久。每小时处理得更多,单个等待翻译的人还是可能要等一页很久。
另一种组合是工程实验室白天运行文档助手,晚上批处理旧仪器日志。白天有人提问时,助手需要在可预期的时间内开始回答。夜间任务有完成期限,不过通常可以容忍短暂停顿。先记录各类服务实际占用 GPU 的时间比例,再决定是否长期给每种服务固定一张卡。如果文档助手白天大部分时间空闲,只在开完组会后迎来突发请求,永久保留第二个实例,即使没有请求也有成本。已有的按时段调度或独立队列如果能应付这种高峰,就可以拿来做对照。
模型放在哪里,也会影响故障恢复。集中在一台主机上可以简化部分配置,但所有服务也都依赖这台主机。先写明检修后哪些任务可以晚点恢复、哪些要优先恢复、哪些需要第二处运行位置。对文档流水线,可以保留中间结果,让重启后跳过已经完成的提取。对交互任务,可以约定可接受的停机时间,或者提供备用端点。主机上的卡数反映的是正常运行时的推理能力,恢复时间要单独测试。
LIQID 在 20 张卡上测到每秒约 89,000 个输出词元
LIQID 的吞吐简报描述的是以 FP4 精度运行的 70 亿参数量级模型,报告并发数为 128。每张 GPU 各自运行一个实例。使用 20 张卡时,LIQID 报告合计每秒约输出 89,000 个词元。30 张卡每秒约 133,000 个输出词元的数字,是根据 20 卡实测的扩展趋势推算的。两组数字描述的都是实测或推算配置的总输出。研究人员发出单条请求时,实际感受到的则是这条请求自己的排队时间、输入处理时间和生成速度。LIQID 吞吐简报及测试方法
| LIQID 测试 | GPU 数量 | 每秒总输出词元 | 证据 |
|---|---|---|---|
| 70 亿参数量级,FP4 | 1 | 4,653 | LIQID 实测 |
| 70 亿参数量级,FP4 | 10 | 44,383 | LIQID 实测 |
| 70 亿参数量级,FP4 | 20 | 约 89,000 | LIQID 实测 |
| 70 亿参数量级,FP4 | 30 | 约 133,000 | LIQID 由 20 卡结果推算 |
| 720 亿参数量级,FP8,有交互延迟限制 | 8 | 1,256 | LIQID 另一次实测 |
独立进行的 720 亿参数量级 FP8 测试要求首词元时间在第 99 百分位不超过 2 秒,并且每位用户每秒至少得到 30 个输出词元。LIQID 报告了该实验中使用 2、4、8 张卡时的实测数据。模型大小、精度和服务条件均有别于 70 亿参数量级的吞吐测试。可将交互结果用作同类测试的参考,再按自己的提示词和预期并发量设定延迟目标。LIQID 基准方法和交互测试结果
从 70 亿参数量级模型的数据来看,新增同样的实例后,值得复跑同一基准来验证变化。不过,对规划混合负载的团队,还有一个问题。请求如果要读取大量小文件、从存储组建上下文,或者等待 CPU 准备图像,会怎样?保持模型和 GPU 数量一致,用同样的请求轨迹测两次,一次分别测试每类服务,另一次混合运行。如果混跑让排队时间增加,而 GPU 利用率仍然很低,加卡之前可以先检查主机 CPU、文件系统活动和请求路由。
按延迟上限衡量真正完成的工作
先设计一项你现在的部署就能完成的测试。例如,准备 200 份获准用于测试的代表性文档,记下语言和扫描页数,并在跑批处理时,按脱敏日志里交互请求的到达时间回放请求。两套系统使用相同的输入组合。如果硬件或软件变更迫使你改用不同精度,就在同一批样本上重新检查结果质量。只统计已经完成、又通过团队日常检查的结果。
- 定义怎样算达标。 给助手设定首次响应和端到端时间的目标。例如,对交互样本,要求第 95 百分位的首词元时间不超过 2 秒。对批量提取,设定每日完成期限,以及最低合格页数。这些是本方案的示例目标。LIQID 在单独的 720 亿参数量级实验中采用的是第 99 百分位首词元限制。
- 记录每条请求的时间花在哪里。 记录到达、开始由工作进程处理、产生第一条输出以及完成的时刻。标注任务类型并记录重试。借助这些时间戳,可以把排队等待和实际处理时间分别比较。推理只花一点时间时,单看端到端总时长不容易看出队列有多长。
- 每次改一处,回放同样的流量。 保持模型实例和用卡不变,对照共享队列和独立队列。如果要改显卡分配,把它当作单独实验。固定提示词和输出限制、输入顺序及质检规则,按相同方式预热后开测。除了常规流量,也要测最繁忙的时段。某个大任务赶在最忙的时候到达,正是检验独立队列能否发挥作用的场景。
- 结合结果查看主机指标和电表。 在同一个时间窗内记录加速卡利用率和显存、主机 CPU 与内存、读写活动、系统输入功率。报告各类任务的第 95 百分位完成时间、每小时成功页数或请求数,以及每个成功结果消耗的电能。还要在百分位数旁边列出丢弃和超时,避免被拒绝的任务从结果中消失。
Telli.sh 制作的验收测试示意图。排队、首次响应或完成时间发生变化时,可能分别指向不同瓶颈。
分别为每项服务绘制延迟分布。P95 指 95% 的测量事件能在多长时间内完成。它可以在中位数保持平稳时发生变化,这对总在高峰期使用服务的分析人员很重要。记录每组分布有多少样本。基于五项夜间任务算出的百分位数,与根据数百条交互请求计算出的结果,含义不同。如果最忙的服务能持续缩短排队时间,并维持相当的质量、减少超时,就比单一的峰值吞吐量更能说明为什么值得分配专卡。
比较时也要统一测量边界。计算能效时,在固定时段内统计合格输出,并为两种配置的同类设备计量。如果只量了服务器和 GPU 机箱,就将结果标注为 IT 系统耗电量。若共享存储或冷却进入比较,两边都要纳入。评估全天运行的服务时,也要记录空闲功率。速度快的系统处理每项任务的时间较短,但若一整晚都维持较高的待机功耗,一天总耗电量可能更高。
约 22 kW 的功率需要在机房现场核对
LIQID 给出的满配 30 卡风冷系统功率约为 22 kW。AMD 标注每张 MI350P 的最大典型板卡功耗为 600 W,并提供 450 W 的可配置设置。以每卡 600 W 计算,30 张卡的板卡功耗为 18 kW。报告的 22 kW 涵盖的是整套系统。机房用电、机架配电和冷却容量取决于具体安装条件。将卡设为 450 W 也可能影响有效吞吐量。若供应商支持所报配置采用两档功率,可以保持负载和质检门槛相同,比较实际表现。LIQID 系统功率说明 · AMD MI350P 板卡规格
选择更大的配置之前,先邀请机房团队参与。核对确切的机箱数量、常规与冗余运行时的电路容量、进风条件下的散热能力,以及系统重启后突然恢复满载时,机房能否承受。通过报价单确认维护、支持和功率调整由谁负责。把这些情况与文档长期排队造成的成本一起记录。即使只用一台主机能减少需要管理的服务器数量,设备对功率密度的要求也可能影响哪些房间可以安装。
LIQID 宣传通过合作伙伴销售 4 至 30 卡的系统,具体取决于库存。产品页写有 4 至 6 周的交付流程,同时将宣传的四周交货期与采购订单得到确认挂钩。可以针对安装地点索要写明日期和配置的报价及交付承诺。LIQID 公布的 SC26 展示地点为麦考密克会展中心,自 11 月 17 日开始。LIQID 合作伙伴订购与交付指南 · LIQID 的 SC26 公告
缩短多少等待才值得花钱?
如果下一个团队急需翻译好的段落,为翻译配置一张专卡可能值得。同样一张卡,如果翻译都可以等到明天,可能一周的大部分时间都在闲着。从能复现实验室并行任务的最小配置开始,将高峰期反复跑几次。如果缩短等待仍能改善结果,就在对应的位置加资源。对档案馆而言,验收目标可以具体到技术人员能及时获得答案,同时扫描仪当天的整批任务仍然可以在交接之前完成。
来源
- LIQID 的 SC26 公告与 UltraStack 官方图片,2026 年 11 月 12 日
- LIQID UltraStack 与 AMD Instinct MI350P 产品页、订购及功率说明,查阅于 2026 年 11 月 15 日
- LIQID UltraStack 数据手册,查阅于 2026 年 11 月 15 日
- LIQID 第三阶段的基准测试方法及结果,查阅于 2026 年 11 月 15 日
- AMD Instinct MI350P 显卡规格,查阅于 2026 年 11 月 15 日
- SC26 官方会议和展览日期
如果你想把测试笔记、图表和部署决策放在一个可搜索的位置,可以创建 Telli.sh 账号。