AI Infrastructure10 мин чтения

Сократят ли 30 GPU в одном сервере очередь к ИИ в лаборатории?

В LIQID UltraStack отдельные модели получают собственные ускорители AMD Instinct MI350P. Сравниваем тест на 20 GPU с прогнозом на 30 и разбираемся, как измерить реальное ожидание исследователей.

K
Ken Jo

В девять утра одна исследовательская группа начинает извлекать текст из вчерашних сканов. Вторая отправляет записи на перевод, третьей нужны быстрые ответы по руководству к прибору. Если все задачи попадают в одну очередь инференса, короткий вопрос может застрять за большой партией документов. К моменту ответа человек, которому он был нужен, уже снова листает PDF.

12 ноября 2026 года поставщик инфраструктуры LIQID описал конфигурацию UltraStack, которая подключает от 4 до 30 ускорителей AMD Instinct MI350P к одному двухсокетному серверу на AMD EPYC 9005. В опубликованной схеме на каждой карте работает один экземпляр модели. Пока одна карта занимается распознаванием текста, другие обрабатывают переводы или отвечают на вопросы. LIQID анонсировала демонстрацию на SC26 в Чикаго во время выставки, запланированной на 17–19 ноября. Анонс LIQID от 12 ноября и официальные изображения системы · Даты SC26

Эта архитектура имеет смысл, когда лаборатории важно завершать несколько задач вовремя, а каждая модель помещается на свою карту. Начните с ожидания, которое видит пользователь. Затем выясните, какую его часть уберут отдельные GPU, какое ограничение проявится следом и оправдывает ли выигрыш энергопотребление и стоимость системы. Большинство этих вопросов можно проверить на гораздо меньшей конфигурации, чем полностью укомплектованный вариант.

У каждого GPU свои 144 ГБ памяти

В схеме LIQID сервер AMD EPYC соединяется с картами MI350P через систему коммутации PCIe Gen 5. Карты могут находиться в отдельных подключённых к серверу шасси. AMD указывает 144 ГБ выделенной памяти HBM3E у каждой MI350P и интерфейс карты PCIe 5.0 x16. В конфигурации с одной моделью на карту она использует память назначенного ей GPU. Каждый экземпляр может обрабатывать несколько запросов с учётом возможностей обслуживающего ПО и лимита памяти. Техническое описание LIQID UltraStack · Характеристики AMD MI350P

Двадцать карт дают в сумме 2,88 ТБ HBM3E в десятичных единицах. Эта цифра полезна при подсчёте отдельных экземпляров моделей, которые можно разместить в системе. Для задачи на седьмой карте отправной точкой остаются 144 ГБ. Если модель помещается только при распределении параметров и рабочего состояния по нескольким GPU, определите способ распределения и протестируйте его отдельно. Опубликованное масштабирование LIQID относится к независимым экземплярам на разных картах. Конфигурация теста и данные по памяти LIQID

Двухсокетный сервер EPYC через систему коммутации PCIe Gen 5 подключён к отдельным картам MI350P, у каждой из которых свои 144 ГБ HBM3E.

Иллюстрация Telli.sh по описанию оборудования LIQID и характеристикам карт AMD. На схеме показан пример независимой обработки запросов. Шасси и периферия сервера опущены.

Число параметров модели помогает сузить выбор, но модели с одинаковым числом параметров могут предъявлять разные требования к памяти. Начните с конкретных весов и их точности. Затем учтите среду выполнения и кеш, в котором модель может хранить предыдущие токены во время генерации. Если сервис принимает сразу несколько длинных запросов, запустите выбранную модель и измерьте потребление памяти при таком наборе входных данных. Короткий запрос на свободной карте покажет, запускается ли сервис. Длительный тест с самыми длинными допустимыми входными данными покажет, может ли он и дальше принимать нагрузку.

Отдельные очереди полезны при разной частоте поступления задач

Представьте университетский архив, который оцифровывает интервью и бумажные документы. В пробной конфигурации одна карта может распознавать текст, другая — расшифровывать интервью, третья — делать короткие переводы. На четвёртой после недели наблюдения можно запустить второй экземпляр самого востребованного сервиса. Дайте каждому сервису свою очередь и задайте допустимое число принимаемых одновременно задач. Тогда скопившиеся сканы реже будут задерживать короткий перевод в борьбе за один ускоритель.

Допустим, архив получает запрос на перевод распознанного текста. Этапы могут пересекаться для разных документов. Первый документ поступает на перевод, пока второй проходит распознавание. Для перевода конкретного документа по-прежнему нужен результат его распознавания. Измерьте время от загрузки до пригодного результата для этого документа и число завершённых документов во всём конвейере. Даже если за час проходит больше документов, отдельному переводчику всё равно может долго не хватать одной страницы.

Другой вариант — инженерная лаборатория, которая днём пользуется помощником по документам, а ночью обрабатывает старые журналы приборов. Помощнику днём важно предсказуемо быстро отвечать на вопросы. У ночной задачи есть конечный срок, но она часто переносит паузы. Прежде чем навсегда закрепить по карте за сервисом, измерьте, какую долю времени каждый GPU тратит на эти задачи. Если днём помощник в основном простаивает, а запросы приходят пачкой после собрания лаборатории, постоянно зарезервированная вторая копия обходится дорого и в спокойные часы. Для сравнения подойдёт система, которая уже справляется с пиком при помощи расписания или отдельных очередей.

Размещение моделей влияет и на восстановление. Один сервер упрощает часть настроек, и все размещённые на нём сервисы от него зависят. Запишите, какие задачи могут подождать после обслуживания, что нужно поднять первым и каким сервисам нужна вторая площадка. В конвейере документов сохраняйте промежуточные результаты, чтобы после перезапуска продолжить с уже распознанного текста. Для интерактивных задач договоритесь о допустимом простое или предоставьте резервную точку доступа. Число карт на основном сервере отражает вычислительную мощность в штатном режиме. Время восстановления проверяется отдельным тестом.

На 20 GPU LIQID измерила 89 000 выходных токенов в секунду

В отчёте LIQID о пропускной способности описана модель класса 7B с точностью FP4 и заявленным уровнем параллелизма 128. Каждый GPU обслуживал свой экземпляр модели. На 20 GPU LIQID сообщила о суммарной скорости около 89 000 выходных токенов в секунду. Оценка для 30 GPU, около 133 000 выходных токенов в секунду, получена экстраполяцией масштабирования по тесту на 20 GPU. В обоих случаях речь идёт о совокупном выходе измеренной или расчётной конфигурации. Для отдельного запроса исследователя имеют значение его собственное ожидание в очереди, обработка входа и скорость генерации. Отчёт LIQID о пропускной способности и методика

Тест LIQIDЧисло GPUСуммарные выходные токены/сОснование
Класс 7B, FP414 653Измерение LIQID
Класс 7B, FP41044 383Измерение LIQID
Класс 7B, FP420Около 89 000Измерение LIQID
Класс 7B, FP430Около 133 000Прогноз LIQID по тесту на 20 GPU
Класс 72B, FP8, ограничения задержки для интерактивного режима81 256Отдельное измерение LIQID

В отдельном тесте 72B FP8 целевой задержкой до первого токена были не более двух секунд на 99-м процентиле, а минимальной скоростью — 30 выходных токенов в секунду на пользователя. LIQID приводит измерения на 2, 4 и 8 картах. Размер модели, точность и условия обслуживания отличаются от теста пропускной способности 7B. Ориентируйтесь на интерактивный результат для испытаний этого класса, а к своим запросам и параллелизму применяйте собственные целевые задержки. Методика LIQID и результаты интерактивного теста

Цифры 7B дают повод повторить тот же тест при добавлении одинаковых экземпляров модели. Для смешанных нагрузок остаётся другой вопрос. Что произойдёт, если часть времени запросы тратят на чтение множества небольших файлов, подготовку контекста из хранилища или ожидание обработки изображений на CPU? Дважды воспроизведите ту же последовательность запросов с теми же моделями и числом GPU, сначала для каждого сервиса отдельно, затем в полном сочетании. Если совместная работа удлиняет очереди, а загрузка GPU остаётся низкой, проверьте CPU сервера, файловую систему и маршрутизацию запросов до покупки новых ускорителей.

Измерьте объём полезной работы при заданной задержке

Начните с теста, который под силу вашей текущей системе. Например, возьмите репрезентативный набор из 200 допущенных к обработке документов с известными языками и количеством отсканированных страниц. Одновременно с обработкой пакета воспроизведите обезличенный журнал со временем прихода интерактивных запросов. На обеих системах входные данные должны совпадать. Если из-за смены оборудования или ПО нужно менять точность, проверьте качество на той же выборке. Считайте только результаты, которые завершились и прошли обычные проверки команды.

  1. Задайте критерии хорошего результата. Для помощника определите требования ко времени первого ответа и полной обработки. Например, для интерактивной выборки первый токен должен появляться в пределах двух секунд на 95-м процентиле. Для пакетного распознавания выберите суточный срок и минимальное число страниц, прошедших проверку. Это примерные цели предлагаемого теста. В отдельном эксперименте 72B LIQID использовала ограничение по 99-му процентилю до первого токена.
  2. Запишите, на что уходит время каждого запроса. Фиксируйте момент поступления, начала работы на исполнителе, первого результата и завершения. Помечайте тип задачи и регистрируйте повторные попытки. Эти отметки позволяют сравнить ожидание в очереди отдельно от активной обработки. Единое полное время может скрывать длинную очередь, если сам инференс проходит быстро.
  3. Измените один параметр и повторите нагрузку. Сравните общую очередь с отдельными при тех же экземплярах моделей на тех же картах. Затем отдельным экспериментом проверьте, что даст изменение назначения карт. Сохраните ограничения на вход и выход, порядок запросов и критерии качества. Каждый прогон начинайте после одинакового прогрева. Проверьте и пиковый интервал, и обычное движение. Эффект отдельных очередей должен быть заметен, когда одна большая задача поступает в неудобный момент.
  4. Сопоставьте результаты с показаниями сервера и счётчиков. На одном интервале измеряйте загрузку и память ускорителей, CPU и оперативную память сервера, чтение и запись, а также мощность на входе системы. Укажите время завершения по 95-му процентилю для каждого типа задачи, число успешных страниц или запросов в час и расход энергии на успешный результат. Сопоставьте процентиль с отказами и тайм-аутами, чтобы потерянные задачи остались видны.

Интервал от поступления до начала обработки, первого результата и завершения связывает ожидание и работу сервиса с задержкой p95, объёмом принятой работы и мощностью.

Иллюстрация Telli.sh к предлагаемому приёмочному тесту. Сдвиг времени ожидания, первого ответа или завершения может указать на разные ограничения.

Постройте отдельное распределение задержки для каждого сервиса. P95 — время, в которое укладываются 95 процентов измеренных событий. Оно может измениться даже при неизменной медиане. Это важно, если аналитик регулярно застаёт период пиковой нагрузки. Запишите объём выборки для каждого распределения. Процентиль по пяти ночным задачам и процентиль по сотням интерактивных запросов говорят о разном. Устойчивое сокращение очереди востребованного сервиса при сопоставимом качестве и меньшем числе тайм-аутов лучше обосновывает отдельную карту, чем пиковая пропускная способность.

Сравнение также требует одинаковых границ измерения. Для энергоэффективности считайте полезный результат за фиксированное время и измеряйте одно и то же оборудование в обеих конфигурациях. Если счётчик охватывает только сервер и шасси с GPU, обозначьте показатель как энергопотребление ИТ-системы. Если в сравнение входят общее хранилище или охлаждение, учитывайте их одинаково для обоих вариантов. Для круглосуточного сервиса запишите и мощность в простое. Быстрая система тратит меньше времени на активную задачу, но установка с более высоким потреблением за ночь может стоить больше энергии в пересчёте на сутки.

Оценку в 22 кВт нужно учитывать при выборе площадки

LIQID указывает около 22 кВт для полной системы с 30 GPU и воздушным охлаждением. AMD приводит максимальную типовую мощность платы 600 Вт на MI350P и возможность настройки на 450 Вт. Умножение 30 на 600 Вт даёт 18 кВт на карты при указанной мощности платы. Заявленные 22 кВт относятся к системе в целом. Электроснабжение объекта, оснащение стойки и возможности охлаждения зависят от установки. Работа при 450 Вт может изменять полезную пропускную способность. Если поставщик поддерживает оба режима в предложенной конфигурации, сравните их при одной нагрузке и одинаковых критериях качества. Данные LIQID о мощности системы · Характеристики платы AMD MI350P

До выбора более крупной конфигурации привлеките службу эксплуатации объекта. Уточните точное число шасси, возможности цепей питания в обычном и резервном режимах, отвод тепла при ваших условиях на входе и возможность выдержать резкое возвращение к полной нагрузке после перезапуска. По коммерческому предложению выясните, кто отвечает за сервис, поддержку и настройку мощности. Сопоставьте эти пункты с издержками от длительной очереди документов. Один сервер может уменьшить число обслуживаемых машин, но требуемая плотность электропитания ограничит выбор помещений.

LIQID рекламирует системы с 4–30 GPU, которые можно заказать через партнёров при наличии на складе. Страница продукта описывает доставку за 4–6 недель и отсчитывает заявленный четырёхнедельный срок от подтверждения заказа на покупку. Запросите датированное предложение по конфигурации и обязательство по срокам доставки на вашу площадку. LIQID указала, что её выставочная программа на SC26 в McCormick Place начинается 17 ноября. Информация LIQID о заказе через партнёров и доставке · Анонс LIQID к SC26

За какую часть ожидания стоит заплатить?

Отдельный ускоритель для перевода может оправдаться, если следующей команде немедленно нужны переведённые фрагменты. Если любой перевод терпит до завтра, та же карта может простаивать большую часть недели. Начните с минимальной конфигурации, на которой можно воспроизвести одновременные задачи лаборатории, и повторите самый загруженный интервал несколько раз. Наращивайте мощность там, где сокращение ожидания улучшает результат. Для архива приёмочный критерий может быть конкретным. Техник получает ответы вовремя, а вся дневная партия со сканера готова к передаче.

Источники


Чтобы хранить записи испытаний, графики и решения по внедрению в одном месте с поиском, создайте аккаунт Telli.sh.


← Вернуться в блог