AI hardware9 мин чтения

Strata 0.2.17 хочет больше вашей оперативной памяти. Стоит ли рабочему ПК её отдавать?

Новый бюджет памяти Strata может уменьшить чтение с SSD, а отдельная настройка по умолчанию защищает точность воспроизведения модели. Как выбрать режим для рабочего ПК и проверить компромисс.

K
Ken Jo

Локальная модель может отвечать быстрее и одновременно делать работу за компьютером менее комфортной. На машине, где также открыты браузер, редактор и видеозвонки, оба результата должны попадать в одно сравнение.

Strata 0.2.17, выпущенная 20 ноября 2026 года, особенно наглядно показывает этот компромисс. Для определённых файлов моделей, у которых все веса экспертов не помещаются в ОЗУ, ориентированная на производительность настройка увеличивает постоянно удерживаемый объём. Кроме того, выпуск отключает отдельную оптимизацию после сообщений пользователей об ухудшении ответов.

Полезный вопрос — выделен ли ваш ПК только под инференс или он по-прежнему остаётся рабочим компьютером. Это обновление даёт повод проверить разницу, а не считать более высокое число токенов в секунду полным результатом.

Три важных момента: пример с 64 GiB относится к определённым поддерживаемым файлам Unsloth и указанной конфигурации оборудования; приложение может сохранить прежний бюджет, оставляющий место для работы; размещение весов в памяти и пропуск маршрутов модели — разные настройки.

Дополнительные семь GiB могут заметно сократить чтение с SSD

Strata — локальная среда выполнения моделей, координирующая ресурсы машины для запуска поддерживаемых моделей. После перехода на новый движок, описанного в 0.2.16, новая версия приложения и Terminal — 0.2.17. Движки и обновляющий компонент Control имеют версию 0.1.63. Выпуск предлагает загрузки для Windows, Linux, Mac и DGX Spark, однако наличие загрузки для ОС не означает, что каждая модель и каждый путь исполнения работают на любой машине.

Изменение памяти касается файлов Unsloth UD-Q4_K_XL и UD-IQ4_XS, когда все их эксперты не могут оставаться в ОЗУ. Новое правило настройки вычитает из общего объёма ОЗУ 17 GiB и объём потокового KV-кэша, если он используется, определяя, сколько весов экспертов удерживать в памяти. Прежнее правило вычитало 24 GiB. Это бюджет резидентных весов для конкретного пути исполнения, а не обещание, что в этот объём поместятся вся модель, кэш и операционная система.

Почему несколько дополнительных GiB могут так повлиять? Если нужный вес уже находится в памяти, среде выполнения не приходится снова читать его с накопителя. При сложном запросе это преимущество может повторяться при множестве обращений. Поэтому зависимость сложнее, чем сравнение семи GiB с размером одного входного файла. Она также зависит от того, каких экспертов затрагивает нагрузка и что среда уже закэшировала.

В примере разработчика использованы реальный предел памяти 64 GiB, UD-Q4_K_XL, карта RTX PRO 4500 Blackwell и запрос примерно на 65K токенов. Таблица выпуска приводит следующие результаты. Это измерения проекта для данной конфигурации, а не прогноз для любого компьютера с 64GB.

Бюджет резидентных весов экспертовЧтение с SSD для указанного запросаСкорость декодированияУказанный свободный объём ОЗУПозже запущенная программа на 8 GiB
40 GiB, прежний пример97.7 GB57.7 токена/с16.6 GiBПродолжила работать
47 GiB, новый пример37.0 GB84.2 токена/с9.3 GiBПродолжила работать
52 GiB, дополнительный тест0.9 GB83.4–88.6 токена/с6.6 GiBБыла завершена

Особенно интересна последняя строка. Сокращение обращений к накопителю почти до нуля не дало столь же резкого роста скорости декодирования, а другая программа завершилась. Таблица говорит в пользу измеренного бюджета, а не максимального выделения памяти инференсу.

Как резидентные веса модели делят память компьютера с рабочими приложениями Авторская поясняющая схема: веса экспертов, меняющийся кэш среды выполнения и повседневные приложения делят память машины. Правило резидентного размещения из выпуска относится только к указанным путям моделей.

Резерв для работы в приложении — полезная отправная точка

Рассмотрим условную рабочую станцию разработчика. В браузере открыта длительная сессия, IDE индексирует репозиторий, а локальный ассистент готовит ответ по большому документу. Самая быстрая изолированная конфигурация ассистента менее полезна, если IDE начинает обращаться к файлу подкачки или видеовстреча теряет стабильность. Правильная база сравнения — вся рабочая сессия.

В приложении Strata есть вариант «Leave 20% for my work» — оставить 20% для моей работы. Согласно описанию выпуска, он сохраняет прежний бюджет: 40 GiB в примере с 64 GiB. Terminal, strata serve, Docker и режим полной производительности приложения используют новое выделение. Заданный пользователем бюджет или явно установленный резерв имеют приоритет. Существующие установки 0.2.16 могут получить однократную миграцию бюджета при первой команде Strata после обновления, без отдельного повторного запуска настройки, если пользователь не задавал выделение явно.

Это различие важно, когда два человека говорят, что проверяли настройки по умолчанию. Один мог использовать режим с рабочим резервом в настольном приложении, другой — запускать сервер из Terminal. Одинаковая версия приложения может при этом принимать разные решения о размещении весов в памяти. Перед сравнением записывайте способ запуска вместе с версией.

В выпуске также описаны исключения. Машины с общей памятью CPU/GPU, такие как Strix Halo, и путь с распределением слоёв между двумя картами сохраняют прежний резерв. Другие перечисленные файлы моделей — IQ2_XS, IQ3_XXS, IQ3_S и Q2_0 — не получают этот бюджет резидентного размещения ни в одной из двух версий. Поэтому правило памяти из одного примера плохо заменяет проверку точной конфигурации модели.

В Windows новый движок дополнительно ограничивает первоначальное выделение доступной свободной памятью за вычетом 4.25 GiB. Поэтому занятая машина может начать ниже заявленных 47 GiB. В выпуске прямо сказано, что это поведение Windows в примере не измерялось. Также меняется классификация номинального Windows-компьютера с 64GB, когда система сообщает примерно 63.1 GiB. Эти детали помогают объяснить другое наблюдаемое выделение; они не превращают опубликованный тест в бенчмарк Windows.

Наша практическая рекомендация — начать с резерва на компьютере, за которым вы работаете интерактивно. Пробуйте большее выделение как осознанный сравнительный тест при работающей целевой нагрузке, а не забирайте память у приложений, закрытых только ради измерения.

Быстрые ответы и верное выполнение модели требуют разных переключателей

Второе крупное изменение касается «Skip rarely used parts of the model» — пропуска редко используемых частей модели: параметра раздела Expert, представленного переменной STRATA_ROUTE_TAIL_SKIP. Это не бюджет ОЗУ.

Описание выпуска объясняет, что при соответствующем условии маршрутизации оптимизация может пропускать работу экспертов, которая иначе была бы скопирована и вычислена. Ранее она работала по умолчанию на путях NVIDIA и Radeon RX 9000. Разработчики изменили автоматическое поведение после сообщений о потере качества. В 0.2.17 она выключена, если пользователь не включил её явно.

Есть существенная разница между размещением нужного веса ближе к процессору и решением не выполнять часть работы модели. Первое меняет место получения данных. Второе меняет вычисления. Даже если обе меры повышают пропускную способность, риски для вывода не стоит оценивать как у одной и той же техники.

В примере разработчика на RTX 5090 с UD-Q4_K_XL и DFlash2 пять типов запросов в двух раундах дали среднюю скорость декодирования 73.4 токена/с с выключенным пропуском маршрутов и 94.5 с включённым. В тех же заметках есть измерение расхождения при принудительной подаче токенов. Это опубликованное проектом сравнение конфигураций, а не оценка полезности, безопасности или правильности ответов для вашего приложения.

Практическое следствие: обновление может уменьшить пропускную способность на определённом пути, восстановив более полное поведение маршрутизации. Такой результат может быть намеренным. Если вы проверяете точные числа, создаёте структурированный вывод или выполняете сложную инструкцию, сохранение нужного поведения может быть ценнее более быстрого потока текста.

Две независимые проверки полезного локального ассистента Авторский список оценки: измеряйте нагрузку на ресурсы отдельно от качества ответов. Изменение размещения весов в памяти и пропуска маршрутов — разные эксперименты.

Существующие пользовательские настройки — часть истории обновления

Автоматические значения и явно выбранные настройки мигрируют по-разному. Если вы никогда не меняли настройку маршрутов или использовали её автоматическое значение, новое автоматическое поведение — выключено. Если вы явно выбирали ранг 7 или другой ранг, согласно выпуску, этот выбор сохраняется. Явный ноль остаётся выключенным.

Это защищает осознанную конфигурацию, но означает, что обновление двух машин необязательно сделает их поведение одинаковым. Одна может сохранить старый эксперимент, который кто-то включил несколько месяцев назад. Прежде чем разбирать регрессию, проверьте перенесённые настройки.

В выпуске команда strata launch --set STRATA_ROUTE_TAIL_SKIP=7 описана как способ включить поведение ранга 7. Считайте её добровольным экспериментом, а не шагом обновления, который должны выполнить все. Если вы пытаетесь решить проблему непоследовательного вывода, сначала убедитесь, что оптимизация маршрутов выключена, вместо того чтобы включать её ради прежней скорости.

В 0.2.17 есть и другие значения по умолчанию, включая аппаратно-зависимые изменения чтения запроса и декодирования. Некоторые могут менять генерируемый текст. Это ещё одна причина не менять несколько настроек одновременно и не приписывать всю разницу ОЗУ. Версия, файл модели, аппаратный путь и явные переопределения вместе образуют реально проверенную конфигурацию.

Сравнивайте с теми приложениями, которые планируете оставить открытыми

Полезный тест не требует лаборатории, но требует повторяемого вопроса. Для рабочего ПК спросите, завершает ли ассистент типичную задачу, пока остальной компьютер остаётся удобным для работы. Для выделенного сервера — выдерживает ли выбранный бюджет запланированные параллельные сервисы без ошибок нехватки памяти.

  1. Запишите исходную конфигурацию. Укажите версии приложения и движка, ОС, ОЗУ, GPU, точный файл модели, режим запуска, размер контекста и явные настройки памяти или маршрутов. Не меняйте модель и квантование во время сравнения.
  2. Выберите три характерные задачи. Например, короткий вопрос, запрос по длинному документу и структурированное извлечение с известными обязательными полями. Это предлагаемые тесты, а не задачи, которые мы выполняли для статьи.
  3. Получите базовый результат с резервом для работы. Оставьте открытыми браузер, редактор и обычные приложения. Следите за свободной памятью, активностью накопителя, задержкой первого ответа, темпом генерации и отзывчивостью этих приложений.
  4. Меняйте только резидентное размещение. Сравните ориентированное на производительность выделение при той же настройке маршрутов. Следите за давлением на память во время задачи и при последующем запуске другого обычного приложения.
  5. Оцените вывод. Проверьте нужные факты, форматирование, соблюдение инструкций и устойчивость при повторах. Синтаксически корректное извлечение, пропустившее обязательный элемент, считайте неудачей.
  6. При необходимости проверьте пропуск маршрутов отдельно. Оставьте выбранный бюджет памяти неизменным. Сравните результаты с примерами для приёмки и решите, оправдывает ли прирост скорости наблюдаемые изменения.

Для длинного документа записывайте и холодный старт, и повторный запрос. Кэширование может сделать второй проход совсем не похожим на первый. Не смешивайте прогретый результат одной конфигурации с первым знакомством другой с документом.

Также фиксируйте неудачи, а не скрывайте их усреднением. Быстрый ответ с последующей нехваткой памяти — плохой результат для фонового сервиса. Непрерывная работа редактора может быть решающим результатом для рабочего ноутбука, даже если другая настройка выигрывает в колонке скорости декодирования.

Лучшая настройка оставляет место вашей реальной работе

Strata 0.2.17 делает локальный инференс похожим скорее на управление небольшим общим компьютером, чем на единичный тест ускорителя. Память — общий стол: больше материалов модели на нём сокращает походы к накопителю, но для самой работы всё равно нужно место.

Для выделенной машины новое выделение — повод измерить, улучшает ли сокращение чтения вашу нагрузку. Для повседневной рабочей станции разумная отправная точка — резерв. В обоих случаях сохраняйте верность вывода отдельным критерием приёмки. Более быстрая настройка заслуживает места, когда улучшается вся задача, а не только счётчик токенов.

Источники и официальные материалы

Приведённые измерения принадлежат проекту и сохраняют его условия оборудования и модели. Процедура оценки — рекомендуемый рабочий процесс для читателя.


Рекомендация Telli.sh: Храните вместе конфигурации, характерные запросы и заметки сравнений, чтобы следующее обновление начиналось с полезной базы. Создайте первую заметку в Telli.sh.


← Вернуться в блог