[Полевые заметки о локальном ИИ 01] Следующая проверка Strata: сделать большую модель полезной на вашем ПК

Самая интересная демонстрация локального ИИ — та, которой можно пользоваться и на следующей неделе. Большая модель, выдающая умный ответ на игровом ПК, — важное достижение. Но открыть завтра тот же разговор, найти файлы модели и безопасно поручить ей правки проекта — это уже начало полезного инструмента.

Strata приблизилась ко второй категории с выпуском 0.2.0-beta 19 октября 2026 года: настольное приложение, интерфейс Terminal и движки в отдельных пакетах. К 23 октября вышла 0.2.3. При выборе загрузки важно точное название бета-версии: речь идёт о ветке 0.2, а не об анонсе будущей 2.0. Бета-релиз, релиз 23 октября

В первом выпуске «Полевых заметок о локальном ИИ» мы рассмотрим, что эта перемена даёт владельцу уже имеющегося компьютера. Свяжем новый интерфейс с тремя опубликованными аппаратными примерами, отделим варианты моделей от разных архитектур и разберём разработки, способные превратить локальный инференс в надёжный повседневный сервис.

Официальный снимок Strata из репозитория 0.2.3: разговор о программировании и предпросмотр HTML. Он иллюстрирует интерфейс, а не испытание, проведённое для этой статьи. © 2026 Niko1221 и участники проекта Strata; источник, лицензия MIT.

Бета превратила движок в инструмент, к которому можно вернуться

Настольное приложение объединяет выбор модели, управление хранилищем, чат, мониторинг оборудования и рабочую среду для кода. Режим разрешений Manual запрашивает подтверждение перед изменениями; более свободный Bypass даёт агенту больше самостоятельности. Terminal предлагает пошаговый запуск через strata launch и подключение клиентов для программирования. Оба интерфейса используют один движок. Возможности 0.2.0-beta

Для разработчика отсюда следует простой пример применения: попросить небольшой парсер в одноразовом проекте, проверить предложенные файлы, запустить тесты и продолжить разговор с примером, на котором код ошибается. Для человека, работающего с документами, аналогичная первая задача — конкретный вопрос по предоставленному фрагменту, а затем запрос точной цитаты, подтверждающей ответ. Ни один сценарий не требует превращать модель в автономного сотрудника.

Практическое улучшение — возможность продолжить работу. Графический выбор модели снижает риск запуска несовместимой конфигурации; монитор оборудования помогает понять, почему другое приложение меняет производительность; сохранённый профиль делает удачный эксперимент воспроизводимым. Эти функции не улучшают способность модели рассуждать. Они сокращают путь от наличия этой способности до её ответственного применения.

Наша позиция такова: следующая конкуренция в локальном ИИ развернётся именно вокруг этого расстояния. Выиграет интерфейс, в котором хорошую конфигурацию легко сохранить, сбой — понять, а рискованное действие — проверить.

Вся система памяти компьютера становится частью модели

Основная цель Strata — Qwen3.8-Flash-Next, в ядре которой 125 миллиардов параметров. Стратегия выполнения использует память GPU для общих вычислений и часто нужных экспертов, системную RAM и CPU для остальных экспертов, а SSD — для таблицы поиска n-грамм. Более ёмкая видеокарта помогает, но оперативная память и накопитель остаются частью пути инференса. Обзор проекта, устройство выполнения

Представьте ПК как мастерскую с несколькими рабочими столами. Самый быстрый стол ограничен по площади, поэтому среда выполнения должна решать, какую работу стоит оставить на нём. Более удачное решение делает имеющееся оборудование полезнее, но не превращает все столы в одинаково быстрые.

Три величины нужно рассматривать отдельно. Загрузка занимает место на накопителе. Загруженные веса и буферы среды выполнения расходуют память. Окно контекста добавляет рабочее состояние по мере роста разговора. Поэтому один лишь размер файла не говорит ни о нужном объёме VRAM, ни о том, как скоро появится первый ответ.

Текущая начальная рекомендация проекта — не менее 32 ГБ суммарно RAM и VRAM, а также примерно 80 ГБ свободного места на диске для обычной конфигурации. Это стартовые ориентиры, а не обещание, что в них уложатся любая модель, длина контекста и операционная система. Базовый ноутбук с 16 ГБ нельзя приравнивать к настольным компьютерам ниже. Аппаратные требования

Больше названий моделей не всегда означает больше архитектур

Авторская редакционная схема документированных связей между моделями, проверенная 23 октября. Ветви показывают происхождение и поддержку средой выполнения, а не одинаковое качество или взаимозаменяемость файлов.

Исходная Flash-Next, Swift 1.5, Coder и Gyro отвечают на разные запросы внутри одного семейства. Swift меняет поведение с помощью дообучения. Coder удаляет экспертов, признанных менее полезными для задач программирования. Gyro меняет представление весов. Если считать эти названия четырьмя независимыми фундаментальными моделями, каталог выглядит шире, чем он есть. Руководство по моделям

Эти различия существенны. Coder сохраняет 256 из 512 экспертов каждого слоя, причём проект предупреждает о более слабых результатах в общих задачах и на языках, кроме английского. Модель, выбранная потому, что помещается на рабочем ПК программиста, не должна автоматически становиться основной для вопросов по многоязычным документам. Более короткое рассуждение Swift может уменьшить общее время, не ускоряя генерацию каждого отдельного токена. Компромиссы между версиями

Для Gyro-S нужно скачать 58,5 ГБ, хотя документированный объём памяти для весов, суммарно в RAM и VRAM, составляет 27,6 ГБ. Таблица n-грамм остаётся на SSD. По оценке проекта, качество уступает более крупным вариантам с низкой разрядностью; меньший расход памяти имеет свою цену. Документация Gyro

Есть и действительно вторая модель: Qwen3.6-35B-A3B, модель со смесью экспертов на 35 миллиардов параметров, из которых активны 3 миллиарда, обслуживаемая отдельным движком. Документированные возможности включают изображения и параллельные запросы на поддерживаемых конфигурациях NVIDIA и AMD; движок Mac её не запускает. Это полезная альтернатива для проверки, если максимальное число параметров в заголовке не является вашим реальным требованием. Поддержка Qwen3.6

Три опубликованные конфигурации показывают три разных вида пользы

Следующие примеры опубликовали участники сообщества или сам проект. Это измерения конкретных конфигураций, а не собственные испытания для данной статьи. Их задача — показать возможную работу и её стоимость, а не ранжировать три компьютера по несовместимым запросам.

Источники: отчёт RTX 3060, отчёт RX 9060 XT, измерения Mac. Эти отчёты появились до нынешнего выпуска приложения или отличаются от него условиями.

Пример RTX 3060 полезен тем, что включает ожидание до начала вывода. Интерфейс, показывающий около 43 токенов в секунду, всё равно может делать паузу, пока читает вопрос. Отчёт также фиксирует замедление из-за нагрева и неконтролируемую фоновую активность; его ценность — реалистичные границы возможностей одной машины, а не идеализированные характеристики GPU.

Для пользователя Radeon есть свидетельство конкретного процесса работы за пределами цикла замеров скорости. Участник выполнил три синтетические задачи TypeScript по три раза на каждой модели через клиент для программирования: и IQ2_XS, и IQ3_XXS прошли все девять запусков. Конфигурация IQ2 справилась с этими ограниченными задачами быстрее и с меньшим расходом памяти хоста. Это основание попробовать проверяемые задачи программирования, но не доказательство одинакового качества на незнакомом репозитории. Сравнение кода и тестовые примеры

Пример Mac отвечает на другой вопрос: может ли относительно компактная система с 32 ГБ вообще участвовать? Да, при опубликованной конфигурации потоковой загрузки. Но другой запрос IQ3_XXS примерно на 30 тысяч токенов в документации Mac потребовал 5,6 минуты до первого вывода. Пакетная задача, которая может подождать, и помощник, чувствительный к прерываниям, предъявляют разные требования к задержке. Измерения потоковой загрузки на Mac

Именно такой выбор стоит сохранить в памяти. Короткий вопрос показывает интерактивное поведение, длинный документ — стоимость обработки запроса, а проверяемая задача — полезность ответов. Одно число не заменяет все три проверки.

Октябрьские исправления показывают, зачем записывать номера версий

Релиз 23 октября сообщает об увеличении скорости ответов на 6–19% на тестовом компьютере Windows Strix Halo с IQ3_S, измеренном в трёх парных запусках против 0.2.2. В него также входит пакет движка Intel Arc Linux SYCL, протестированный на A750. Черновая генерация DFlash2 доступна только в Terminal и включается отдельно; Auto по-прежнему выбирает MTP, поскольку альтернатива выиграла не на всех нагрузках. Измерения и ограничения 0.2.3

Эти улучшения соседствуют с обычным сопровождением ПО. Тег v0.2.1.2 от 20 октября исправил запуск Strix Halo под Windows. Руководство по оборудованию объясняет прежнюю проблему: регистрация области экспертов исчерпывала доступную память GPU, не оставляя слотов для кеша. Поддерживаемого чипа и установщика оказалось недостаточно, пока не исправили управление памятью. v0.2.1.2, объяснение запуска Strix Halo

Остаются и текущие недоработки. Обращение #3810, открытое 23 октября, сообщает о сбое настройки CUDA в Windows, связанном с упакованными метаданными зрения. На дату завершения исследования это пользовательский отчёт, ожидающий решения, а не доказательство сбоя всех установок Windows. Если ваш случай совпадает, проверьте обращение и последующие примечания к релизам, прежде чем часами перенастраивать модель. Отчёт об установке Windows

Обновления тоже требуют внимания: примечания к 0.2.3 предписывают пользователям версий от 0.2.0-beta до 0.2.1.2 повторно запустить установщик Terminal, поскольку эти версии не умеют самостоятельно переключать компоненты Control. Установщик сохраняет модели и настройки. На Mac проверьте фактическое появление нужного подписанного пакета: в разделе известных ограничений того же релиза указано, что на момент публикации сборки Mac ещё подписывались. Инструкции по обновлению

Начните с одной полезной задачи и короткого контекста

Чтобы понять, стоит ли это усилий, не нужно повторять демонстрацию с гигантским контекстом. Небольшой удачный цикл даёт исходную точку, включая ошибки и исправления, прежде чем выделять больше места на накопителе или давать агенту широкие полномочия.

1. Выберите документированный путь для своего оборудования. Откройте официальную страницу релизов и выберите пакет для своей операционной системы и GPU. Отдельно запишите версии приложения и движка. Сохраните уже работающую установку на время оценки обновления.
2. Выберите модель с учётом свободной памяти, языка и задачи. Перед первой пробой закройте тяжёлые приложения. Начните с рекомендованного размера, контекста около 8K и одного одновременного запроса. Храните файлы модели на локальном SSD.
3. Используйте пошаговую настройку. Выбор модели в настольном приложении или strata launch открывает настройки модели, хранилища, контекста, изображений и доступа. В первом упражнении с кодом оставьте только локальный доступ и разрешения Manual. Руководство Terminal
4. Задайте вопрос, ответ на который можно проверить. Попробуйте небольшую функцию с тестами, три вопроса по предоставленному документу или снимок экрана с известными надписями. Сохраните запрос и сверьте ответ с настоящим источником или результатами тестов.
5. Измерьте всё ожидание. Запишите запуск, время до первого вывода, общее время задачи, пиковую память и правильность. Затем повторите один раз с продолжением, использующим кеш, и один раз с новым запросом. При сравнении не меняйте настройки черновой генерации и рассуждения.
6. Добавляйте сложность по одной переменной. Увеличивайте контекст только по необходимости. Отдельно проверяйте изображения, другую модель или подключение клиента для программирования, чтобы при ухудшении был конкретный источник для проверки.

Для отчётов о производительности, которыми можно делиться, Strata предоставляет strata bench run. На 23 октября стандартизированный протокол оставался черновиком, ожидающим пилотной проверки, и явно отделял загрузку модели от измеряемого инференса. Важная привычка полезна уже сейчас: прикладывать к результату оборудование, квантование, фактические настройки и итоги задач. Протокол бенчмарка

Локальный инференс не отменяет решений на границах системы

Документация Strata по приватности заявляет об отсутствии телеметрии использования и возможности запускать скачанные модели офлайн. Веб-поиск, открываемые страницы, удалённые сервисы моделей, туннели и настроенные инструменты создают внешние соединения при использовании. Поэтому приватному разговору с моделью нужен и приватный процесс работы вокруг него. Сетевое поведение и загрузки

Это особенно важно для примеров с документами и программированием. Помощник, умеющий читать файлы и выполнять команды, обладает возможностями за пределами генерации текста. Прежде чем передавать конфиденциальные материалы, проверьте рабочую папку, точную предлагаемую команду и адреса внешних инструментов. Сохраняйте оригиналы и историю версий, чтобы ошибочную правку можно было отменить.

Слушатель инференса по умолчанию использует 127.0.0.1; открытие сетевого слушателя меняет круг тех, кто может подключиться. Strata документирует API-ключи и отдельный слушатель для общего доступа, но решение остаётся за включающим доступ человеком. Совместимый API упрощает подключение клиента, не делая приватной любую возможную конфигурацию клиента. Политика безопасности

Project Maya показывает, насколько далеко заходит идея и чего это стоит

Более широкая тенденция — перенос стратегии среды выполнения на другие семейства моделей. Project Maya прямо указывает Strata как отправную точку для своего движка, сервера и панели управления, отмечая значительную доработку под собственные модели. Среди документированных целей — GLM-5.3-Flash, 321B, и DeepSeek-V4.1-Flash-1017, 748B. Это отдельный проект, а не пункт меню моделей Strata. Модели и благодарности Maya

Загрузка GLM Maya-S занимает 96,5 ГБ; вариант DeepSeek Maya-S — 340 ГБ с таблицами Engram. В примере сообщества одна RTX 5090 работает вместе с Ryzen 9 7950X и 96 ГБ RAM, а заявленная скорость GLM Maya-M превышает 30 токенов в секунду. Эти условия объясняют, почему «одна GPU» — неполное описание потребительской конфигурации. Файлы Maya и аппаратные отчёты

Возможность реальна: компьютер объединяет несколько уровней хранения и вычислений, чтобы обслуживать модель, полные веса которой превышают память ускорителя. Но растут и затраты. Сотни гигабайт загрузок, специфичные для моделей ядра, свободная системная память и экспериментальная поддержка платформ — серьёзные обязательства. Успешный перенос большой модели не означает появления универсального загрузчика для любой архитектуры.

Для большинства читателей Maya пока скорее разработка, за которой стоит следить, чем рекомендуемая замена. Полезный вопрос — решает ли другая модель задачу, на которой ваша нынешняя ошибается, и достаточно ли выгоды, чтобы оправдать дополнительное оборудование и сопровождение. Одно число параметров на это не ответит.

Следующий рубеж — надёжная работа, и публичные предложения ведут к нему

Авторская редакционная схема. Верхняя последовательность описывает критерии внедрения; нижний ряд обозначает публичные предложения, проверенные 23 октября. Это не обещанный график релизов и не прогноз производительности.

Два открытых черновых pull request дают более конкретные сигналы, чем воображаемая дорожная карта 2.0. #3806 предлагает поддержку пока не поддерживаемых trellis-форматов Gyro-L. #3800 предлагает маскирование токенов для структурированного вывода JSON, чтобы некорректная генерация реже требовала повторять запрос целиком. На 23 октября оба оставались черновиками; ни один не относится к уже выпущенным возможностям. Предложение Gyro-L, предложение структурированного вывода

Если такие доработки войдут в надёжный релиз, выиграют два вида локальных задач. Улучшенная поддержка форматов даст больше способов обменивать память на качество. Более надёжный структурированный вывод поможет извлечению данных из документов, разметке и вызовам инструментов выдавать данные, которые другая программа сможет безопасно проверить. Второе улучшение менее эффектно на видео, но потенциально ценнее в повторяющемся процессе.

Наш прогноз условен: персональный инференс становится полезнее, когда среды выполнения сохраняют рабочие конфигурации, ограничивают расход памяти и восстанавливаются после сбоев. Новые переносы бэкендов и более хитрая черновая генерация помогают лишь тогда, когда читатель может связать их с реальной задачей. Настольная модель заслуживает места, производя результат, который можно проверить и повторить.

Поэтому вопрос к следующему компьютеру с локальным ИИ прост: сможете ли вы завтра поручить ему ту же полезную задачу и доверять процессу настолько, чтобы продолжить им пользоваться?

Источники и примечания к чтению

Дата завершения исследования: 23 октября 2026 года. Состояние релизов, обращений и доступных пакетов может измениться после этой даты. Приведённые измерения сохраняют исходные даты публикации и конфигурации; новых бенчмарков инференса для этой статьи не проводилось.

• Strata 0.2.0-beta, v0.2.1.2 и примечания к релизу 0.2.3.
• Руководство по моделям Strata, поддержка Qwen3.6 и документация Gyro.
• Сборник бенчмарков сообщества, документация Mac и черновик протокола бенчмарка.
• Project Maya, официальный снимок Strata и лицензия репозитория.

Храните решения о локальном ИИ вместе с подтверждающими материалами

Сравнивая конфигурации, держите вместе ссылки на источники, настройки оборудования, результаты задач и исправления. Telli.sh поможет организовать эти исследовательские заметки и краткие выводы по мере развития вашей конфигурации. Создайте аккаунт Telli.sh