Granite Switch 4.1: превратите английскую речь в полезное решение

Устную просьбу обычно нужно обработать тремя способами: распознать слова, объяснить их смысл и решить, что делать дальше. Granite Switch 4.1 объединяет эти возможности за одной конечной точкой, так что не приходится собирать три независимых сервера моделей.

15 октября 2026 года IBM представила готовые комплектации 8B и 30B с чатом, универсальным адаптером решений, проверкой безопасности Guardian и распознаванием речи. Практический плюс — более короткий путь от голосовой заметки на английском до проверяемого действия. Анонс IBM от 15 октября 2026 года.

Начнём с небольшого упражнения в браузере, затем настроим локальный запуск и рассмотрим три реальных сценария. По ходу разберём важные границы: английское аудио не означает поддержку многоязычного распознавания, оценка решения не является доказательством, а вес модели — это не весь бюджет памяти GPU.

Иллюстрация: авторская схема, показывающая, как английская речь превращается в транскрипт, а затем расходится на ответ чата, варианты решения и проверку безопасности. Перед выполнением действия результат проверяет человек; это не официальный снимок экрана и не заявление о производительности.

Получите первый полезный результат, ничего не устанавливая

Начните с официального демо Speech to Decisions. IBM ссылается на него в анонсе от 15 октября; документация демо описывает запись с микрофона, краткое описание темы, проверки безопасности и суждения «да/нет». Официальная документация демо, проверена 18 октября 2026 года.

1. Откройте демо и используйте только вымышленные, нечувствительные данные. Это размещённый сервис, а не локальная обработка.

2. Если приложение доступно, разрешите доступ к микрофону и произнесите следующий текст по-английски — это поддерживаемый язык ASR:

   Обычный текст

   The replacement keyboard arrived damaged. Please send a new one.
   I can share a photo tomorrow.
   

3. Остановите запись и сравните показанный транскрипт со сказанным. Отдельно проверьте описание темы и доступные флаги суждений.

4. Убедитесь, что сохранились просьба, повреждённый товар и обещание прислать фото. Правдоподобная метка темы не означает успеха, если транскрипт потерял отрицание или подменил предмет.

Это полезная первая контрольная точка: один понятный вход и результаты, которые можно проверить. Она не гарантирует точную формулировку, задержку или постоянную доступность демо. Если Space недоступен или организация запрещает внешнюю загрузку аудио, перейдите к локальному варианту ниже и не отправляйте приватный материал в другой сервис.

Что именно переключает Switch?

Базовая языковая модель отвечает за обычный чат. Адаптер — это меньший набор обученных изменений, который специализирует модель для определённой задачи. Адаптер decision выбирает из помеченных вариантов; guardian-core проверяет текст на заданные риски безопасности. Приложение выбирает адаптер через шаблон чата вместо загрузки второй полной языковой модели. Репозиторий Granite Switch, проверен 18 октября 2026 года.

Распознавание речи устроено иначе. Автоматическое распознавание речи (ASR) сначала преобразует звуковую волну в текст, который затем читает языковая модель. В комплект входит английская модель IBM Granite Speech TurboCTC на 470 млн параметров, проверенная 18 октября 2026 года. Считайте транскрипт квитанцией передачи: всё последующее зависит от записанных в нём слов. Храните его вместе с отредактированным резюме, чтобы читатель мог проследить спорное решение до исходных данных.

Карточка модели 8B, выпущенной 14 октября 2026 года, отличает варианты с аудио от семейства предварительных версий без него. Карточка 30B и карточка превью 3B, проверенные 18 октября, описывают соответствующие комплектации. Меньшая предварительная версия не заменяет речевую модель.

В карточке 8B перечислены 12 языков чата: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Этот перечень не расширяет поддержку языка встроенным распознавателем речи за пределы английского.

Выберите операционную систему до копирования команд

Для описанной ниже конфигурации CUDA/vLLM выберите Linux с совместимым GPU NVIDIA и драйвером. В Windows используйте корректно настроенную WSL с доступом к GPU: команды Bash не предназначены для обычного PowerShell. На macOS начните с размещённого демо или Linux-хоста с GPU, а не рассчитывайте, что рецепт CUDA автоматически подходит Apple Silicon. Руководство vLLM по установке GPU, проверено 18 октября 2026 года.

У vLLM-Metal и других сред есть собственные пути совместимости. Поддержка операционной системы сама по себе не доказывает, что именно этот чекпойнт Switch, его адаптеры и каскад распознавания речи работают в ней. Для такого выбора нужна подходящая подтверждённая конфигурация.

Сначала запустите чат локально, затем добавьте аудио и решения

Создайте новую рабочую папку в терминале Linux или Bash внутри WSL. Сначала установите Git и Python 3.12, затем убедитесь, что nvidia-smi видит GPU. В используемом здесь снимке репозитория требуются Python >=3.11,<3.14, PyTorch >=2.11.0, Transformers >=5.16,<=5.17.0 и vLLM >=0.26.0,<0.31.0. Объявления зависимостей на ревизии 7e72456, проверены 18 октября 2026 года.

1. Установите пакет Switch и аудиозависимости вместе. Так используется рецепт исходного кода, а не более старая опубликованная сборка.

git clone https://github.com/generative-computing/granite-switch.git
cd granite-switch
git checkout 7e724560f9a9449bba2f08e16e8678c4dd6a06e7
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -e '.[vllm,audio]' openai
python -m pip check

Дополнительные наборы зависят от задачи: [hf] добавляет поддержку инференса Hugging Face, [compose] — инструменты композиции, а [audio] подтягивает зависимости декодирования аудио в vLLM. Одна установка vllm не устанавливает плагин Switch. Следите, чтобы разрешённая комбинация PyTorch/CUDA соответствовала драйверу; не исправляйте ошибку разрешения пакетов отключением проверок зависимостей. При первом запуске будут скачаны веса, поэтому заранее предусмотрите время и место на диске для чекпойнтов.

2. Запустите один сервер, доступный только через loopback. Указанные ниже ограничения контекста и параллельности — осторожные начальные настройки, а не гарантия, что модель поместится на оборудовании.

VLLM_PLUGINS=register_granite_switch \
python -m vllm.entrypoints.openai.api_server \
  --model ibm-granite/granite-switch-4.1-8b \
  --host 127.0.0.1 --port 8000 \
  --max-model-len 4096 --max-num-seqs 1 \
  --gpu-memory-utilization 0.80 --enable-prefix-caching

Пакет регистрирует register_granite_switch в vllm.general_plugins. vLLM обнаруживает установленные точки входа; переменная окружения явно выбирает этот плагин. Для данного рецепта не нужен ни скопированный регистрационный скрипт, ни обходной флаг --trust-remote-code. Код регистрации Switch и система плагинов vLLM, проверены 18 октября 2026 года.

3. Проверьте обычный ответ чата. Во втором терминале Bash дождитесь готовности сервера и выполните:

curl --fail http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"ibm-granite/granite-switch-4.1-8b","messages":[{"role":"user","content":"Rewrite this request clearly without adding facts: The replacement keyboard arrived damaged. Please send a new one."}],"max_tokens":120,"temperature":0}'

Прочитайте сообщение ассистента в JSON-ответе. Успех означает, что просьба сохранена без выдуманного номера заказа, срока или одобрения возврата. Сам по себе HTTP-ответ не подтверждает полезность результата.

4. Передайте короткий WAV на английском. Поместите запись с согласия говорящего и без чувствительных данных под именем request.wav в папку репозитория. Во втором терминале активируйте то же виртуальное окружение, сохраните следующий фрагмент как try_audio.py и запустите python try_audio.py.

import base64
from pathlib import Path
from openai import OpenAI

audio_bytes = Path("request.wav").read_bytes()
message_parts = [
    {"type": "text", "text": "List the requests in this recording. Do not add facts."},
    {"type": "input_audio", "input_audio": {
        "format": "wav",
        "data": base64.b64encode(audio_bytes).decode("ascii"),
    }},
]
local = OpenAI(api_key="unused", base_url="http://127.0.0.1:8000/v1")
reply = local.chat.completions.create(
    model="ibm-granite/granite-switch-4.1-8b",
    messages=[{"role": "user", "content": message_parts}],
    max_tokens=160,
    temperature=0,
)
print(reply.choices[0].message.content)

Это вернёт ответ языковой модели на встроенный транскрипт, а не нетронутый экспорт ASR. Руководство по аудио описывает каскад и формат входа; если нужно проверять оба этапа независимо, используйте приложение, которое показывает транскрипт. Документация по аудио, проверена 18 октября 2026 года.

5. Попробуйте одно ограниченное решение по проверенному тексту. Не останавливайте сервер и отправьте запрос:

curl --fail http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"ibm-granite/granite-switch-4.1-8b","messages":[{"role":"user","content":"State:\nThe replacement keyboard arrived damaged. Please send a new one."},{"role":"user","content":"### DECISION\nQuestion:\nWhich queue should review this request?\n\nOptions:\nA: Damaged-item replacements\nB: Account access\nC: Human triage because neither category fits\n\nReply with exactly one option label."}],"chat_template_kwargs":{"adapter_name":"decision"},"max_tokens":1,"temperature":0}'

Так проверяется выбор адаптера и запрашивается одна метка, а не отчёт вероятностей. Для вероятностей следуйте примеру параллельной работы адаптеров в карточке модели, проверенной 18 октября 2026 года: убедитесь, что метки занимают один токен, запросите их logprob_token_ids и нормализуйте значения по кандидатам. В документации считывания адаптера решений, проверенной 18 октября объясняется softmax по вариантам. Не заменяйте это предложением чата «я уверен на 95%».

Сделайте три процесса проверяемыми, а не просто автоматическими

Ниже приведены примеры, а не отчёты о проведённых испытаниях. Начинайте с результатов, которые помогают человеку проверить работу; добавляйте действия с последствиями только после оценки репрезентативных случаев.

Маршрутизация голосового сообщения клиента. Используйте ASR, чтобы зафиксировать просьбу, чат — чтобы подготовить нейтральное резюме, а вопрос для адаптера решений — чтобы выбрать между заменой товара, поддержкой аккаунта и передачей человеку. Свяжите оригинальную запись с проверенным транскриптом. Фраза «не отменяйте мой заказ» должна стать специальным тестом до появления автоматизации отмены, а не после.

Критерий приёмки конкретен: подходит ли выбранная очередь сказанным словам, и может ли сотрудник поддержки исправить выбор до отправки чего-либо? Флаг безопасности может запросить дополнительную проверку, но не должен молча отбрасывать жалобу недовольного клиента.

Преобразование статуса проекта в черновик задачи. Представьте, что коллега в английской записи говорит: «I can review the draft Friday, but I cannot approve the budget.» Попросите чат разделить обязательства и исключения, затем спросите адаптер решений, есть ли одобрение бюджета: да, нет или неясно. Оставляйте вариант «неясно», если записи или контекста недостаточно. Перед добавлением задачи в общий трекер человек проверяет дату и ответственного.

Подготовка списка уточнений после интервью. С разрешения собеседника расшифруйте короткий фрагмент интервью на английском и составьте вопросы о недостающих деталях. Используйте ограниченные формулировки вроде «Названа ли в этом фрагменте конкретная дата доставки?» вместо «Можно ли доверять этому человеку?». Сохраняйте фрагмент, обосновывающий каждый флаг. Так можно разрешать разногласия, не превращая интерпретацию модели в оценку собеседника.

Авторская схема процесса: сохраните аудио и транскрипт, создавайте производные результаты отдельно и проверяйте их до действия. Она иллюстрирует описанные сценарии, а не официальный интерфейс; каскад описан в руководстве по аудио, проверенном 18 октября 2026 года.

Как несколько возможностей используют общий контекст?

Кэш ключей и значений хранит информацию внимания, вычисленную для предыдущих токенов. Активируемая LoRA (aLoRA) позволяет специальному адаптеру включаться после общего контекста, не требуя обычной для адаптера повторной обработки всего префикса. IBM объяснила этот подход в исследовательской публикации от 17 апреля 2025 года. Исследование IBM об aLoRA.

Switch использует нормализованное состояние кэша базовой модели, чтобы специализированные адаптеры не использовали приватное адаптированное состояние друг друга. На уровне приложения сохраняйте одинаковый префикс с доказательствами и добавляйте вопрос для конкретной задачи. Если по-разному переписывать транскрипт для каждой проверки, повторное использование префикса становится менее эффективным. Документация механизма Switch, проверена 18 октября 2026 года.

Общий кэш — механизм эффективности, а не бесплатный инференс. Кэширование префикса экономит повторную обработку промпта, но не отменяет генерацию ответов и распознавание аудио. Документация vLLM по кэшированию префиксов, проверена 18 октября 2026 года. Наш вывод: сравнивайте целые процессы с проверкой результата, а не отдельные громкие цифры скорости.

Рассчитывайте полный рабочий объём, а не только веса 8B

Для планирования: 8 млрд параметров по два байта занимают около 16 ГБ, или 14,9 ГиБ; 30 млрд — около 60 ГБ, или 55,9 ГиБ. Это арифметические примеры для базовых весов, а не размеры чекпойнтов или минимальные требования к VRAM. Здесь не учтены адаптеры, речевой энкодер, кэш, временные буферы и накладные расходы среды выполнения.

Больший контекст и больше параллельных последовательностей усиливают нагрузку на память. Рекламный предел контекста модели не означает, что его следует выделять для первого эксперимента. В документации vLLM предлагается уменьшать max_model_len и max_num_seqs для контроля памяти. Руководство vLLM по памяти, проверено 18 октября 2026 года.

Авторский перечень памяти, не пропорциональные доли: базовые веса + адаптеры + веса и активации ASR + KV-кэш + запас для среды выполнения и дисплея. В руководстве по аудио, проверенном 18 октября 2026 года, отмечено, что предварительное выделение кэша может оставить ASR недостаточно места.

Отдельно проверьте короткий чат, короткую запись и самый длинный обычный вход. Записывайте пиковое потребление памяти, время выполнения и ошибки. Снижение выделения под кэш может освободить место для речи, но не позволит уместить слишком большие веса. Для квантованного варианта нужна отдельная проверка совместимости с адаптерами Switch и аудио, а не только оценка меньшего размера загрузки.

Учитывайте стоимость и приватность при выборе развёртывания

Лицензия Apache-2.0 на модель не делает её эксплуатацию бесплатной. Локальный запуск расходует ресурсы оборудования, электричество, место на диске и время обслуживания; размещённая конечная точка добавляет плату провайдеру и условия обработки данных. Не предполагайте, что у Granite Switch существует универсальная цена за минуту. Для пилота делите общую стоимость вычислений и проверки на число успешно обработанных элементов, включая неудачные запросы и исправления.

Простой гипотетический бюджет нагляден: 10 часов у провайдера по 1 доллару в час — это 10 долларов вычислительных расходов без хранения, передачи данных и проверки человеком. Это иллюстративные исходные значения, не заявленный тариф сервиса. Учитывайте и часы простоя конечной точки.

Для чувствительных задач до записи определите, где будут находиться аудио, транскрипты, кэши, журналы и резервные копии. Привязка к loopback ограничивает сетевой доступ, но не задаёт правила хранения и не отключает телеметрию всех библиотек. Не выставляйте сервер в публичную сеть, проверяйте зависимости и журналирование, получайте согласие говорящих и отдельно задавайте удаление исходного аудио и производных записей. Размещённое демо удобно для обучения, но не является местом по умолчанию для конфиденциальных встреч.

Исправляйте сбой на его этапе, а не меняйте весь стек

Архитектура неизвестна. Проверьте, что виртуальная среда содержит granite-switch, что vLLM запущен из этой среды, а VLLM_PLUGINS включает register_granite_switch. Прочитайте исходную ошибку импорта плагина до замены пакетов.

Чат работает, аудио нет. Проверьте идентификатор версии с поддержкой аудио, зависимости [audio] и настоящий WAV, а не файл с изменённым расширением. Сверьте версию Transformers и доступную память. Установка библиотек декодирования не превратит текстовую предварительную версию в аудиочекпойнт.

Неверные имена или пунктуация. Встроенный английский CTC-распознаватель по умолчанию выдаёт строчные слова без пунктуации и не позволяет задать язык при декодировании. Сохраняйте исходный текст; восстановление пунктуации — производная правка. Ошибки транскрибации могут переходить в последующие решения каскада. Ограничения аудио, проверены 18 октября 2026 года.

Длинная запись не помещается в контекст. Сократите вход или разделите его на осмысленные части, сохраняя ссылки на оригинал. Транскрипт расходует текстовый контекст; оставьте достаточно места для вопроса и ответа. Увеличение лимита контекста также меняет бюджет памяти.

Что нужно знать, прежде чем полагаться на модель?

Может ли она произносить ответы вслух? Этот встроенный речевой процесс выполняет ASR, а не синтез речи. Приложению с голосовым выводом нужен отдельный компонент TTS.

Может ли она расшифровывать все 12 языков чата? Не со встроенным английским распознавателем. В руководстве по аудио описана замена бэкенда ASR для многоязычного ввода; это другая конфигурация, которую нужно отдельно оценивать.

Означает ли вероятность варианта 0,95, что правильность в реальном мире составляет 95%? Нет. Она выражает распределение модели по заданным вариантам, а не подтверждённую долю успеха в вашей области. Отсутствующие варианты, плохие транскрипты и неоднозначные вопросы всё равно могут привести к явному предпочтению. До автоматизации оценивайте размеченные примеры и определите правила воздержания от ответа. Документация адаптера решений, проверена 18 октября 2026 года.

Доказывает ли Guardian истинность ответа? Нет. Проверка безопасности не равна проверке фактов. Готовая комплектация не включает всех специалистов из более широкой коллекции Granite Libraries; прежде чем проектировать процесс проверки достоверности, изучите перечень адаптеров.

Главное: даже единой конечной точке нужна доказательная цепочка

Granite Switch 4.1 особенно полезен, когда чат объясняет, речь даёт проверяемые слова, а ограниченные решения помогают организовать дальнейшую работу. Модульный способ обслуживания сокращает дублирование инфраструктуры; согласие, доказательства и право на действие по-прежнему остаются ответственностью вашего процесса.

Начните с одной короткой записи и одного обратимого решения. Расширяйте процесс лишь тогда, когда ответственный за результат может понять транскрипт, интерпретацию и действие.

Источники

Дата выпуска: статья IBM опубликована 15 октября 2026 года; карточка модели 8B указывает дату 14 октября 2026 года. Ссылки на документацию проверены 18 октября 2026 года. Инструкции по установке основаны на первичной документации, а не на результатах практических замеров. Схемы — авторские; изображения поставщика не воспроизводятся.

• Анонс IBM, карточка 8B, карточка 30B и карточка предварительной версии 3B: масштаб релиза и различия чекпойнтов.
• Репозиторий Granite Switch, закреплённые требования пакета и руководство по аудио: установка, архитектура и ограничения распознавания речи.
• Официальное демо речи, документация демо и официальная тетрадь для сравнения гонки aLoRA: материалы для ознакомления, а не результаты измерений в этой статье.
• Объяснение aLoRA от IBM от 17 апреля 2025 года и документация vLLM: обсуждаемые механизмы и требования эксплуатации.

Храните источники рядом с решениями

Сохраняйте исходные записи, заметки и проверенные результаты вместе, чтобы у последующих решений оставался контекст. Создайте аккаунт Telli.sh, чтобы упорядочить эти материалы по мере развития процесса.