Может ли генератор изображений найти стул, который умеет рисовать?
Open Vision Banana сводит сегментацию и оценку глубины к редактированию изображений. Разберём контрольные точки, условия тестов и способ проверить модели на своих примерах.
Мебельный магазин хочет заменить фон на фотографии комнаты. Редактору нужно знать, где заканчивается стул, какая часть растения перекрывает его и уходит ли ковёр за ножки. Генератор может нарисовать убедительный новый интерьер. Для надёжного выделения уже существующего стула из окружения этого умения недостаточно.
Авторы Open Vision Banana предлагают решать такие задачи восприятия через редактирование изображений. Они адаптировали генераторы FLUX.2 [klein] Base с 4 и 9 млрд параметров, чтобы разные типы ответов можно было представить в RGB. Маска выделяет области, а изображение глубины кодирует расстояния между поверхностями в представлении модели. Формат вывода общий, но задачи и способы измерять ошибки различаются. Препринт от 11 ноября 2026 года.
Это полезное различие. Одна базовая модель может решать несколько зрительных задач, но каждый результат должен пройти свою проверку. Редакторам нужно выяснить, пригодна ли маска для композитинга и сохраняет ли приблизительная карта глубины нужный порядок объектов. Сравним эти задачи на фотографии комнаты.
Сегментация и глубина могут использовать один формат и отвечать на разные вопросы об одном снимке.
Один снимок даёт разные типы ответов
Семантическая сегментация распределяет пиксели по категориям, например «стул» и «пол». Сегментация экземпляров разделяет отдельные объекты одной категории, например почти одинаковые стулья слева и справа. Сегментация по описанию ищет область, соответствующую запросу вроде «стул у окна». Карта глубины отражает видимую удалённость предметов. Нормали к поверхностям описывают их ориентацию. Проект решает и эту задачу.
Open Vision Banana получает исходную картинку и запрос с задачей, а возвращает изменённое изображение с ответом. В запросе на сегментацию можно задать легенду, в которой классу соответствует цвет. Тогда метки в результате расшифровываются по этой легенде. Карту глубины декодируют и оценивают по другим правилам. Авторы считают важными формулировку запросов, кодирование цвета, адаптацию параметров и подбор задач для совместного обучения. Несколько удачных по отдельности решений вместе могут уступить другой конфигурации.
На снимке комнаты хорошая маска помогает заменить фон, сохранив контуры стула. Приблизительная глубина может подсказать дизайнеру, как поместить новый элемент за стулом, но перед стеной. Проверки для этих случаев разные. Гладкая карта может ошибочно разместить перекрывающее стул растение позади него. Визуально удачная карта области стула может пропустить тонкие ножки, без которых итоговый монтаж не годится.
| Результат | Что проверить на снимке комнаты | Какую ошибку можно пропустить при просмотре |
|---|---|---|
| Маска класса | Стул отделён от пола и стен | Исчезли тонкие ножки или просвет под сиденьем |
| Маска по описанию или экземпляру | Нужный стул отделён от остальных | Категория верна, а выбран другой стул |
| Оценка глубины | Сохраняется нужный порядок переднего и заднего плана | На гладкой карте объект, который заслоняет другой, оказался позади него |
В галерее собраны результаты авторов исследования. Сцена со стулом приведена для примера. Маска на вашем снимке лучше покажет, подходит ли метод для работы, чем удачная иллюстрация, выбранная исследователями.
Высокий балл зависит от протокола измерения
По семантической сегментации Cityscapes авторы сообщают 73,9 mIoU у своей zero-shot-модели на 9 млрд параметров. Для Vision Banana ранее сообщалось 69,9. mIoU — усреднённое по протоколу теста отношение пересечения предсказанной и эталонной областей к их объединению. В Cityscapes исследователи объединяли результаты 20 прогонов. В каждом использовали разные соответствия цветов и классов, а затем сводили ответы. Один прогон и двадцать требуют разного времени и ресурсов. Официальное описание оценки.
В статье приведены случаи, когда такое голосование повышало балл без изменения весов. Это результат в условиях авторского теста. Начните с простой конфигурации и посмотрите, устраняют ли дополнительные прогоны важную для вас ошибку. Если каждый раз пропадает тонкая прозрачная кромка, голосование не заменит подходящий инструмент. Оно может помочь, когда нестабильность вызвана формулировкой запроса или привязкой классов к цветам. Для этого метод и разработали.
Документация различает обучающие смеси zero-shot и non-zero-shot. Во вторую могут входить обучающие выборки оценочных наборов. В первую, по описанию проекта, эти выборки не входят. Заголовок, который сопоставляет похожие числа, может скрыть разницу. Кроме того, в отдельных запусках для сегментации экземпляров другая модель проверяет наличие объекта. В ReasonSeg используются переформулированные запросы. По словам авторов, на сегментации экземпляров отставание от Vision Banana остаётся заметнее. Оценивайте результаты по протоколам отдельных тестов.
Показатели глубины тоже требуют пояснения. В тесте NYUv2 проект выравнивает значения обратной глубины отдельно для каждого снимка. Это позволяет сравнивать отдельные свойства относительной глубины в рамках протокола. Высокая оценка после выравнивания не даёт размеров в сантиметрах. Дизайнер может проверить, что находится на переднем плане. Для абсолютных измерений, оценки зазоров у робота и решений о физической безопасности нужны системы, разработанные и проверенные для этих задач.
Даже убедительный результат нужно проверить по границам объектов и в местах перекрытия.
Общая модель сокращает работу по интеграции, но требует своей проверки
Подход стоит попробовать, даже если специализированный инструмент всё ещё лучше справляется с одной из задач. Маску, изображение глубины и правку можно запрашивать похожим способом, используя одно семейство моделей в исследовательском проекте. В статье отмечается, что адаптированные модели в основном сохраняют исходную способность к редактированию. Можно испытать, как одна система строит маску и предлагает правку на связанных данных. Прежде чем убирать инструмент, который уже хорошо выполняет одну из операций, проверьте оба результата.
Попросите генератор и специализированную модель выделить один и тот же предмет. Запишите, удалось ли без лишней обработки преобразовать результат в альфа-маску, которую принимает редактор. Отдельно считайте ошибки на волосах, стекле, просветах и тенях и ошибки на больших непрозрачных областях. Снимок письменного стола может хорошо обработаться за один прогон. В каталоге с отражающей мебелью затраты на проверку и исправления могут превысить пользу от общей модели.
В каждой из серий 4B и 9B опубликованы варианты zero-shot и non-zero-shot. Версия меньшего размера подходит для небольшого испытания, а точный объём нужной памяти зависит от условий. Расход ресурсов определяется конвейером, разрешением, точностью, средой выполнения и числом прогонов. Фиксируйте эти настройки, чтобы не принять их изменение за эффект от смены модели. Сравнивайте полное время до приемлемого результата.
Команда публикует код и инструкции и галерею результатов. Код распространяется по Apache 2.0, опубликованные веса — по FLUX Non-Commercial License. У данных остаются изначальные лицензии. Открытая загрузка весов полезна для исследования. Для работы с коммерческим каталогом сначала уточните права. Испытание ниже поможет изучить метод, а перед внедрением нужно получить разрешения, соответствующие применению.
Начните со снимков, на которых ошибку легко заметить
Для первичного сравнения хватит небольшого набора. Возьмите свои фотографии или материалы, которые вам разрешено обрабатывать. На них целевой предмет и приблизительный порядок планов должны быть понятны без помощи модели. Подберите и простые контуры, и неоднозначные перекрытия. В сопоставимых запусках оставляйте неизменными размер изображения и запрос. Это поможет понять, где и как метод ошибается, до расширения процесса, который может хорошо выглядеть лишь на отдельных примерах.
- Вручную отметьте несколько целевых объектов и мест перекрытия. Добавьте случай, в котором запрошенного предмета нет. Так проще заметить убедительное, но ложное выделение.
- Выберите и запишите контрольную точку, запрос, размер изображения и число прогонов. Проверьте специализированную и общую модель на одинаковых снимках.
- Проверьте итоговую маску или глубину в самой операции, для которой готовится результат. Чтобы оценить вырезанный объект, поместите его на контрастный фон.
- Отмечайте время исправления и частые типы ошибок. Оставьте специализированный инструмент в тех задачах, где общая модель добавляет ручную работу или скрывает существенную ошибку.
Если модель плохо выделила объект, но удачно отредактировала исходник, запишите оба наблюдения. Они отвечают на разные вопросы. Средний балл многозадачной системы может скрыть один слабый результат, из-за которого человеку придётся повторить следующий этап. Первое испытание должно показать, для каких конкретных решений результатам можно доверять.
Считайте то, что важно редактору. Например, сколько выбранных стульев пришлось подправлять вручную у ножек или каркаса и в скольких сценах сохранился порядок перекрытия. Десять ваших снимков не докажут высокую точность на любых данных. Зато они быстро покажут повторяющуюся ошибку на реалистичном исходнике, которую скрывает усреднённый рейтинг.
Проверьте и конечный формат конвейера. Маску в виде RGB-визуализации может понадобиться преобразовать в прозрачность. Убедитесь, что при преобразовании сохраняется нужная легенда классов, а в сохранённом файле нет неоднозначных пикселей. Храните исходное сгенерированное изображение отдельно от полученной маски, чтобы не принять ошибку преобразования за ошибку модели. Если меняете цветовую легенду, записывайте её рядом с результатом. Тогда цвета в файле можно будет правильно истолковать позже.
Другой возможный сценарий — библиотека визуальных референсов. Дизайнеру, который ищет «лампу между полками», может помочь подсказка области. Точность до пикселя здесь менее важна, чем в публикуемом изображении. Несколько вариантов на выбор могут быть полезнее одного автоматически вырезанного силуэта. Условия внедрения зависят от задачи. Пропуск предмета на доске вдохновения обходится иначе, чем незаметный дефект силуэта в композитинге.
Красивое изображение и точное распознавание требуют разных проверок
В творческом сценарии результату достаётся конкретная работа. Редактору нужна область, которая правильно ведёт себя в монтаже, а внешний вид маски сам по себе мало о чём говорит. Open Vision Banana интересен тем, что даёт одному семейству моделей несколько задач и публикует достаточно подробностей, чтобы проверить подход. Иногда достаточно посмотреть, все ли четыре ножки остались у стула после замены фона.
Источники
- Препринт Open Vision Banana, впервые подан 11 ноября 2026 года
- Страница исследовательской команды и галерея результатов
- Официальные код, контрольные точки, протоколы оценки и лицензии
Соберите тестовые снимки, запросы и результаты сравнения в одном месте. Создайте первую заметку в Telli.sh.