AI Models7분 분량

이미지를 생성하는 모델은 자신이 그릴 법한 의자도 찾을 수 있을까?

Open Vision Banana는 분할과 깊이 추정을 이미지 편집 문제로 다룹니다. 연구용 체크포인트와 벤치마크 조건을 비교하고 직접 평가하는 방법을 소개합니다.

K
Ken Jo

가구 판매업체가 방 사진의 배경을 바꾸려 합니다. 편집자는 의자의 윤곽이 어디까지인지, 어떤 부분이 화분에 가려지는지, 러그가 의자 다리 뒤로 이어지는지 알아야 합니다. 생성 모델은 그럴듯한 새 방을 그릴 수 있습니다. 그렇다고 사진 속 의자를 주변에서 정확히 분리해 주는 마스크까지 잘 만든다고 볼 수는 없습니다.

Open Vision Banana의 저자들은 2026년 11월 11일 공개한 프리프린트에서 이런 시각 인식 과제를 이미지 편집 문제로 다룹니다. 매개변수 40억 개와 90억 개의 FLUX.2 [klein] Base 이미지 생성기를 조정해 여러 종류의 답을 RGB 이미지로 출력합니다. 마스크는 영상 속 영역을 나타냅니다. 깊이 출력은 모델의 표현 방식에 따라 표면 간 상대 거리를 담습니다. 출력 형식은 같지만 과제와 오류 측정 방식은 서로 다릅니다.

하나의 기반 모델에 여러 시각 작업을 맡기더라도 결과는 각각의 기준을 통과해야 합니다. 이미지 편집팀이라면 합성에 쓸 만큼 마스크가 정교한지, 근사 깊이 지도가 편집에 필요한 앞뒤 순서를 보존하는지 확인해야 합니다. 방 사진 한 장으로 그 차이를 평가하는 방법을 살펴봅니다.

방 사진을 기반으로 마스크와 깊이를 별도의 RGB 이미지로 표현한 예시

분할과 깊이는 같은 출력 형식을 쓰면서도 한 이미지에 관한 서로 다른 질문에 답합니다.

사진 한 장에서 여러 종류의 답을 얻을 수 있다

의미 분할은 픽셀에 의자나 바닥 같은 범주를 부여합니다. 인스턴스 분할은 범주가 같은 개별 물체를 구별합니다. 왼쪽 식탁 의자와 오른쪽의 거의 똑같은 의자를 따로 표시하는 식이죠. 지시 대상 분할은 ‘창가 옆 의자’ 같은 묘사를 입력받아 해당 영역을 찾습니다. 깊이 지도는 장면에서 보이는 거리 관계를 나타냅니다. 표면이 어느 쪽을 향하는지 나타내는 표면 법선 추정도 이 프로젝트가 지원하는 과제입니다.

Open Vision Banana는 입력 이미지와 과제 프롬프트를 받아 답을 담은 편집 이미지를 내놓습니다. 분할 프롬프트에는 각 범주를 색에 연결하는 범례를 지정할 수 있습니다. 생성된 색상 표시는 그 범례에 맞춰 해석합니다. 깊이 출력은 별도의 규약에 따라 해독하고 평가합니다. 저자들은 프롬프트 설계, 색상 인코딩, 매개변수 조정, 과제 조합을 학습 방법의 중요한 요소로 꼽습니다. 각 요소에서 좋은 선택을 했다고 해서 이를 합친 다중 과제 모델이 늘 최선이라는 보장은 없습니다.

방 사진에서 쓸 만한 마스크라면 의자의 가장자리를 남긴 채 배경을 바꿀 수 있습니다. 새 소품이 의자 뒤에, 벽 앞에 배치되는 구도를 점검할 때는 깊이 추정도 도움이 될 수 있습니다. 두 작업의 품질 기준은 다릅니다. 깊이 지도가 매끄러워도 겹치는 화분을 의자 반대편에 배치한다면 쓸모가 없습니다. 대강 올바른 의자 영역이 보기 좋게 나와도, 합성에 필요한 가느다란 다리가 빠져 있을 수 있습니다.

출력방 사진에서 확인할 부분미리보기에서 놓치기 쉬운 오류
범주 마스크의자 픽셀이 바닥과 벽에서 분리되는지가느다란 다리나 의자 아래 틈이 사라짐
지시 대상 또는 인스턴스 마스크지정한 의자가 다른 의자와 구별되는지범주는 맞지만 다른 개체를 선택함
깊이 추정전경과 배경이 필요한 앞뒤 순서를 유지하는지매끄러운 지도에서 가리는 물체가 엉뚱한 물체 뒤에 배치됨

갤러리에는 저자들이 얻은 결과가 나와 있습니다. 위 상황은 설명을 위한 예시입니다. 연구팀이 고른 보기 좋은 샘플보다, 내가 편집할 방 사진에서 대상 물체를 직접 오려 보는 편이 작업 적합성을 더 잘 보여줍니다.

높은 점수에는 특정한 평가 조건이 따른다

저자들은 Cityscapes 의미 분할에서 제로샷 9B 모델의 mIoU가 73.9였다고 보고합니다. 앞서 공개된 Vision Banana의 수치는 69.9였습니다. 평균 교집합 대 합집합 비율인 mIoU는 예측 영역과 기준 영역의 겹침을 벤치마크 규칙에 따라 평균낸 값입니다. 공식 평가 문서에 따르면 Cityscapes 결과에는 범례 앙상블을 20회 적용했습니다. 실행마다 같은 범주에 다른 색을 부여한 다음 결과를 통합합니다. 한 번 실행하는 것과 스무 번 실행하는 것은 지연 시간도 비용도 다릅니다.

논문은 모델 가중치를 바꾸지 않고도 이런 투표가 점수를 올린 사례를 보고합니다. 저자가 설정한 벤치마크에서 얻은 결과이며 내 사진에서의 성능은 따로 확인해야 합니다. 단순한 설정을 먼저 실행한 뒤 추가 반복이 신경 쓰이는 실패를 줄이는지 확인하세요. 모든 실행에서 가늘고 투명한 가장자리가 빠진다면 다수결로 더 적합한 도구를 대신할 수는 없습니다. 프롬프트나 색상 범례와 범주의 연결이 불안정할 때 효과를 기대할 수 있습니다. 이 기법은 그런 문제를 줄이기 위해 설계됐습니다.

프로젝트 문서는 제로샷과 비제로샷의 학습 데이터 구성도 구분합니다. 비제로샷 구성은 평가 벤치마크의 학습 세트를 포함할 수 있습니다. 프로젝트 설명에 따르면 제로샷 구성은 해당 학습 세트를 제외합니다. 비슷해 보이는 숫자끼리만 비교하면 이 차이를 놓치기 쉽습니다. 일부 인스턴스 분할 실험에서 다른 모델이 물체의 존재 여부를 먼저 판별하고, ReasonSeg에서는 쿼리를 재작성합니다. 논문에 따르면 인스턴스 분할에서는 Vision Banana와의 성능 격차가 여전히 더 큽니다. 하나의 순위표로 전체 우열을 정하기보다 과제마다 어떤 평가 방식을 썼는지 살펴보세요.

깊이 수치도 그 평가 조건에 따라 읽어야 합니다. 프로젝트는 NYUv2에서 이미지별 시차를 정렬합니다. 이 과정을 거치면 벤치마크 조건에서 상대 깊이의 주요 특성을 비교할 수 있습니다. 정렬 후 높은 점수가 나와도 줄자로 잰 절대 거리까지 알 수 있는 건 아닙니다. 디자인팀은 어떤 물체가 앞에 있는지 점검할 수 있지만, 절대 치수나 로봇의 통과 여유, 물리적 안전에는 해당 결정을 위해 설계하고 검증한 시스템의 근거가 필요합니다.

마스크 가장자리, 정확한 대상 물체, 전경 순서를 확인하는 예시

결과가 보기 좋아도 물체 경계와 겹치는 부분은 과제별 기준으로 확인해야 합니다.

편집기를 공유하면 연결 코드는 줄고 다른 비용이 생길 수 있다

한 과제에서 전용 모델이 여전히 앞서더라도 이 접근법을 시험해 볼 이유는 있습니다. 한 연구 프로젝트에서 같은 계열 모델을 쓰고 비슷한 방식으로 영역 마스크, 깊이 이미지, 편집 결과를 요청할 수 있습니다. 논문은 조정한 모델이 기반 모델의 이미지 편집 능력을 대체로 유지한다고 보고합니다. 같은 시스템에서 관련 입력을 사용해 마스크를 만들고 편집안을 작성하는 실험이 가능해집니다. 지금 어느 한 작업이라도 잘해 내는 도구를 없애기 전에 두 결과를 모두 확인해야 합니다.

똑같은 대상에 대해 생성기 기반 실행과 전용 마스크 모델을 비교해 보세요. 결과를 편집기가 요구하는 알파 마스크로 깔끔하게 변환할 수 있는지 기록합니다. 머리카락, 유리, 틈새나 그림자에서 발생한 오류는 넓고 불투명한 표면의 오류와 구분해 셉니다. 책상 사진은 한 번에 충분한 결과가 나올 수 있습니다. 반사가 심한 가구가 많은 카탈로그라면 검사와 후처리 시간이 모델을 공유해서 얻는 편의보다 클 수 있습니다.

4B와 9B 체크포인트 계열에는 각각 제로샷과 비제로샷 버전이 있습니다. 작은 체크포인트는 제한된 평가에 적합한 후보지만 필요한 메모리 용량이 정해져 있다는 뜻은 아닙니다. 전체 자원 사용량은 파이프라인, 해상도, 정밀도, 실행 환경, 반복 횟수에 따라 달라집니다. 설정 변경과 모델 변경을 혼동하지 않도록 이 항목들을 함께 기록하세요. 가장 빠른 예측 시간보다 쓸 만한 결과를 얻기까지 걸린 전체 시간을 비교합니다.

연구팀은 코드와 설정 안내, 결과 갤러리를 공개합니다. 저장소는 코드에 Apache 2.0, 공개 가중치에 FLUX Non-Commercial License를 표시합니다. 데이터에는 기존 라이선스가 그대로 적용됩니다. 내려받을 수 있는 가중치는 연구에 유용하지만 상업용 카탈로그에도 쓸 수 있다는 뜻은 아닙니다. 아래 시험으로 방법을 익히고 실제 도입 전 용도에 맞는 사용 권한을 확보하세요.

어디서 실패했는지 눈으로 확인할 수 있는 사진부터 고른다

짧은 연구 비교를 위해 많은 사진을 준비할 필요는 없습니다. 직접 찍었거나 사용할 수 있고, 모델의 도움 없이 대상과 대략적인 전경 순서를 알아볼 수 있는 사진을 고르세요. 윤곽이 쉬운 예와 물체가 애매하게 겹치는 예를 모두 포함합니다. 비교 실행에서는 이미지 크기와 과제 프롬프트를 고정합니다. 선별된 예에서만 잘 작동하는 작업 흐름을 확대하기 전에 어떤 과제에서 어떻게 실패하는지 파악하는 것이 목적입니다.

  1. 소수의 개별 대상과 가려지는 부분에 직접 표식을 붙입니다. 사진에 없는 대상도 하나 요청해 그럴듯한 오탐을 식별할 수 있게 합니다.
  2. 체크포인트, 프롬프트, 이미지 크기, 반복 횟수를 정해 기록합니다. 같은 이미지로 전용 모델과 공유 모델을 비교합니다.
  3. 마스크나 깊이 출력이 실제 편집 작업에서 잘 쓰이는지 확인합니다. 잘라낸 물체는 마스크만 보지 말고 대비가 큰 배경에 합성해 봅니다.
  4. 수정에 걸린 시간과 자주 실패한 유형을 기록합니다. 공유 모델이 편집 작업을 더 늘리거나 중요한 실수를 숨긴다면 전용 모델을 계속 사용합니다.

한 후보가 잘못된 마스크와 설득력 있는 원본 편집 결과를 동시에 내놓았다면 두 관찰을 모두 기록합니다. 서로 다른 질문에 대한 답이기 때문입니다. 여러 과제를 수행하는 프로젝트에서 평균 점수는 사람에게 다음 단계를 다시 시키는 취약한 출력 하나를 가릴 수 있습니다. 첫 시험의 목표는 슬라이드에 기능을 많이 나열하는 게 아니라, 새 모델이 믿을 만하게 지원할 수 있는 소수의 판단을 고르는 것입니다.

편집에 중요한 사례는 수치로 남깁니다. 예를 들어 다리나 프레임을 직접 손봐야 했던 의자가 몇 개였는지, 겹치는 물체의 앞뒤 순서를 유지한 장면이 몇 개인지 셀 수 있습니다. 내 사진 열 장으로 전반적인 정확도를 입증할 수는 없습니다. 다만 실제로 쓰는 사진에서 같은 실패가 계속 드러나는지 확인하면 시간을 아낄 수 있습니다. 공개 평가 순위의 평균에는 묻히기 쉬운 문제죠.

파이프라인을 거쳐 최종적으로 무엇이 나오는지도 비교합니다. RGB 시각화 형태로 저장된 마스크는 편집기에서 투명도로 쓰기 전에 변환해야 할 수 있습니다. 변환 후에도 지정한 범주 범례가 유지되는지, 저장된 이미지에 해석하기 어려운 픽셀이 생겼는지 확인하세요. 변환 버그를 모델의 실패로 오인하지 않게 생성 이미지와 파생 마스크를 분리해 보관합니다. 새 색상 범례를 시험할 때는 결과 옆에 범례도 남겨야 나중에 파일에 저장된 색을 올바르게 해석할 수 있습니다.

또 다른 예로 시각 참고 자료 모음을 생각해 볼 수 있습니다. ‘선반 사이 램프’를 찾는 디자이너에게는 출판에 필요한 정밀한 픽셀 경계 없이도 추천 영역이 도움이 됩니다. 이때 그럴듯하게 잘라낸 결과 하나를 자동으로 돌려주기보다 몇 개의 후보를 보여주고 디자이너가 고르게 하는 편이 더 쓸 만할 수 있습니다. 도입을 판단할 기준은 작업에 따라 달라집니다. 무드보드 자료 하나를 놓치는 일과, 합성 담당자에게 윤곽이 조금 빠진 결과를 넘기는 일의 비용은 다릅니다.

보기 좋은 출력과 정확하게 인식한 출력은 다르다

창작 작업을 예로 들면 출력의 역할이 분명해집니다. 편집자에게 필요한 것은 영역처럼 보이는 그림보다 실제 합성에서 정확한 경계를 유지하는 영역입니다. Open Vision Banana는 같은 모델 계열에 여러 작업을 맡길 수 있는 가능성을 보여주고 시험에 필요한 학습 방법도 공개했습니다. 배경을 바꿨을 때 의자의 다리 네 개가 그대로 남는지 보는 것만으로도 평가를 시작할 수 있습니다.

출처


시각 작업 방식을 평가하면서 시험 사진, 프롬프트, 비교 메모를 함께 정리해 보세요. Telli.sh에서 첫 노트 시작하기.


← 블로그로 돌아가기