Bisakah generator gambar menemukan kursi yang biasanya ia gambar?
Open Vision Banana menjadikan segmentasi dan kedalaman sebagai tugas penyuntingan gambar. Bandingkan checkpoint penelitian, syarat tolok ukur, dan cara mengujinya pada foto Anda.
Sebuah peritel furnitur ingin mengganti latar foto ruangan. Penyunting harus tahu batas kursi, bagian tanaman yang menutupinya, dan apakah karpet lewat di belakang kaki kursi. Generator bisa menggambar ruang baru yang meyakinkan. Itu belum tentu membuatnya andal dalam membuat mask yang memisahkan kursi asli dari benda-benda di sekitarnya.
Dalam pracetak 11 November 2026, penulis Open Vision Banana memperlakukan tugas persepsi semacam itu sebagai penyuntingan gambar. Mereka mengadaptasi generator FLUX.2 [klein] Base dengan 4 miliar dan 9 miliar parameter untuk menyatakan berbagai jawaban sebagai keluaran RGB. Pada mask, keluarannya menandai wilayah. Pada kedalaman, warna mengodekan hubungan jarak permukaan dalam representasi model. Format keluarannya sama, tetapi tugas dan cara mengukur kesalahan tetap berbeda.
Di situlah letak manfaat penelitian ini. Fondasi yang sama bisa mengerjakan beberapa tugas penglihatan, tetapi hasilnya tetap harus lolos pengujian masing-masing. Bagi tim penyunting, pertanyaannya antara lain apakah mask cocok untuk komposit, dan apakah peta kedalaman perkiraan mempertahankan urutan bidang yang diperlukan. Artikel ini memakai foto ruangan sebagai contoh untuk membuat perbandingan tersebut.
Segmentasi dan kedalaman bisa berbagi format keluaran sambil menjawab pertanyaan berbeda tentang gambar yang sama.
Ada beberapa cara mengubah gambar menjadi jawaban
Segmentasi semantik mengelompokkan piksel ke kategori, misalnya kursi atau lantai. Segmentasi instans berusaha memisahkan objek individual dalam kategori yang sama: kursi di kiri berbeda dari kursi yang hampir identik di kanan. Segmentasi berdasarkan rujukan dimulai dari deskripsi, seperti kursi di samping jendela, lalu mencari wilayah yang cocok. Peta kedalaman menggambarkan jarak yang terlihat. Normal permukaan menggambarkan orientasi, tugas lain yang didukung proyek ini.
Open Vision Banana menerima gambar dan instruksi tugas, lalu menghasilkan gambar suntingan yang membawa jawaban. Prompt segmentasi bisa menentukan legenda yang memetakan kelas ke warna. Label hasil kemudian ditafsirkan memakai legenda itu. Keluaran kedalaman dibaca dan dinilai dengan aturannya sendiri. Para penulis menyebut desain prompt, pengodean warna, adaptasi parameter, dan pilihan campuran tugas sebagai bagian penting dari resep pelatihan. Menggabungkan beberapa pilihan yang tampak baik secara terpisah belum tentu menghasilkan model multitugas terbaik.
Pada foto ruangan itu, mask yang bermanfaat bisa membantu mengganti latar sembari mempertahankan tepian kursi. Perkiraan kedalaman bisa membantu desainer menyusun elemen baru agar terlihat di belakang kursi dan di depan dinding. Keduanya perlu pemeriksaan berbeda. Peta yang tampak halus tidak membantu jika tanaman yang menutupi kursi justru diletakkan di sisi yang salah. Gambar yang menandai wilayah kursi secara umum masih bisa menghilangkan kaki tipis yang dibutuhkan untuk komposit akhir.
| Keluaran | Yang diperiksa pada foto ruangan | Kesalahan yang bisa tersembunyi dalam pratinjau |
|---|---|---|
| Mask kelas | Piksel kursi terpisah dari lantai dan dinding | Kaki tipis atau celah di bawah kursi hilang |
| Mask rujukan atau instans | Kursi yang diminta terpisah dari kursi lain | Kategori benar, tetapi objek individual salah |
| Perkiraan kedalaman | Urutan latar depan dan belakang masih berguna | Peta halus menaruh objek penutup di belakang benda yang salah |
Galeri menautkan ke keluaran para penulis. Skenario di atas hanya contoh. Menguji potongan kursi pada gambar sendiri lebih membantu menilai kecocokan alur kerja daripada melihat contoh menarik yang dipilih tim penelitian.
Skor tinggi datang dengan protokol pengujian
Pada segmentasi semantik Cityscapes, penulis melaporkan mIoU 73.9 untuk model zero-shot 9B, dibanding angka 69.9 yang sebelumnya dilaporkan untuk Vision Banana. Mean intersection over union mengukur tumpang tindih wilayah prediksi dan rujukan, lalu merata-ratakannya sesuai tolok ukur. Catatan evaluasi resmi menyatakan bahwa hasil Cityscapes memakai 20 kali inferensi dengan ensemble legenda. Warna kelas yang sama dipertukarkan lalu hasilnya diselaraskan. Satu dan 20 kali inferensi mempunyai biaya dan latensi berbeda.
Makalah melaporkan contoh ketika pemungutan suara ini meningkatkan skor tanpa mengubah bobot. Itu bukti untuk konfigurasi tolok ukur yang dipakai penulis, bukan jaminan untuk foto Anda. Mulailah dengan konfigurasi sederhana dan lihat apakah percobaan tambahan membantu pada kesalahan yang ingin diatasi. Jika setiap percobaan gagal melihat tepian tipis yang tembus pandang, voting mayoritas tidak menggantikan alat yang lebih cocok. Teknik itu dirancang untuk membantu ketika ketidakstabilan berasal dari hubungan antara instruksi, legenda, dan kelas.
Dokumentasi juga membedakan campuran data latih zero-shot dan non-zero-shot. Yang kedua bisa memuat bagian latih dari tolok ukur evaluasi. Menurut proyeknya, varian zero-shot mengecualikan bagian latih tersebut. Judul yang sekadar membandingkan angkanya mudah menghapus perbedaan itu. Beberapa uji segmentasi instans juga memakai model lain untuk memastikan objek ada, sementara ReasonSeg menggunakan penulisan ulang kueri. Makalah menyebut hasilnya masih tertinggal lebih jauh dari Vision Banana pada segmentasi instans. Baca tolok ukur sebagai kumpulan protokol, bukan satu grafik dengan satu pemenang untuk semuanya.
Angka kedalaman punya konteks sendiri. Evaluasi NYUv2 proyek ini menyelaraskan disparitas per gambar. Itu memungkinkan perbandingan aspek penting dari kedalaman relatif sesuai protokol. Skor tinggi setelah penyelarasan bukan alat ukur jarak. Tim desain bisa memeriksa benda mana yang di depan, tetapi pengukuran absolut, ruang bebas robot, dan keselamatan fisik memerlukan sistem yang dibuat dan diverifikasi untuk keputusan tersebut.
Keluaran yang tampak baik tetap perlu diperiksa sesuai tugasnya, terutama pada tepian dan daerah yang tumpang tindih.
Satu editor bisa mengurangi kode penghubung sambil menambah biaya lain
Ada alasan menguji pendekatan ini walau model spesialis masih lebih baik pada suatu tugas. Anda mungkin bisa meminta mask wilayah, peta kedalaman, dan hasil suntingan dengan cara serupa, sambil memakai satu keluarga model untuk penelitian. Para penulis mengatakan model adaptasi sebagian besar mempertahankan kemampuan menyunting dari model dasar. Itu membuka percobaan untuk menghasilkan mask dan menyusun suntingan dari masukan yang berkaitan. Periksa kedua keluaran sebelum mengganti alat yang sudah andal pada salah satunya.
Bandingkan generator dan model khusus mask pada objek yang sama. Periksa apakah keluarannya bisa dikonversi menjadi mask alfa sesuai kebutuhan penyunting. Hitung kesalahan pada rambut, kaca, celah, dan bayangan secara terpisah dari kesalahan pada permukaan besar yang tidak tembus pandang. Pada foto meja, satu percobaan mungkin sudah cukup. Untuk katalog penuh furnitur mengilap, waktu meninjau dan merapikan hasil bisa melebihi manfaat memakai satu model bersama.
Keluarga checkpoint 4B dan 9B sama-sama menyediakan varian zero-shot dan non-zero-shot. Checkpoint kecil layak dicoba untuk uji terbatas, tetapi ukuran parameternya tidak menjamin kebutuhan memori tertentu. Pemakaian sumber daya menyeluruh bergantung pada pipeline, resolusi, presisi, lingkungan eksekusi, dan jumlah percobaan. Catat faktor-faktor itu agar perubahan model tidak tertukar dengan perubahan konfigurasi. Bandingkan total waktu hingga hasil layak, bukan hanya prediksi tercepat.
Tim menerbitkan kode dan panduan penyiapan serta galeri keluaran. Repositori menyebut Apache 2.0 untuk kodenya dan FLUX Non-Commercial License untuk bobot yang dirilis. Dataset tetap mengikuti lisensi asal masing-masing. Bobot yang bisa diunduh berguna untuk riset, tetapi belum tentu boleh digunakan untuk proyek katalog komersial. Pelajari pendekatannya lewat percobaan ini dan peroleh izin sesuai tujuan sebelum mengadopsinya.
Mulai dari gambar yang membuat kesalahan terlihat
Perbandingan riset awal bisa dilakukan dalam skala kecil. Pakai foto milik sendiri atau yang boleh Anda olah, dengan objek sasaran dan perkiraan posisi depan-belakang yang bisa dikenali tanpa model. Sertakan siluet sederhana dan tumpang tindih yang ambigu. Pertahankan ukuran gambar dan instruksi tugas pada setiap percobaan yang dibandingkan. Tujuannya mengenali tugas mana yang gagal dan dalam kondisi apa, sebelum memperbesar alur yang mungkin hanya tampak andal pada contoh pilihan.
- Tandai beberapa objek dan bagian yang tertutup secara manual. Sertakan satu sasaran yang tidak ada agar hasil positif palsu mudah diketahui.
- Pilih dan catat checkpoint, prompt, ukuran gambar, serta jumlah inferensi. Bandingkan spesialis dan model bersama pada gambar yang sama.
- Periksa mask atau kedalaman dalam operasi yang akan memakainya. Untuk potongan, coba pada latar kontras alih-alih hanya menilai mask.
- Catat waktu perbaikan dan kelompokkan kesalahan yang berulang. Pertahankan spesialis jika model gabungan menambah pekerjaan atau menyamarkan kesalahan penting.
Jika suatu model menghasilkan mask yang buruk tetapi suntingan asli yang meyakinkan, simpan kedua pengamatan. Keduanya menjawab pertanyaan berbeda. Pada proyek multitugas, skor rata-rata bisa menyembunyikan satu keluaran lemah yang membuat seseorang harus mengulang tahap berikutnya. Tugas pertama uji coba adalah menentukan beberapa keputusan yang bisa dibantu model secara andal, bukan memenuhi satu slide dengan sebanyak mungkin kemampuan.
Ukur kasus yang penting bagi penyunting. Hitung berapa kursi sampel yang perlu dirapikan manual di kaki atau rangkanya, dan berapa adegan mempertahankan urutan tumpang tindih pada perbandingan. Sepuluh foto sendiri tidak cukup untuk membuktikan akurasi umum. Namun sampel ini dapat menghemat waktu dengan menunjukkan bahwa sebuah gambar realistis berulang kali menyingkap masalah yang tertutup oleh rata-rata tolok ukur.
Periksa pula hasil akhir pipeline. Mask dalam bentuk visualisasi RGB mungkin harus dikonversi agar bisa dipakai sebagai transparansi. Pastikan konversi menjaga legenda kelas dan penyimpanan gambar tidak menimbulkan piksel ambigu. Simpan gambar hasil generasi dan mask turunannya secara terpisah agar bug konversi tidak disalahartikan sebagai kegagalan model. Saat mengganti legenda warna, simpan legenda itu bersama hasil agar warnanya bisa dibaca dengan benar nanti.
Contoh penggunaan kedua adalah perpustakaan referensi visual. Desainer yang mencari “lampu di antara rak” bisa terbantu oleh saran wilayah tanpa membutuhkan ketepatan piksel setara gambar yang akan diterbitkan. Beberapa kandidat yang bisa dipilih desainer mungkin lebih membantu daripada satu potongan yang terlihat meyakinkan. Kelayakan penerapan bergantung pada pekerjaannya: sesekali melewatkan benda di papan inspirasi berbeda akibatnya dari mengirim siluet yang tidak lengkap kepada penyunting komposit.
Tampilan yang baik tidak sama dengan penglihatan yang andal
Contoh kreatif ini meyakinkan karena keluaran memiliki tugas konkret. Penyunting membutuhkan wilayah yang bekerja semestinya dalam komposit, bukan sekadar gambar yang menyerupai wilayah. Open Vision Banana layak diikuti karena satu keluarga model bisa mencoba beberapa tugas dan resepnya cukup terbuka untuk diuji. Ujinya bisa sesederhana memeriksa apakah empat kaki kursi tetap utuh setelah latarnya diganti.
Sumber
- Pracetak Open Vision Banana, pertama diajukan 11 November 2026
- Proyek tim peneliti dan galeri keluaran
- Kode, checkpoint, protokol evaluasi, dan catatan lisensi resmi
Atur foto uji, prompt, dan catatan perbandingan saat mengevaluasi alur kerja visi. Buat catatan pertama Anda dengan Telli.sh.