Bolehkah penjana imej mengesan kerusi yang biasanya dilukisnya?
Open Vision Banana menjadikan segmentasi dan kedalaman sebagai tugas penyuntingan imej. Bandingkan checkpoint penyelidikan, syarat penanda aras dan cara mengujinya pada foto sendiri.
Sebuah peruncit perabot mahu menggantikan latar foto ruang tamu. Penyunting perlu tahu di mana sempadan kerusi, bahagian tumbuhan yang menutupinya dan sama ada permaidani berada di belakang kakinya. Penjana boleh melukis bilik baharu yang meyakinkan. Itu tidak semestinya menjadikannya sumber topeng yang boleh dipercayai untuk memisahkan kerusi yang sedia ada daripada benda di sekelilingnya.
Dalam pracetak 11 November 2026, pengarang Open Vision Banana menganggap tugas persepsi seperti ini sebagai penyuntingan imej. Mereka menyesuaikan penjana FLUX.2 [klein] Base yang mempunyai 4 bilion dan 9 bilion parameter supaya pelbagai jenis jawapan dipaparkan sebagai keluaran RGB. Bagi topeng, keluaran menandai kawasan. Bagi kedalaman, ia mengekod hubungan jarak antara permukaan dalam perwakilan model. Format keluaran dikongsi, tetapi tugas dan cara mengukur kesalahan tetap berbeza.
Di situlah gunanya penyelidikan ini. Asas yang sama boleh melakukan beberapa tugas visual, tetapi keputusan masih perlu memenuhi ujian bagi setiap tugas. Bagi penyunting, itu bermakna memeriksa sama ada topeng masih berguna apabila imej digabungkan dan sama ada peta kedalaman anggaran mengekalkan susunan yang diperlukan. Rencana ini menggunakan foto sebuah bilik sebagai contoh cara membuat perbandingan itu.
Segmentasi dan kedalaman boleh berkongsi format keluaran walaupun menjawab soalan berlainan tentang imej yang sama.
Ada lebih daripada satu cara menukar gambar menjadi jawapan
Segmentasi semantik mengelaskan piksel, misalnya sebagai kerusi atau lantai. Segmentasi tika berusaha memisahkan objek individu dalam kategori yang sama: kerusi di sebelah kiri berbeza daripada kerusi yang hampir serupa di sebelah kanan. Segmentasi berdasarkan rujukan bermula dengan perihalan seperti kerusi di sisi tingkap, kemudian mencari kawasan yang sepadan. Peta kedalaman menunjukkan jarak yang kelihatan. Vektor normal permukaan menerangkan orientasi, satu lagi tugas yang disokong oleh projek itu.
Open Vision Banana menggunakan imej masukan dan arahan tugas untuk menghasilkan imej suntingan yang membawa jawapan. Arahan segmentasi boleh menentukan petunjuk yang memetakan kelas kepada warna. Label yang dijana kemudiannya dibaca mengikut petunjuk tersebut. Keluaran kedalaman dinyahkod dan dinilai menggunakan kaedahnya sendiri. Pengarang menerangkan reka bentuk arahan, pengekodan warna, penyesuaian parameter dan campuran tugas sebagai bahagian yang mempengaruhi hasil latihan. Menggabungkan pilihan yang berkesan secara berasingan tidak semestinya menghasilkan model pelbagai tugas yang terbaik.
Dalam foto bilik itu, topeng yang baik membolehkan latar diganti sambil mengekalkan sempadan kerusi. Anggaran kedalaman boleh membantu pereka meletakkan unsur baharu di belakang kerusi tetapi di hadapan dinding. Dua contoh itu memerlukan semakan mutu berlainan. Peta kedalaman yang licin mungkin tidak berguna jika tumbuhan yang menutupi kerusi diletakkan di sebelah yang salah. Imej yang menunjukkan kawasan kerusi dengan agak tepat masih boleh menggugurkan kaki nipis yang diperlukan untuk gubahan akhir.
| Keluaran | Perkara yang patut diperiksa pada foto bilik | Kesalahan yang boleh tersembunyi dalam pratonton |
|---|---|---|
| Topeng kelas | Piksel kerusi terpisah daripada lantai dan dinding | Kaki nipis atau ruang di bawah kerusi hilang |
| Topeng rujukan atau tika | Kerusi yang diminta dapat dibezakan daripada kerusi lain | Kategori betul tetapi objek individu salah |
| Anggaran kedalaman | Susunan latar depan dan belakang kekal berguna | Peta licin meletakkan objek yang menutupi sesuatu di belakang objek yang salah |
Galeri memautkan contoh keluaran pengarang. Senario ini ialah ilustrasi. Ujian menyisihkan kerusi pada gambar sendiri memberi petunjuk kesesuaian kerja yang lebih baik daripada contoh menarik yang dipilih oleh pasukan penyelidikan.
Skor tinggi datang bersama protokol
Pada segmentasi semantik Cityscapes, pengarang melaporkan mIoU 73.9 bagi model zero-shot 9B, berbanding 69.9 yang dilaporkan terdahulu untuk Vision Banana. Purata persilangan berbanding kesatuan menerangkan pertindihan kawasan ramalan dan rujukan mengikut kaedah purata penanda aras. Catatan penilaian rasmi menyatakan keputusan Cityscapes menggunakan 20 laluan inferens dengan gabungan petunjuk warna. Warna untuk kelas yang sama ditukar antara percubaan dan hasilnya digabungkan. Satu laluan mempunyai kos dan kelengahan berbeza daripada 20 laluan.
Makalah melaporkan keadaan apabila undian itu meningkatkan skor tanpa mengubah pemberat model. Itu bukti tentang konfigurasi penanda aras pengarang, bukan jaminan untuk foto anda. Mulakan dengan konfigurasi mudah dan lihat sama ada percubaan tambahan membantu membaiki kesalahan yang menjadi keutamaan. Jika setiap laluan gagal mengesan sempadan lutsinar yang nipis, undi majoriti tidak menggantikan alat yang lebih sesuai. Ia boleh membantu apabila masalahnya ialah padanan yang tidak stabil antara arahan, petunjuk dan kelas.
Dokumentasi juga membezakan campuran latihan zero-shot dan bukan zero-shot. Campuran kedua boleh memasukkan bahagian latihan daripada penanda aras penilaian. Menurut projek, versi zero-shot mengecualikan bahagian itu. Tajuk yang hanya membandingkan nombor mudah menghapuskan perbezaan tersebut. Sesetengah ujian segmentasi tika juga menggunakan model lain untuk menentukan kehadiran objek manakala ReasonSeg menggunakan pertanyaan yang ditulis semula. Makalah menyatakan jurangnya daripada Vision Banana masih lebih besar untuk segmentasi tika. Anggap penanda aras itu himpunan protokol, bukan satu carta yang menentukan pemenang untuk semua tugas.
Angka kedalaman mempunyai konteks tersendiri. Projek menggunakan penjajaran dispariti bagi setiap imej dalam penilaian NYUv2. Ini membolehkan aspek penting kedalaman relatif dibandingkan dalam protokol itu. Skor tinggi selepas dijajarkan tidak memberikan ukuran fizikal. Pereka boleh menyemak objek mana di hadapan, tetapi ukuran mutlak, ruang bebas robot dan keselamatan fizikal memerlukan bukti daripada sistem yang dibina dan disahkan bagi keputusan tersebut.
Keluaran yang kelihatan baik masih perlu disemak mengikut tugasnya, khususnya pada sempadan dan kawasan yang bertindih.
Satu penyunting boleh mengurangkan kod penyambung dan menambah kos lain
Ada sebab untuk mencuba pendekatan ini walaupun alat khusus masih mendahului dalam satu tugas. Anda mungkin boleh meminta topeng kawasan, imej kedalaman dan suntingan dengan cara yang serupa sambil mengekalkan satu keluarga model dalam projek penyelidikan. Makalah menyatakan model yang disesuaikan sebahagian besarnya mengekalkan keupayaan menyunting imej daripada model asas. Ini membuka ruang untuk menghasilkan topeng dan menyediakan cadangan suntingan dengan masukan berkaitan. Sahkan kedua-dua keluaran sebelum menggantikan alat yang sudah cekap bagi salah satu tugas itu.
Bandingkan penjana dan model topeng khusus untuk objek yang sama. Catat sama ada keluaran boleh ditukar menjadi topeng alfa yang diterima alat penyunting anda. Kira kesilapan pada rambut, kaca, ruang kosong dan bayang secara berasingan daripada kesilapan pada permukaan legap yang besar. Untuk foto meja, satu laluan mungkin memadai. Untuk katalog yang penuh dengan perabot berkilat, masa memeriksa dan membaiki hasil mungkin mengatasi faedah menggunakan satu model.
Keluarga checkpoint 4B dan 9B masing-masing mempunyai keluaran zero-shot dan bukan zero-shot. Checkpoint yang lebih kecil ialah calon munasabah untuk penilaian terhad, tetapi saiz parameternya tidak menjamin penggunaan memori tertentu. Penggunaan sumber bergantung pada saluran pemprosesan, resolusi, ketepatan, persekitaran masa jalan dan bilangan laluan. Catat faktor ini supaya pertukaran model tidak dikelirukan dengan perubahan tetapan. Bandingkan jumlah masa hingga hasil boleh digunakan, bukan masa ramalan terpantas sahaja.
Pasukan menerbitkan kod dan arahan pemasangan serta galeri keluaran. Repositori menyenaraikan Apache 2.0 untuk kod dan FLUX Non-Commercial License untuk pemberat yang dikeluarkan. Data mengekalkan lesen asal masing-masing. Muat turun pemberat berguna untuk penyelidikan tetapi tidak bermakna fail itu sesuai untuk projek katalog komersial. Gunakan percubaan di bawah untuk memahami kaedahnya dan dapatkan kebenaran yang sepadan dengan penggunaan yang dirancang.
Mulakan dengan imej yang menampakkan kesalahan
Perbandingan awal boleh kekal kecil. Gunakan foto yang anda ambil atau dibenarkan untuk diproses, dengan objek yang dimaksudkan dan susunan anggaran latar depan yang boleh dikenal pasti tanpa bertanya kepada model. Pilih contoh siluet yang jelas dan contoh dengan pertindihan yang kabur. Kekalkan saiz imej dan arahan tugas untuk setiap ujian yang dibandingkan. Tujuannya ialah mengenal pasti tugas yang gagal dan sebabnya sebelum memperluas aliran yang mungkin hanya kelihatan boleh dipercayai pada contoh pilihan.
- Tanda beberapa objek dan pertindihan secara manual. Masukkan satu sasaran yang tiada supaya positif palsu yang kelihatan munasabah mudah dikesan.
- Pilih dan catat checkpoint, arahan, saiz imej dan bilangan laluan. Jalankan perbandingan alat khusus dengan model bersama pada imej yang sama.
- Semak topeng atau kedalaman dalam operasi yang sepatutnya dibantu. Bagi pemotongan, cuba hasil pada latar yang berbeza warna dan jangan menilai topeng sahaja.
- Catat masa membaiki hasil dan kumpulkan jenis kesalahan yang kerap berlaku. Kekalkan alat khusus jika model bersama menambah kerja penyuntingan atau menyembunyikan kesalahan penting.
Jika model menghasilkan topeng yang lemah tetapi suntingan imej yang meyakinkan, simpan kedua-dua pemerhatian. Kedua-duanya menjawab soalan yang berlainan. Dalam projek pelbagai tugas, skor purata boleh menyembunyikan satu kelemahan yang menyebabkan orang perlu mengulang langkah seterusnya. Tugas pertama rintis ialah mengenal pasti beberapa keputusan yang boleh disokong dengan baik, bukan memuatkan sebanyak mungkin kebolehan pada satu slaid.
Ukur perkara yang penting kepada penyunting. Sebagai contoh, kira kerusi pilihan yang perlu dibersihkan secara manual di kaki atau rangkanya, dan kira babak yang mengekalkan susunan pertindihan. Sepuluh imej sendiri tidak mencukupi untuk menentukan ketepatan secara menyeluruh. Namun ia boleh menjimatkan masa dengan menunjukkan bahawa imej yang realistik mendedahkan kesalahan yang terlindung oleh purata penanda aras.
Semak juga keluaran di penghujung aliran. Topeng yang disimpan sebagai visualisasi RGB mungkin perlu ditukar sebelum alat penyunting boleh menggunakannya sebagai ketelusan. Sahkan penukaran itu mengekalkan petunjuk kelas dan simpanan imej tidak menghasilkan piksel yang kabur maknanya. Simpan imej yang dijana berasingan daripada topeng terbitan supaya pepijat penukaran tidak disalah anggap sebagai kegagalan model. Apabila menukar petunjuk warna, catat petunjuk bersama hasil supaya fail tersebut dapat ditafsirkan dengan betul kelak.
Satu lagi penggunaan ialah perpustakaan rujukan visual. Pereka yang mencari “lampu di antara rak” mungkin mendapat manfaat daripada cadangan kawasan tanpa memerlukan ketepatan piksel untuk penerbitan. Dalam keadaan itu, beberapa padanan yang boleh dipilih pereka mungkin lebih berguna daripada mengembalikan satu keratan dengan penuh yakin. Soalan pelaksanaan berubah mengikut tugas: terlepas satu objek daripada papan inspirasi tidak sama kesannya dengan menyerahkan siluet yang tidak lengkap kepada penyunting komposit.
Kelihatan baik tidak sama dengan melihat dengan betul
Contoh kreatif ini meyakinkan kerana memberi setiap keluaran tugas sebenar. Penyunting memerlukan kawasan yang berfungsi dalam komposit, bukan sekadar imej yang menyerupai kawasan itu. Open Vision Banana patut diikuti kerana ia membawa beberapa tugas dalam jangkauan satu keluarga model dan menerbitkan cukup banyak butiran untuk menguji pendekatannya. Ujiannya boleh semudah melihat sama ada keempat-empat kaki kerusi kekal apabila latar ditukar.
Sumber
- Pracetak Open Vision Banana, mula diserahkan pada 11 November 2026
- Projek pasukan penyelidikan dan galeri keluaran
- Kod, checkpoint, protokol penilaian dan nota lesen rasmi
Susun foto ujian, arahan dan catatan perbandingan semasa menilai aliran kerja penglihatan. Mulakan catatan pertama anda dengan Telli.sh.