AI Modelsอ่าน 17 นาที

โมเดลสร้างภาพจะหาเก้าอี้ที่ตัวเองถนัดวาดเจอไหม?

Open Vision Banana เปลี่ยนการแบ่งส่วนภาพและการประเมินความลึกให้เป็นงานแก้ภาพ มาดูรุ่นโมเดลวิจัย เงื่อนไขที่ใช้วัดคะแนน และวิธีทดลองกับภาพจริง

K
Ken Jo

ร้านเฟอร์นิเจอร์อยากเปลี่ยนฉากหลังของภาพห้อง คนแก้ภาพต้องรู้ว่าขอบเก้าอี้อยู่ตรงไหน ต้นไม้บังส่วนใดของเก้าอี้ และพรมทอดไปด้านหลังขาเก้าอี้หรือไม่ โมเดลสร้างภาพวาดห้องใหม่ให้ดูสมจริงได้ แต่ความสามารถนั้นเพียงอย่างเดียวยังบอกไม่ได้ว่ามาสก์ของโมเดลจะแยกเก้าอี้ตัวเดิมออกจากสิ่งรอบข้างได้ถูกต้อง

ในบทความฉบับก่อนตีพิมพ์วันที่ 11 พฤศจิกายน 2026 ผู้เขียน Open Vision Banana มองงานรับรู้ภาพเหล่านี้เป็นงานแก้ไขภาพ พวกเขาปรับโมเดลสร้างภาพ FLUX.2 [klein] Base ขนาด 4 พันล้านและ 9 พันล้านพารามิเตอร์ ให้ตอบงานหลายประเภทเป็นภาพ RGB มาสก์ใช้ระบุพื้นที่ ส่วนภาพความลึกเข้ารหัสความสัมพันธ์ด้านระยะห่างระหว่างพื้นผิวตามการแทนค่าของโมเดล รูปแบบผลลัพธ์เหมือนกัน ส่วนงานและวิธีวัดข้อผิดพลาดต่างกัน

โมเดลพื้นฐานเดียวทำงานด้านภาพได้หลายอย่าง แต่ผลลัพธ์แต่ละงานยังต้องผ่านการตรวจที่เหมาะสม ทีมแก้ภาพต้องดูว่ามาสก์ใช้ประกอบภาพได้จริงหรือไม่ และแผนที่ความลึกโดยประมาณยังรักษาลำดับหน้าและหลังที่งานต้องใช้หรือเปล่า บทความนี้ใช้ภาพห้องเป็นตัวอย่างของการเปรียบเทียบแบบนั้น

ภาพห้องและตัวอย่างผลลัพธ์ RGB ที่แยกเป็นมาสก์กับความลึก

การแบ่งส่วนและความลึกใช้รูปแบบผลลัพธ์เดียวกันได้ แม้จะตอบคนละคำถามเกี่ยวกับภาพเดียวกัน

ภาพหนึ่งภาพให้คำตอบได้หลายแบบ

การแบ่งส่วนเชิงความหมายจัดพิกเซลเข้าหมวด เช่น เก้าอี้หรือพื้น การแบ่งส่วนแยกรายวัตถุพยายามแยกของในหมวดเดียวกันออกจากกัน เช่น เก้าอี้กินข้าวตัวซ้ายกับตัวขวาที่ดูแทบเหมือนกัน ส่วนการแบ่งส่วนตามคำบรรยายเริ่มจากข้อความอย่าง “เก้าอี้ข้างหน้าต่าง” แล้วหาพื้นที่ตรงกับคำบรรยาย แผนที่ความลึกแทนฉากด้วยระยะที่ประเมินได้ โปรเจกต์ยังรองรับการประเมินเวกเตอร์ตั้งฉากกับพื้นผิวเพื่อบอกทิศทางของพื้นผิวด้วย

Open Vision Banana รับภาพกับพรอมป์ของงานแล้วสร้างภาพที่แก้ไขเพื่อบรรจุคำตอบ พรอมป์แบ่งส่วนอาจระบุคำอธิบายว่าสีใดแทนหมวดใด จากนั้นจึงอ่านป้ายกำกับที่สร้างได้ตามคู่สีนี้ ผลลัพธ์ความลึกต้องแปลงและให้คะแนนตามเกณฑ์ของตัวเอง ผู้เขียนระบุว่าการออกแบบพรอมป์ การเข้ารหัสสี การปรับพารามิเตอร์ และการเลือกงานมาฝึกร่วมกันล้วนส่งผลต่อวิธีฝึก การรวมตัวเลือกที่ดีเมื่อใช้เดี่ยว ๆ ยังรับรองไม่ได้ว่าโมเดลหลายงานจะออกมาดีที่สุด

สำหรับภาพห้อง มาสก์ที่ใช้งานได้ช่วยเปลี่ยนฉากหลังโดยรักษาขอบเก้าอี้ไว้ ความลึกโดยประมาณอาจช่วยตรวจภาพประกอบที่ต้องวางสิ่งใหม่ไว้ด้านหลังเก้าอี้แต่ด้านหน้าผนัง ทั้งสองกรณีต้องตรวจคนละแบบ ภาพความลึกที่ดูต่อเนื่องอาจใช้ไม่ได้หากวางต้นไม้ที่บังเก้าอี้ไว้ผิดด้าน ภาพที่ดูเหมือนจับพื้นที่เก้าอี้ได้ถูกต้องโดยรวมก็ยังอาจพลาดขาเก้าอี้บาง ๆ ที่ภาพสุดท้ายต้องเก็บไว้

ผลลัพธ์ควรตรวจอะไรในภาพห้องความผิดพลาดที่พรีวิวอาจซ่อน
มาสก์ตามหมวดพิกเซลของเก้าอี้แยกจากพื้นและผนังหรือไม่ขาเก้าอี้บาง ๆ หรือช่องว่างใต้เก้าอี้หายไป
มาสก์ตามคำบรรยายหรือแยกรายวัตถุเก้าอี้ที่ขอแยกออกจากเก้าอี้ตัวอื่นได้หรือไม่หมวดถูกแต่เลือกเก้าอี้ผิดตัว
ความลึกโดยประมาณลำดับด้านหน้าและด้านหลังยังใช้ได้หรือไม่ภาพดูเรียบ แต่สิ่งที่ซ้อนอยู่ไปอยู่ด้านหลังวัตถุผิดชิ้น

คลังภาพแสดงผลที่ผู้เขียนสร้างขึ้น ส่วนฉากข้างต้นเป็นเพียงตัวอย่าง การลองตัดวัตถุในภาพห้องของตัวเองบอกได้ตรงกว่าวิธีนี้เหมาะกับงานหรือไม่ เมื่อเทียบกับการดูตัวอย่างสวยที่ทีมวิจัยเลือกมา

คะแนนสูงมีวิธีทดสอบกำกับ

สำหรับการแบ่งส่วนเชิงความหมายบน Cityscapes ผู้เขียนรายงาน 73.9 mIoU จากโมเดล 9B แบบ zero-shot เทียบกับ 69.9 ที่เคยรายงานสำหรับ Vision Banana ค่า IoU เฉลี่ยวัดการซ้อนทับระหว่างพื้นที่ที่ทำนายกับพื้นที่อ้างอิง แล้วหาเฉลี่ยตามเกณฑ์ทดสอบ รายละเอียดการประเมินอย่างเป็นทางการ ระบุว่าผล Cityscapes ใช้การรวมผลจากชุดสี 20 รอบ แต่ละรอบกำหนดสีให้หมวดเดิมแตกต่างกันแล้วนำผลมาประมวลร่วมกัน การรันหนึ่งรอบกับยี่สิบรอบย่อมมีเวลาแฝงและต้นทุนต่างกัน

งานวิจัยยกตัวอย่างที่การโหวตช่วยเพิ่มคะแนนโดยไม่ต้องเปลี่ยนค่าน้ำหนักโมเดล ผลนั้นเป็นหลักฐานของการตั้งค่าที่ผู้เขียนใช้ ภาพของคุณต้องทดสอบอีกครั้ง เริ่มจากการตั้งค่าที่ง่ายกว่า แล้วดูว่ารอบที่เพิ่มช่วยแก้ข้อผิดพลาดที่สนใจจริงไหม ถ้าทุกรอบพลาดขอบบางและใส การโหวตเสียงข้างมากใช้แทนเครื่องมือที่เหมาะกว่าไม่ได้ วิธีนี้อาจช่วยเมื่อปัญหาเกิดจากพรอมป์หรือการจับคู่สีกับหมวดที่ไม่นิ่ง ซึ่งเป็นเป้าหมายที่ออกแบบไว้

เอกสารโครงการแยกชุดฝึกแบบ zero-shot กับแบบที่ไม่ใช่ zero-shot แบบหลังอาจรวมส่วนฝึกของชุดข้อมูลประเมิน ส่วนแบบแรกไม่ใช้ส่วนฝึกเหล่านั้นตามที่โครงการระบุ พาดหัวที่หยิบตัวเลขหน้าตาคล้ายกันมาเทียบอาจทำให้เงื่อนไขนี้หายไป การแบ่งส่วนแยกรายวัตถุบางรอบใช้โมเดลอีกตัวช่วยตัดสินว่ามีวัตถุอยู่หรือไม่ ส่วน ReasonSeg ใช้คำค้นที่เขียนใหม่ งานวิจัยระบุว่าผลแบ่งส่วนแยกรายวัตถุยังตามหลัง Vision Banana มากกว่า ควรอ่านวิธีทดสอบแต่ละแบบตามเงื่อนไขก่อนจัดอันดับโมเดล

ตัวเลขความลึกก็ต้องอ่านพร้อมเงื่อนไขของมัน โครงการจัดแนวค่าดิสพาริตีแยกตามภาพในการประเมิน NYUv2 เพื่อเปรียบเทียบแง่มุมสำคัญของความลึกสัมพัทธ์ตามเกณฑ์ทดสอบ คะแนนสูงหลังจัดแนวให้ผลวัดระยะจริงไม่ได้ ทีมออกแบบตรวจได้ว่าวัตถุใดอยู่ด้านหน้า แต่ระยะจริง ช่องว่างที่หุ่นยนต์จะผ่านได้ และความปลอดภัยทางกายภาพต้องอาศัยระบบที่สร้างและตรวจสอบมาเพื่อการตัดสินใจนั้น

จุดตรวจตัวอย่างสำหรับขอบมาสก์ การเลือกวัตถุ และลำดับในส่วนหน้า

ผลลัพธ์ที่ดูดียังต้องตรวจขอบและจุดที่วัตถุซ้อนกันตามเงื่อนไขของแต่ละงาน

ใช้โมเดลร่วมกันอาจลดงานเชื่อมระบบและเพิ่มต้นทุนอีกแบบ

มีเหตุผลให้ลองวิธีนี้แม้เครื่องมือเฉพาะยังทำบางงานได้ดีกว่า คุณอาจขอมาสก์พื้นที่ ภาพความลึก และภาพที่แก้แล้วด้วยวิธีใกล้เคียงกัน โดยใช้โมเดลตระกูลเดียวในงานวิจัย งานวิจัยรายงานว่าโมเดลที่ปรับแล้วยังคงความสามารถแก้ภาพของโมเดลพื้นฐานไว้ได้มาก จึงทดลองให้ระบบเดียวสร้างมาสก์กับร่างภาพแก้จากอินพุตที่เกี่ยวข้องกันได้ ตรวจผลทั้งคู่ก่อนถอดเครื่องมือที่ทำแต่ละงานได้ดีอยู่แล้ว

ลองให้โมเดลสร้างภาพกับโมเดลทำมาสก์เฉพาะทางทำงานกับวัตถุเดียวกัน จดว่าแปลงผลเป็นมาสก์อัลฟาตามที่โปรแกรมแก้ภาพต้องการได้เรียบร้อยหรือไม่ นับข้อผิดพลาดที่เส้นผม กระจก ช่องว่าง และเงาแยกจากที่เกิดบนพื้นผิวทึบขนาดใหญ่ ภาพโต๊ะทำงานอาจดีพอในหนึ่งรอบ แต่ถ้าเป็นแค็ตตาล็อกเฟอร์นิเจอร์สะท้อนแสง เวลาตรวจและเก็บงานอาจมากกว่าประโยชน์จากการใช้โมเดลร่วมกัน

ทั้งรุ่น 4B และ 9B มีเช็กพอยต์แบบ zero-shot และแบบที่ไม่ใช่ zero-shot เช็กพอยต์ขนาดเล็กเหมาะเป็นตัวเลือกในการประเมินวงจำกัด แต่ยังระบุงบหน่วยความจำล่วงหน้าไม่ได้ ทรัพยากรที่ใช้จริงขึ้นกับกระบวนการ ความละเอียด ความแม่นยำเชิงตัวเลข สภาพแวดล้อมที่รัน และจำนวนรอบ จดปัจจัยเหล่านี้ไว้เพื่อแยกการเปลี่ยนโมเดลออกจากการเปลี่ยนการตั้งค่า เทียบเวลารวมจนได้ผลที่ยอมรับได้ แทนการดูแค่การทำนายรอบที่เร็วที่สุด

ทีมนำเสนอโค้ดและวิธีติดตั้ง พร้อมคลังผลลัพธ์ คลังโค้ดระบุว่าโค้ดใช้ Apache 2.0 ส่วนค่าน้ำหนักที่ปล่อยใช้ FLUX Non-Commercial License ข้อมูลยังอยู่ภายใต้สัญญาอนุญาตเดิม การดาวน์โหลดค่าน้ำหนักแบบสาธารณะมีประโยชน์ต่อการวิจัย ส่วนการนำไฟล์เดียวกันไปทำแค็ตตาล็อกเชิงพาณิชย์ต้องพิจารณาสิทธิ์ตามการใช้งาน ใช้การทดลองด้านล่างเพื่อทำความเข้าใจวิธีและขอสิทธิ์ให้เหมาะกับงานก่อนนำไปใช้

เริ่มจากภาพที่ดูออกว่าผิดตรงไหน

การวิจัยเปรียบเทียบเบื้องต้นทำในวงเล็กได้ ใช้ภาพที่คุณถ่ายเองหรือได้รับสิทธิ์ประมวลผล และสามารถระบุวัตถุเป้าหมายกับลำดับหน้าและหลังโดยประมาณได้โดยไม่ต้องถามโมเดล เลือกทั้งภาพที่มีเส้นขอบชัดและภาพที่วัตถุซ้อนกันจนดูยาก ตรึงขนาดภาพกับพรอมป์สำหรับรอบที่จะนำมาเปรียบเทียบ เป้าหมายคือหาว่างานไหนผิดและผิดอย่างไร ก่อนขยายกระบวนการที่อาจดูน่าเชื่อถือเฉพาะในตัวอย่างที่คัดไว้

  1. ทำเครื่องหมายวัตถุเป้าหมายทีละชิ้นและส่วนถูกบังด้วยมือ เพิ่มเป้าหมายที่ไม่มีในภาพหนึ่งชิ้นเพื่อให้จับผลบวกลวงที่ดูเหมือนจริงได้ง่าย
  2. เลือกและบันทึกเช็กพอยต์ พรอมป์ ขนาดภาพ และจำนวนรอบ ประเมินโมเดลเฉพาะทางและโมเดลที่ใช้ร่วมกันบนภาพชุดเดียวกัน
  3. ตรวจมาสก์หรือภาพความลึกในงานที่ต้องใช้ผลลัพธ์จริง สำหรับงานตัดภาพ ลองวางบนพื้นหลังสีตัดกันเพื่อให้เห็นข้อบกพร่อง
  4. จดเวลาแก้และประเภทข้อผิดพลาดที่พบบ่อย เก็บเครื่องมือเฉพาะทางไว้เมื่อโมเดลที่ใช้ร่วมกันเพิ่มงานแก้หรือซ่อนความผิดพลาดสำคัญ

เมื่อโมเดลสร้างมาสก์ไม่ดีแต่แก้ภาพต้นฉบับได้ดูน่าเชื่อถือ ให้จดทั้งสองข้อ ทั้งคู่ตอบคนละคำถาม ในงานหลายขั้น คะแนนเฉลี่ยอาจกลบผลลัพธ์อ่อนเพียงจุดเดียวที่ทำให้คนต้องย้อนทำขั้นถัดไป การทดสอบเบื้องต้นควรระบุว่ามีการตัดสินใจใดบ้างที่โมเดลใหม่ช่วยได้อย่างไว้ใจได้ จำนวนความสามารถบนสไลด์ไม่ใช่ตัววัดผลของการทดลอง

วัดกรณีที่มีผลต่อคนแก้ภาพ เช่น นับจำนวนเก้าอี้ที่ต้องเก็บขาหรือโครงด้วยมือ และจำนวนฉากที่ยังรักษาลำดับการซ้อนกันได้ ภาพสิบใบของคุณยังใช้สรุปความแม่นยำในวงกว้างไม่ได้ แต่ช่วยประหยัดเวลาได้ถ้าพบว่าภาพงานจริงทำให้เห็นข้อผิดพลาดเดิมซ้ำอย่างสม่ำเสมอ ซึ่งอาจถูกเฉลี่ยกลบในตารางอันดับสาธารณะ

การเปรียบเทียบควรไปถึงปลายทางด้วย มาสก์ที่บันทึกเป็นภาพ RGB อาจต้องแปลงก่อนใช้เป็นความโปร่งใส ตรวจว่าการแปลงรักษาชุดสีที่ระบุไว้หรือไม่ และไฟล์ที่บันทึกมีพิกเซลที่ตีความได้หลายแบบหรือเปล่า แยกเก็บภาพที่สร้างจากมาสก์ที่แปลงแล้ว จะได้ไม่เข้าใจว่าข้อผิดพลาดในการแปลงมาจากโมเดล เมื่อลองชุดสีใหม่ ให้บันทึกไว้กับผลลัพธ์ จะได้อ่านสีในไฟล์นั้นได้ถูกต้องภายหลัง

อีกตัวอย่างคือคลังภาพอ้างอิง นักออกแบบที่หา “โคมไฟระหว่างชั้นวาง” อาจได้ประโยชน์จากการชี้พื้นที่โดยไม่ต้องแม่นระดับพิกเซลเท่างานที่จะเผยแพร่ ในกรณีนี้ การเสนอผลที่เป็นไปได้ไม่กี่ตัวให้เลือกอาจดีกว่าตัดวัตถุให้ทันทีอย่างมั่นใจ การตัดสินใจนำไปใช้ขึ้นกับงาน การหาไอเท็มในมู้ดบอร์ดไม่เจอบางครั้งมีต้นทุนต่างจากการส่งขอบวัตถุที่ขาดไปเล็กน้อยให้คนประกอบภาพ

ภาพที่ดูถูกต้องอาจยังรับรู้ผิด

งานสร้างสรรค์เป็นตัวอย่างที่ชัดเพราะผลลัพธ์ต้องทำหน้าที่จริง คนแก้ภาพต้องได้พื้นที่ที่ใช้ประกอบภาพได้ถูกต้อง มากกว่าภาพที่เพียงดูคล้ายพื้นที่นั้น Open Vision Banana รวมหลายงานไว้ในโมเดลตระกูลเดียวและเปิดเผยวิธีมากพอให้ลองประเมิน แนวทดสอบง่าย ๆ คือเปลี่ยนพื้นหลังแล้วดูว่าเก้าอี้ยังอยู่ครบทั้งสี่ขาหรือไม่

แหล่งข้อมูล


จัดเก็บภาพทดสอบ พรอมป์ และข้อสังเกตจากการเปรียบเทียบเมื่อประเมินกระบวนการด้านภาพ เริ่มบันทึกแรกของคุณกับ Telli.sh.


← กลับไปที่บล็อก