AI ModelsDoc trong 12 phut

Mô hình tạo ảnh có tìm được chiếc ghế mà nó thường vẽ không?

Open Vision Banana biến phân đoạn và ước tính độ sâu thành tác vụ chỉnh sửa ảnh. Cùng xem các bản mô hình nghiên cứu, điều kiện đo điểm và một cách thử thực tế.

K
Ken Jo

Một cửa hàng nội thất muốn thay nền ảnh chụp căn phòng. Người chỉnh ảnh phải biết ranh giới của chiếc ghế, phần cây chồng lên ghế và tấm thảm có chạy ra sau chân ghế hay không. Mô hình tạo ảnh có thể vẽ một căn phòng mới rất thuyết phục. Khả năng ấy chưa đủ để biết mặt nạ do mô hình tạo có tách đúng chiếc ghế hiện hữu khỏi mọi thứ xung quanh hay không.

Trong bản thảo ngày 11 tháng 11 năm 2026, nhóm Open Vision Banana xem những tác vụ nhận biết này như chỉnh sửa ảnh. Họ điều chỉnh hai mô hình tạo ảnh FLUX.2 [klein] Base có 4 tỷ và 9 tỷ tham số để thể hiện nhiều loại câu trả lời qua ảnh RGB. Với mặt nạ, câu trả lời chỉ ra các vùng. Với độ sâu, ảnh mã hóa quan hệ khoảng cách giữa các bề mặt theo cách mô hình biểu diễn. Định dạng đầu ra giống nhau, còn tác vụ và cách đo lỗi vẫn khác nhau.

Một mô hình nền có thể đảm nhiệm nhiều việc về hình ảnh, và từng kết quả vẫn phải vượt qua phép kiểm tra phù hợp. Nhóm chỉnh ảnh cần xem mặt nạ có dùng được khi ghép ảnh không và bản đồ độ sâu gần đúng có giữ được thứ tự trước sau mà bản chỉnh sửa cần không. Bài viết dùng ảnh một căn phòng để minh họa cách so sánh như vậy.

Ảnh căn phòng với hai đầu ra RGB minh họa riêng cho mặt nạ và độ sâu

Phân đoạn và độ sâu có thể dùng chung định dạng đầu ra dù trả lời những câu hỏi khác nhau về cùng một ảnh.

Có nhiều cách biến một bức ảnh thành câu trả lời

Phân đoạn ngữ nghĩa gán từng điểm ảnh vào một loại, như ghế hay sàn. Phân đoạn theo từng đối tượng cố gắng tách các vật cùng loại, chẳng hạn ghế ăn bên trái với chiếc gần như giống hệt bên phải. Phân đoạn theo mô tả bắt đầu với một cụm từ như chiếc ghế cạnh cửa sổ, rồi tìm vùng tương ứng. Bản đồ độ sâu biểu diễn cảnh theo khoảng cách ước tính. Dự án còn hỗ trợ xác định pháp tuyến bề mặt để mô tả hướng của bề mặt.

Open Vision Banana dùng ảnh đầu vào và chỉ dẫn tác vụ để tạo ảnh đã chỉnh chứa câu trả lời. Chỉ dẫn phân đoạn có thể đưa bảng chú giải ánh xạ mỗi lớp sang một màu. Sau đó, người dùng đọc các nhãn sinh ra theo bảng chú giải đó. Đầu ra độ sâu được giải mã và chấm điểm theo quy ước riêng. Các tác giả coi thiết kế chỉ dẫn, mã hóa màu, điều chỉnh tham số và phối hợp tác vụ là các phần quan trọng của phương pháp huấn luyện. Kết hợp những lựa chọn có vẻ tốt khi đứng riêng vẫn chưa đảm bảo cho mô hình đa nhiệm tốt nhất.

Ở ảnh căn phòng, mặt nạ phù hợp cho phép thay nền mà vẫn giữ đường viền ghế. Ước tính độ sâu có thể giúp nhà thiết kế kiểm tra bố cục có chi tiết mới nằm sau ghế và trước tường. Hai trường hợp cần phép kiểm tra chất lượng khác nhau. Ảnh độ sâu mượt vẫn có thể bất tiện nếu đặt cây đang che ghế ra phía sau ghế. Hình một vùng ghế nhìn có vẻ đúng vẫn có thể bỏ mất chân mảnh cần cho bản ghép cuối.

Đầu raCần kiểm tra gì trên ảnh phòngLỗi bản xem trước có thể che khuất
Mặt nạ theo lớpĐiểm ảnh của ghế có tách khỏi sàn và tường khôngMất chân mảnh hoặc khoảng trống dưới ghế
Mặt nạ theo mô tả hoặc từng đối tượngCó tách đúng ghế được yêu cầu khỏi các ghế khác khôngNhận đúng loại nhưng nhầm chiếc ghế
Ước tính độ sâuThứ tự tiền cảnh và hậu cảnh có dùng được khôngBản đồ mượt nhưng đặt vật che khuất ra sau sai đối tượng

Thư viện kết quả dẫn đến đầu ra của nhóm tác giả. Tình huống ở trên dùng để minh họa. Thử tách một vật thể trong ảnh phòng của chính bạn cho biết công cụ hợp với quy trình hơn hay kém hơn rõ hơn một ví dụ đẹp do nhóm nghiên cứu chọn.

Điểm số cao đi kèm một quy trình đánh giá

Với phân đoạn ngữ nghĩa Cityscapes, các tác giả báo cáo mô hình 9B zero-shot đạt 73,9 mIoU, so với mức 69,9 trước đây được báo cáo cho Vision Banana. Chỉ số IoU trung bình thể hiện độ trùng giữa vùng dự đoán và vùng tham chiếu, lấy trung bình theo cách của bộ đánh giá. Ghi chú đánh giá chính thức cho biết kết quả Cityscapes dùng 20 lượt kết hợp bảng màu. Cùng một nhóm được gán màu khác qua các lượt và các kết quả được tổng hợp lại. Chạy một lượt và hai mươi lượt sẽ khác nhau về độ trễ và chi phí.

Bài báo nêu ví dụ bỏ phiếu nâng điểm mà không đổi trọng số mô hình. Đây là bằng chứng cho cấu hình đánh giá của các tác giả. Ảnh của bạn cần phép thử riêng. Chạy cấu hình đơn giản trước rồi xem thêm lượt có giúp xử lý lỗi bạn quan tâm không. Nếu mọi lượt đều bỏ sót đường viền mảnh trong suốt, bỏ phiếu đa số không thể thay cho công cụ tốt hơn. Phương pháp có thể hữu ích khi kết quả thiếu ổn định do chỉ dẫn hoặc do liên kết giữa màu và lớp, đúng với vấn đề nó được thiết kế để giải quyết.

Tài liệu dự án cũng phân biệt bộ dữ liệu huấn luyện zero-shot và không zero-shot. Trường hợp sau có thể chứa phần huấn luyện của các bộ chuẩn đánh giá. Theo dự án, trường hợp đầu loại các phần huấn luyện đó. Một tiêu đề chỉ so các con số trông giống nhau nhất có thể xóa nhòa khác biệt này. Tương tự, một số lượt phân đoạn theo từng đối tượng dùng mô hình khác để quyết định vật thể có xuất hiện hay không, còn ReasonSeg dùng câu truy vấn đã được viết lại. Bài báo cho biết phân đoạn theo từng đối tượng còn kém Vision Banana rõ hơn. Cần đọc từng quy trình đánh giá theo điều kiện của nó trước khi xếp hạng các mô hình.

Các con số về độ sâu cần ngữ cảnh riêng. Dự án căn chỉnh độ chênh lệch thị sai cho từng ảnh khi đánh giá trên NYUv2. Quy trình đó cho phép so một số khía cạnh quan trọng của độ sâu tương đối. Điểm cao sau căn chỉnh vẫn không cung cấp số đo tuyệt đối. Nhóm thiết kế có thể kiểm tra vật nào ở trước. Khi cần kích thước tuyệt đối, khoảng trống để robot di chuyển hoặc quyết định về an toàn vật lý, cần kiểm chứng bằng hệ thống được xây dựng cho chính những công việc đó.

Kiểm tra minh họa đường viền mặt nạ, vật thể đúng và thứ tự ở tiền cảnh

Đầu ra đẹp vẫn cần kiểm các đường viền và vùng chồng lấp theo yêu cầu của từng tác vụ.

Dùng chung mô hình có thể bớt mã tích hợp và phát sinh chi phí khác

Bạn vẫn có lý do thử cách này dù công cụ chuyên dụng đứng đầu ở một tác vụ. Bạn có thể yêu cầu mặt nạ vùng, bản đồ độ sâu và bản chỉnh sửa theo cách tương tự, giữ một họ mô hình trong dự án nghiên cứu. Bài báo cho biết các mô hình đã điều chỉnh phần lớn giữ được khả năng chỉnh ảnh của mô hình nền. Điều đó cho phép thử nghiệm quy trình tạo mặt nạ và bản chỉnh từ các đầu vào liên quan trong cùng hệ thống. Kiểm tra cả hai đầu ra trước khi bỏ công cụ đang làm tốt mỗi việc.

So sánh lượt chạy bằng mô hình tạo ảnh với mô hình mặt nạ chuyên dụng trên cùng vật thể được yêu cầu. Ghi nhận đầu ra có chuyển sạch thành mặt nạ alpha mà trình chỉnh sửa cần hay không. Đếm riêng lỗi ở tóc, kính, khe hở và bóng đổ với lỗi ở bề mặt lớn, đục. Ảnh bàn làm việc có thể đủ tốt sau một lượt. Với danh mục đầy nội thất bóng phản quang, công kiểm tra và dọn ảnh có thể lớn hơn lợi ích của việc dùng chung mô hình.

Họ bản mô hình 4B và 9B đều có phiên bản zero-shot và không zero-shot. Bản nhỏ hơn đáng thử trong đánh giá giới hạn quy mô. Chưa thể khẳng định trước mức bộ nhớ cần thiết. Tài nguyên dùng từ đầu đến cuối phụ thuộc vào quy trình, độ phân giải, độ chính xác số, môi trường chạy và số lượt. Ghi những yếu tố này để không nhầm thay đổi mô hình với thay đổi cài đặt. So tổng thời gian tới khi có đầu ra chấp nhận được, thay vì chỉ báo lượt dự đoán nhanh nhất.

Nhóm công bố mã và hướng dẫn thiết lập cùng thư viện kết quả. Kho mã ghi giấy phép Apache 2.0 cho mã nguồn và FLUX Non-Commercial License cho các trọng số đã phát hành. Dữ liệu vẫn theo giấy phép gốc. Có thể tải trọng số công khai để nghiên cứu, nhưng chính các tệp đó chưa đương nhiên phù hợp với dự án danh mục thương mại. Dùng bài thử dưới đây để hiểu phương pháp và xin quyền phù hợp với mục đích trước khi triển khai.

Bắt đầu bằng những bức ảnh mà lỗi có thể nhận ra

Một lượt so sánh nghiên cứu có thể rất gọn. Dùng ảnh bạn chụp hoặc có quyền xử lý, trong đó bạn tự xác định được vật thể và thứ tự tiền cảnh gần đúng mà không hỏi mô hình. Chọn cả hình có đường viền dễ và hình có phần chồng lấp khó. Cố định kích cỡ ảnh và chỉ dẫn cho các lượt cần so sánh. Mục đích là xem tác vụ nào lỗi và lỗi ra sao trước khi mở rộng quy trình có thể chỉ đáng tin trong ví dụ chọn lọc.

  1. Tự gắn nhãn một số vật thể cần tìm và chỗ bị che. Thêm một vật thể không xuất hiện để dễ phát hiện dự đoán dương tính giả trông có vẻ đúng.
  2. Chọn và ghi bản mô hình, chỉ dẫn, cỡ ảnh và số lượt. So mô hình chuyên dụng và mô hình dùng chung trên cùng ảnh.
  3. Kiểm tra mặt nạ hoặc độ sâu trong thao tác mà đầu ra sẽ phục vụ. Khi tách nền, ghép vật thể lên nền tương phản để nhìn rõ lỗi.
  4. Theo dõi thời gian sửa và các nhóm lỗi thường gặp. Giữ công cụ chuyên dụng nếu mô hình dùng chung khiến bạn phải chỉnh thêm hoặc che một lỗi có hậu quả.

Nếu mô hình cho mặt nạ tệ nhưng chỉnh ảnh gốc thuyết phục, hãy ghi cả hai nhận xét. Chúng trả lời hai câu hỏi khác nhau. Trong dự án đa nhiệm, điểm trung bình có thể che khuất một đầu ra yếu đến mức con người phải làm lại bước sau. Việc đầu tiên của lượt thử là chọn vài quyết định mà mô hình mới hỗ trợ đáng tin cậy. Đừng đo thành công bằng số khả năng có thể ghi trên một trang trình bày.

Định lượng những trường hợp quan trọng với người chỉnh ảnh. Chẳng hạn, đếm số ghế cần làm sạch bằng tay ở chân hoặc khung và số cảnh giữ đúng thứ tự vật chồng lấp. Mười ảnh riêng chưa cho biết độ chính xác trên diện rộng. Chúng có thể giúp tiết kiệm thời gian nếu cho thấy ảnh nguồn thực tế liên tục bộc lộ cùng một lỗi mà bảng xếp hạng công khai làm mờ khi lấy trung bình.

Phép so sánh nên đi đến cuối quy trình. Mặt nạ lưu dưới dạng hình RGB có thể cần chuyển đổi để dùng làm kênh trong suốt. Kiểm tra bước chuyển đổi giữ bảng màu đã yêu cầu hay không và ảnh lưu có tạo điểm ảnh mơ hồ hay không. Giữ riêng ảnh sinh ra với mặt nạ dẫn xuất để tránh nhầm lỗi chuyển đổi là lỗi mô hình. Khi thử bảng màu mới, lưu bảng cùng kết quả để sau này vẫn giải mã được màu của tệp đó.

Một ứng dụng minh họa nữa là thư viện ảnh tham chiếu. Khi tìm “chiếc đèn giữa hai kệ”, nhà thiết kế có thể dùng vùng được gợi ý mà chưa cần độ chính xác từng điểm ảnh như bản đưa đi xuất bản. Trong tình huống đó, đưa ra vài kết quả rồi cho nhà thiết kế chọn có thể hữu ích hơn việc tự động cung cấp một ảnh tách nền có vẻ chắc chắn. Yêu cầu triển khai đổi theo công việc. Thỉnh thoảng sót một vật thể trong bảng tham khảo có chi phí khác với giao cho người ghép ảnh một đường viền thiếu một chút.

Ảnh trông đúng chưa chắc đã nhận biết đúng

Ứng dụng sáng tạo đáng xem vì giao cho đầu ra một việc rõ ràng. Người biên tập cần vùng hoạt động đúng trong ảnh ghép, chứ không chỉ một ảnh có vẻ biểu diễn vùng đó. Open Vision Banana đưa nhiều tác vụ vào cùng họ mô hình và công bố đủ phương pháp để kiểm tra ý tưởng này. Bài thử có thể đơn giản đến mức chỉ cần xem lúc đổi nền chiếc ghế có còn đủ bốn chân không.

Nguồn


Sắp xếp ảnh thử, chỉ dẫn và ghi chú so sánh khi đánh giá một quy trình thị giác. Bắt đầu ghi chú đầu tiên với Telli.sh.


← Quay lai blog