Baseten joey-1 hỏi liệu mọi quyết định AI có cần mô hình lớn

“Nhóm nào xử lý phiếu này?” hiếm khi cần câu trả lời năm đoạn. Nó cần một trong vài đích hợp lệ, đủ độ tin cậy để chọn có trách nhiệm và cách nhờ giúp khi yêu cầu không phù hợp.

Baseten giới thiệu joey-1 ngày 29 tháng 10 năm 2026 cho loại việc ấy. Do nhóm nghiên cứu Base Labs xây, mô hình ở đầu nhỏ của họ quyết định cùng elephant-1 và mammoth-1. Sức hút là hợp đồng đầu ra hẹp: quyết định và xác suất thay vì giải thích được tạo mà ứng dụng phải diễn giải. Thông báo Baseten trình bày ra mắt.

Cơ hội thực tế là cách chia việc khác. Để mô hình nhỏ xử lý quyết định lặp lại rõ; chi nhiều hơn cho phần chưa chắc. Bài viết giải thích phép tính giá, ba ứng dụng minh họa và phép kiểm tra làm chiến lược định tuyến hữu ích.

Banner thẻ mô hình joey-1 chính thức của Baseten. Ảnh: Base Labs / Baseten, từ kho mô hình công bố MIT; đã đổi kích thước và thêm lề. Nguồn ảnh · Giấy phép và ghi chú hình ảnh.

Mô hình quyết định bắt đầu từ lựa chọn ứng dụng chấp nhận

Mô hình ngôn ngữ đa năng phân loại yêu cầu bằng chữ “thanh toán”, JSON hoặc giải thích vì sao khách đáng hoàn tiền. Mỗi giao diện có chỗ riêng. Mô hình quyết định chuyên dụng tập trung chọn giữa câu trả lời cung cấp và báo xác suất có cấu trúc.

Điều đó đổi việc trước suy luận. Bạn cần câu hỏi chính xác và lựa chọn mô tả hành động có nghĩa. “Ta nên làm gì?” là hợp đồng yếu. “Thanh toán, hỗ trợ kỹ thuật hay chống gian lận nên nhận ca?” hẹp hơn, nhưng vẫn cần chính sách cho yêu cầu khớp nhiều nhóm hoặc không nhóm nào.

Trang thư viện joey-1 của Baseten, kiểm tra ngày 2 tháng 11, ghi đầu vào văn bản, ảnh, câu hỏi lựa chọn, quyết định có/không và điểm có thứ tự qua /v1/systemone. Kết quả dành cho chương trình dùng. Nó không thay bộ tạo giải thích hay phản hồi riêng khi người dùng cần.

Hãy hình dung mô hình nhỏ như bàn phân loại. Giá trị là đưa việc thường đến đúng nơi và gửi ca lạ cho người có thêm thẩm quyền hoặc ngữ cảnh. Bàn tự tin chuyển sai ca khó tạo việc ẩn phía sau dù mỗi suy luận rẻ.

Vì vậy ứng dụng cần giữ sự không chắc. Hệ định tuyến có thể ghi nhãn tạm, hỏi làm rõ hoặc giao người. Nó không phải biến mọi phân bố xác suất thành hành động kinh doanh tức thì.

Một xu mua token đầu vào, không phải số quyết định cố định

Kiểm tra ngày 2 tháng 11 năm 2026, mục giá chính thức liệt kê 0,01 USD mỗi 1 triệu token đầu vào, với đầu vào cache và đầu ra giá 0,00 USD. “Một xu” nói về đơn vị token đó. Yêu cầu chứa lịch sử dài tốn xử lý đầu vào hơn yêu cầu ngắn, phạm vi kỹ.

Dưới là phép tính minh họa theo giá đầu vào công bố, chưa gồm thuế, dịch vụ khác hay điều khoản thương mại. Nó giả định đầu vào chưa cache và giá ổn định; là ví dụ lập kế hoạch, không ước tính hóa đơn.

Công thức đơn giản: tổng token đầu vào chia 1 triệu, nhân 0,01 USD. Phép tính vận hành lớn hơn. Tính chi phí chuyển cấp, chuẩn bị dữ liệu, thử lại, giám sát và sửa thủ công.

Giả sử hai cấu hình chênh vài USD dùng mô hình. Một gửi ít ca kiểm tra hơn nhưng đôi lúc đưa yêu cầu gấp vào hàng chậm. Cấu hình kia chuyển cấp nhiều hơn và tránh lỗi ấy. Lựa chọn đúng tùy chi phí lỗi và năng lực người xem, không chỉ hóa đơn token thấp nhất.

Lập luận mạnh hơn khi suy luận rẻ đi. Khi dùng mô hình chỉ là phần nhỏ tổng chi phí, cải thiện vừa phải trong hiệu chỉnh hoặc thiết kế nhãn có thể quan trọng hơn giảm giá token thêm. Suy luận rẻ mở phạm vi tự động hóa khả thi; không loại nhu cầu coi trọng kết quả.

Sơ đồ định tuyến do tác giả xây dựng, lấy cảm hứng từ cách chuyển cấp trong thông báo Baseten ngày 29 tháng 10. Ngưỡng thuộc ứng dụng triển khai.

Định tuyến phiếu là việc đầu tốt khi nhãn có người phụ trách

Trong quy trình hỗ trợ minh họa, joey-1 gán tin đến cho thanh toán, hỗ trợ kỹ thuật hoặc bảo mật tài khoản. Câu có/không riêng kiểm tra khách yêu cầu hoàn tiền không. Điểm có thứ tự xác định mức cần chú ý khẩn cấp.

Các câu liên quan nhưng không nên gộp một nhãn. Yêu cầu thanh toán cũng có thể gấp. Yêu cầu bảo mật có thể chứa đòi hoàn tiền. Giữ quyết định riêng giúp định nghĩa mỗi nhóm nhận gì và tổ hợp nào cần xử lý đặc biệt.

Bắt đầu viết nhãn với người phụ trách hàng chờ. Gồm ví dụ ca từng gây bất đồng. Quyết định xử lý tin nói lỗi thanh toán do lỗi phần mềm thế nào. Mô hình không giải được mơ hồ tổ chức mà tổ chức chưa định nghĩa.

Khi triển khai, so khuyến nghị với quyết định hiện có trước tự chuyển việc. Xem bất đồng theo nhóm: chính sách mơ hồ, thiếu ngữ cảnh, lỗi mô hình rõ hoặc nhãn lịch sử sai. Một tỷ lệ chính xác tổng che các vấn đề khác nhau.

Thông báo ngày 29 tháng 10 của Baseten đặt joey-1 làm mô hình tuyến đầu với mô hình cùng họ lớn hơn cho bất định. Hãng báo độ trễ đầu cuối P50 20 mili giây cho yêu cầu trung bình 2.000 token trong điều kiện phục vụ sản xuất của hãng. Đây là phép đo nhà cung cấp cho khối lượng dịch vụ cụ thể, không bảo đảm cho ứng dụng hay phần cứng bạn. Nguồn: Baseten.

Bộ định tuyến tài liệu cần nhận ra khi thiếu đích phù hợp

Ứng dụng thứ hai là nhận tài liệu. Ứng dụng nhận tệp, cần quyết định thuộc quy trình hóa đơn, xem chi phí hay hàng hồ sơ chung. Đầu vào văn bản và ảnh tùy chọn khiến mô hình liên quan tài liệu hỗn hợp, miễn dạng gửi chứa thông tin nhiệm vụ cần.

Định nghĩa quyết định thực hẹp. Kiểm tra trang có vẻ là hóa đơn khác xác minh hóa đơn thật, đủ pháp lý hoặc được thanh toán. Bộ phân loại giúp chọn quy trình mà không nhận quyền duyệt trả tiền.

Ca thử giá trị nhất có thể ngoài hệ phân loại: biên lai đính hợp đồng, ảnh quá mờ đọc hoặc ngôn ngữ không hỗ trợ. Nếu ứng dụng chỉ có ba đích hợp lệ, nó cần cơ chế khác cho bằng chứng thiếu và nội dung lạ. Đường kiểm tra rõ dễ vận hành hơn đoán bắt buộc.

Cũng theo dõi quần thể đầu vào đổi. Mô hình chủ yếu thấy hóa đơn nội địa ngắn trong đánh giá có thể sau gặp sao kê nhiều trang, thư quét. Chỉ theo nhãn cuối có thể bỏ lỡ dịch chuyển. Ghi độ dài yêu cầu, loại đầu vào, bất định và kết quả xem ở mức riêng tư phù hợp.

Thẻ mô hình công bố, kiểm tra ngày 2 tháng 11, mô tả joey-1 có 2B tham số, hậu huấn luyện từ Qwen3.5-2B, liệt kê giấy phép MIT. Dữ kiện hỗ trợ lựa chọn triển khai trọng số mở. Chúng không xác lập yêu cầu bộ nhớ, hiệu năng CPU phổ quát hoặc quyền dùng lại mọi hình từ thông báo.

Kiểm tra ảnh hữu ích khi điều kiện quan sát được

Tình huống thứ ba: kiểm ảnh sản phẩm gửi trước khi vào đánh giá danh mục thủ công. Câu hữu ích hỏi nhãn có thấy không, ảnh có vật thể yêu cầu không hoặc bị che quá mức để đánh giá không. Mỗi câu cần nêu điều quan sát được trong ảnh cung cấp.

Tiêu chí kém hữu ích trộn quan sát với dữ kiện ẩn. “Người bán đáng tin không?” không trả lời được chỉ từ ảnh sản phẩm. “Vùng số serial yêu cầu có thấy không?” hẹp hơn, cho quy trình sau lý do cụ thể yêu cầu ảnh khác.

Điểm có thứ tự hữu ích khi người đánh giá đã chung tiêu chí như không dùng được, cần xem và dùng được. Viết điều kiện bằng cách người áp dụng nhất quán. Nếu ngay người cũng không phân biệt hai cấp kề nhau, phân bố xác suất không sửa hệ phân loại.

Dùng mô hình ưu tiên kiểm tra trước cho tự từ chối. Từ chối ảnh gửi có thể ảnh hưởng khách trực tiếp và chi phí từ chối sai vượt tiết kiệm. Giai đoạn xem cũng cung cấp ví dụ để sửa tiêu chí và kiểm hiệu năng khác nhau theo điều kiện đầu vào.

Đây là thiết kế minh họa, không phải triển khai joey-1 được báo cáo. Điểm chung là câu hỏi giới hạn theo sau bước có thể đảo. Đó là nơi hợp lý để học mô hình xử lý dữ liệu bạn thế nào.

Xác suất cần chính sách trước khi thành hành động

Giá trị độ tin cậy không là cờ quyền. Nếu ứng dụng chọn hành động trên 0,90, ngưỡng ấy là lựa chọn thiết kế cần đo hậu quả. Điểm cao vẫn có thể sai, nhất là khi yêu cầu khác dữ liệu dùng đặt ngưỡng.

Lỗi khác cần chính sách khác. Chuyển câu hỏi thường sai nhóm bất tiện. Coi báo chiếm đoạt tài khoản là thường lệ có thể tốn hơn nhiều. Cùng ngưỡng không nên tự chi phối cả hai.

Khung đánh giá do tác giả xây dựng. Độ bao phủ, chi phí hành động sai và chất lượng chuyển cấp là số đo ứng dụng; sơ đồ không báo kết quả joey-1 đã đo.

Xây tập giữ riêng gồm ca thường đại diện, ca khó và ngoài phạm vi. Với từng ngưỡng đề xuất, xem phần xử lý tự động và lỗi trong phần đó. Rồi xem phần còn lại: mô hình tránh lỗi bằng chuyển gần mọi ca có thể để quy trình không đổi.

So toàn chuỗi với dùng mô hình lớn một mình. Thiết kế nhỏ trước thêm tầng định tuyến có kiểu lỗi, độ trễ riêng. Nó thắng khi đủ yêu cầu được xử lý phù hợp ở tầng đầu và đường chuyển cấp cải thiện phần khó còn lại.

Bắt đầu API dịch vụ hoặc tính rõ ngân sách tự lưu trữ

Baseten có Model APIs được lưu trữ, triển khai riêng và trọng số tải về. Cần kiểm tra điều kiện ngữ cảnh, phục vụ riêng. Bài ra mắt mô tả ngữ cảnh 16k cho Model APIs và lựa chọn triển khai riêng 262k, còn thẻ mô hình ghi độ dài chuỗi huấn luyện 16.384 token và từ chối yêu cầu vượt giới hạn đã huấn luyện. Không có một mức tối đa nên sao tùy tiện sang mọi đường. Bài ra mắt, thẻ mô hình.

1. Chọn một hợp đồng quyết định. Nêu lựa chọn hợp lệ, ý nghĩa từng cái và hành vi khi thiếu bằng chứng.
2. Chọn đường triển khai. Với thử dịch vụ, mở mục API mô hình và tạo thông tin xác thực trong giao diện tài khoản nhà cung cấp. Với chạy cục bộ, theo yêu cầu môi trường ghim trong thẻ.
3. Gửi yêu cầu tối thiểu. Ví dụ API chính thức dùng https://inference.baseten.co/v1/systemone với state, questions có kiểu và mã decision-models/baseten-joey-2b-latest.
4. Xác thực phản hồi cấu trúc. Từ chối kết quả sai dạng hoặc không sẵn, giữ xác suất cần đánh giá và giữ chính sách định tuyến trong ứng dụng.
5. Chạy đánh giá quan sát. So khuyến nghị với kết quả đã xem trước bật hành động tự động.
6. Thêm và đo chuyển cấp. Gửi ca chưa chắc hoặc hệ trọng cho mô hình lớn hay người, rồi xem kết quả toàn đường.

Thẻ mô hình ghi thiết lập tự lưu trữ cần GPU CUDA và môi trường phục vụ ghim phiên bản. “2B” mô tả quy mô, không hứa mọi laptop đủ bộ nhớ. Tính chi phí môi trường, xử lý ảnh, đồng thời và ngữ cảnh khi định cỡ.

Thử API trả lời độ phù hợp sản phẩm trước đầu tư hạ tầng. Tự lưu trữ là quyết định riêng về kiểm soát, mức sử dụng, công sức vận hành và tổng chi phí. Trọng số mở làm lựa chọn có sẵn, không tự khiến kinh tế.

Bộ phát lại bảo vệ quy trình khi mô hình hoặc prompt đổi

Giữ bộ yêu cầu đã đánh giá có phiên bản sau thử đầu thành công. Gồm ca thường, lỗi tốn kém và ví dụ đúng là nhờ giúp. Giữ câu hỏi, mô tả lựa chọn cạnh kết quả mong đợi, dùng dữ liệu được phép lưu.

Khi đổi prompt, ngưỡng hoặc cấu hình phục vụ, phát lại bộ ấy trước mở lưu lượng. Tiến bộ một nhóm có thể che hồi quy nhóm khác. Ví dụ định tuyến dứt khoát hơn giảm kiểm tra nhưng tăng lỗi tin ngắn mơ hồ. Chỉ trung bình chung không giải thích đánh đổi.

Ghi mã mô hình thực và đường phục vụ mỗi đánh giá. Nếu triển khai theo mã latest thay đổi, xác lập cách nhận ra hành vi đổi và xem lại nghiệm thu. Lược đồ ứng dụng ổn định không đảm bảo quyết định giống mãi.

Cũng thử lỗi dịch vụ. Timeout, mô hình không sẵn hoặc phản hồi sai cần vào đường khôi phục định nghĩa thay vì âm thầm chọn nhóm mặc định. Mặc định tự nó là quyết định kinh doanh, có thể không hợp yêu cầu nhạy cảm. Hệ mô hình nhỏ đáng tin xử lý câu trả lời không có chủ đích như câu tự tin. Kỷ luật ấy quan trọng dù yêu cầu thường tốn phần nhỏ một xu.

Mô hình nhỏ làm chất lượng ranh giới quyết định rõ hơn

Theo chúng tôi, joey-1 đáng chú ý nhất nơi ứng dụng đã định nghĩa lựa chọn rõ. Quyết định rẻ nhanh có thể chuyển nhiều việc, nhưng hệ phân loại kém chỉ chuyển lỗi nhanh hơn.

Câu hỏi giá trị là hệ xử lý đúng được bao nhiêu trong phạm vi biết, và xử lý phần còn lại tốt thế nào. Mô hình nhỏ xứng đáng khi đường chuyển cấp thuộc sản phẩm, thay vì chú thích sau giá.

Nguồn

• Baseten: Quyết định với một xu, giới thiệu joey-1, ngày 29 tháng 10 năm 2026.
• Thư viện mô hình và ví dụ API Baseten joey-1, kiểm tra ngày 2 tháng 11 năm 2026.
• Thẻ mô hình Base Labs joey-1, kiểm tra ngày 2 tháng 11 năm 2026. Các mục benchmark do bên công bố báo; mục Artificial Analysis được xác định là bản tái lập nội bộ.

Giữ việc đánh giá gắn với nguồn

Telli.sh là một lựa chọn để lưu tài liệu nguồn được phép sử dụng và ghi chú làm cơ sở cho quyết định kỹ thuật. Tạo không gian ghi chú.