Baseten Grid mengajak kita mengira kos menyiapkan tugas pengekodan

Sebuah ejen pengekodan menghasilkan perubahan yang kemas untuk ujian yang gagal. Perubahan itu gagal dalam CI, lalu pembangun meminta ejen mencuba lagi. Percubaan kedua menyentuh bahagian repositori yang lebih luas, dan penyemak mengambil masa setengah jam untuk memeriksa tampalan yang sepatutnya mengambil masa lima minit. Model manakah yang lebih murah?

Baseten memperkenalkan Grid dalam pratonton awam pada 4 November. Grid menggabungkan gerbang untuk model yang diluluskan, penghala dan kawalan pusat untuk penggunaan serta batas keselamatan. Perkhidmatan ini boleh diletakkan antara alat pengekodan yang disokong dengan modelnya supaya pasukan boleh menggunakan dasar yang sama pada pelbagai permintaan. Halaman akses awal mengarahkan pasukan ke senarai menunggu.

Gunakan penyebut yang sesuai

Kos bagi setiap tugas yang diterima. Ilustrasi asal Telli.sh.

Harga token mengukur satu unit penggunaan model. Pasukan perlu menghantar hasil yang memenuhi kriteria penerimaannya. Sesuatu permintaan boleh menghasilkan jawapan, satu sesi pelaksanaan boleh menghasilkan diff, dan tugas itu masih belum selesai. Mengira setiap peristiwa secara berasingan menjadikan percubaan penghalaan lebih berguna.

Andaikan dua laluan masing-masing menerima 100 tugas yang serupa. Laluan murah membelanjakan $50 untuk semua percubaan dan menyiapkan 50 tugas yang boleh diterima. Laluan satu lagi membelanjakan $90 dan menyiapkan 90 tugas. Dalam contoh ini, kedua-duanya menelan kos penggunaan model sebanyak $1 bagi setiap hasil yang diterima. Apabila masa semakan manusia, caj alat dan kos menunggu percubaan semula dimasukkan, hasilnya mungkin berbeza. Kos tersebut boleh memihak kepada mana-mana laluan.

Masukkan kegagalan ke dalam pengangka. Laluan yang berputus asa pada permintaan sukar boleh kelihatan cekap jika percubaan yang ditinggalkan tercicir daripada pengiraan. Kekalkan juga takrif kejayaan. Bagi perubahan dokumentasi, diff yang diluluskan mungkin memadai. Migrasi memerlukan ujian bagi data sedia ada dan cara untuk mengundurkan perubahan.

Kategori kerja turut berpengaruh. Migrasi API seluruh repositori boleh menjadi sukar kerana memerlukan konteks, penyelarasan dan banyak perubahan kecil. Tampalan satu baris boleh menjadi lebih sukar jika melibatkan pepijat konkurensi yang sukar dikesan. Bilangan fail dan panjang gesaan berguna sekiranya ia membantu meramalkan hasil dalam persekitaran anda.

Baca eksperimen penghala sebagai pertukaran antara kos dan hasil

Eksperimen penghalaan. Ilustrasi asal Telli.sh.

Laporan teknikal Baseten membandingkan penggunaan Opus 5.5 untuk semua tugas dengan penghalaan antara model itu dan GLM 5.3 Flash. Untuk gabungan tugasan DeepSWE, SWE Atlas QnA dan Terminal-Bench, syarikat melaporkan satu titik dengan kos 72% lebih rendah dan kadar lulus dalam lingkungan 0.8 mata peratusan daripada penggunaan Opus untuk semua tugas. Laporan itu membandingkan penghala dengan penghalaan rawak pada kos setara. Perbandingan ini penting kerana lebih banyak tugas pada model murah akan mengurangkan kos purata model walaupun laluan dipilih melalui lambungan syiling.

Ambang penghalaan mencerminkan jumlah yang sanggup dibayar untuk peluang kejayaan. Mengutamakan kos boleh mengalihkan lebih banyak tugas ke laluan murah. Tetapan lain boleh mengutamakan model yang lebih berupaya apabila hasilnya lebih penting. Keputusan Baseten mencerminkan model, tugasan dan andaian harga yang dipilihnya. Taburan kerja dan kos kegagalan pasukan anda akan berbeza.

Pengumuman produk membuat dakwaan berasingan yang dibundarkan kepada penjimatan sehingga 70% dalam penanda aras awal. Bezakan dakwaan tersebut daripada penjimatan 72% dalam eksperimen dan perbandingan kadar lulus yang berkaitan. Laporan teknikal menunjukkan bagaimana kos dan hasil berubah bersama. Pasukan boleh memilih titik yang selari dengan keutamaannya dan menguji sama ada hasil itu bertahan dalam kerja sebenar.

Gerbang boleh menjadikan dasar lebih jelas

Pengumuman Grid menerangkan model yang diluluskan, kawalan pada peringkat pasukan dan keterlihatan penggunaan. Pasukan platform boleh memberi pembangun akses kepada model yang telah dinilai oleh organisasi sambil memantau agihan penggunaan. Pasukan boleh mula memahami perbelanjaannya sebelum menyerahkan pemilihan laluan kepada penghala.

Beberapa keputusan timbul dalam amalan. Penyedia manakah yang dibenarkan melihat kod hak milik syarikat? Model manakah yang diluluskan untuk repositori tertentu? Pasukan manakah menanggung kos percubaan semula? Siapakah yang boleh menggantikan laluan selepas insiden? Gerbang boleh meletakkan keputusan pada satu titik kawalan bersama, dengan syarat pentadbir memahami skop kawalannya.

Gerbang model dan persekitaran pelaksanaan ejen ialah dua titik kawalan berasingan. Gerbang menentukan model yang menerima permintaan. Alat atau persekitaran pelaksanaan menentukan sama ada ejen boleh membaca bukti kelayakan, menulis fail atau membuat panggilan rangkaian. Sekatan laluan berguna apabila digunakan bersama kebenaran pelaksanaan tersebut. Laluan murah tetap memerlukan batas yang sama untuk alat dengan keistimewaan akses.

Bukti yang disimpan juga perlu dipertimbangkan. Log penghalaan membantu menerangkan perubahan kos, tetapi jejak pelaksanaan boleh mengandungi kod, laluan fail dan butiran insiden pelanggan. Tentukan perkara yang boleh direkodkan platform, siapa yang boleh melihatnya dan berapa lama rekod boleh disimpan. Dasar yang tidak dapat dilihat pembangun sukar disiasat apabila permintaan ditolak atau dihantar ke laluan lain secara tidak dijangka.

Uji penghalaan sebelum menukar pilihan lalai

1. Pilih dua atau tiga kumpulan tugas biasa. Sertakan kumpulan yang mudah seperti kemas kini ujian rutin, dan kumpulan yang lebih sukar seperti migrasi yang memerlukan keserasian ke belakang.
2. Tetapkan bukti penerimaan sebelum bermula. Bagi tugas pengekodan, ini boleh meliputi ujian regresi yang lulus, diff yang bersih, kelulusan penyemak dan pemeriksaan perubahan fail yang tidak dijangka.
3. Rekod garis dasar menggunakan model lalai semasa. Masukkan percubaan yang gagal, percubaan semula dan kerja yang disiapkan pembangun secara manual. Kekalkan kekangan keselamatan dan data yang digunakan dalam persekitaran produksi.
4. Bandingkan penghalaan pada tugas yang setara. Jika akses tersedia, semak alat dan kebenaran yang disokong dalam dokumentasi rasmi sebelum menyambungkan akaun.
5. Tentukan bila perlu beralih model. Kegagalan pada percubaan pertama boleh mencetuskan model kedua, tetapi percubaan semula tanpa had boleh menelan belanja melebihi penggunaan model yang lebih berupaya sejak awal. Tetapkan had dan rekod sebab eskalasi.
6. Sediakan cara memilih laluan secara manual untuk tugas yang mempunyai kesan besar sekiranya hasilnya salah. Selepas percubaan, semak pengecualian bersama angka keseluruhan kos dan penerimaan.

Untuk percubaan dalaman, bandingkan satu tempoh pemilihan model oleh pembangun dengan satu tempoh menggunakan penghalaan pada kerja yang serupa. Kumpulan pertama mungkin mendapat manfaat daripada pengetahuan pembangun tentang repositori. Kumpulan kedua mungkin mendapat manfaat daripada dasar yang konsisten dan keterlihatan yang lebih baik. Catat perbezaan tugas supaya perbandingan menunjukkan bila automasi membantu dan bila pertimbangan manusia masih bernilai.

Semak log tugas yang sepadan

Sebulan rekod pull request yang selesai ialah tempat yang berguna untuk bermula. Labelkan kerja mengikut permintaan awal, seperti kemas kini kebergantungan, pepijat dengan ujian yang boleh dihasilkan semula, perubahan merentas repositori atau penyiasatan terbuka terhadap pelaksanaan yang gagal. Simpan semakan repositori dan pemeriksaan penerimaan untuk setiap tugas. Jalankan semula sampel dengan garis dasar yang stabil dan dengan penghala. Gunakan alat, peruntukan masa dan persekitaran ujian yang sama dalam kedua-dua sesi.

Kemas kini kebergantungan berguna sebagai contoh yang kurang kabur. Kerja itu berjaya apabila kebergantungan yang dinamakan berubah, semakan keserasian lulus dan pull request tidak mengandungi suntingan yang tiada kaitan. Tugas yang melibatkan kontrak pengebilan memerlukan semakan yang lebih ketat. Ia mungkin juga memerlukan manusia mentafsir keperluan yang belum lengkap. Mengekalkan perbezaan antara kumpulan ini membantu menunjukkan punca penjimatan purata. Jika laluan murah unggul pada kemas kini kebergantungan tetapi memerlukan beberapa percubaan untuk perubahan pengebilan, pasukan boleh menghalakan kedua-duanya secara berbeza.

Rekod masa yang diambil manusia untuk menentukan sama ada hasil boleh diterima. Andaikan garis dasar menghasilkan 19 hasil yang diterima daripada 20 tugas pada kos $19, manakala penghala menghasilkan 18 hasil yang diterima pada kos $9. Kos model bagi setiap hasil yang diterima ialah $1.00 dan $0.50 dalam contoh ini. Jika penyemak mengambil masa tambahan 20 minit membetulkan satu hasil penghalaan yang gagal, perbandingan kos berubah. Ukuran organisasi boleh mengambil kira kerja semula itu sambil mengekalkan perbezaan antara dolar dan minit.

Fahami data yang digunakan penghala

Catatan teknikal Baseten menamakan DeepSWE 1.1, SWE Atlas QnA dan Terminal-Bench 2.1. Kajian itu membandingkan Claude Opus 5.5 dan GLM 5.3 Flash merentas tugas serta menilai penghala pada data yang diasingkan. Butiran itu penting apabila menentukan sejauh mana hasil boleh digunakan dalam keadaan lain. Soalan tentang cara menavigasi repositori mempunyai corak kos berbeza daripada tugas yang menjalankan shell, menggunakan alat luar atau menukar beberapa fail. Penilaian pelanggan perlu mewakili tugas yang dijangka akan dihantar.

Catatan teknikal menerangkan Cost, Balanced dan Intelligence sebagai tetapan pada masa permintaan yang mengalihkan ambang penghalaan. Pasukan produk boleh menggunakan perbezaan itu untuk menjalankan perbandingan di belakang tabir. Bandingkan tetapan pada satu set tetap tugas ulangan yang dibenarkan dan rekod model yang dipilih jika penyepaduan memaparkannya. Semak perbezaan keputusan. Jika pilihan berkos tinggi tertumpu pada tugas yang dianggap sensitif atau sukar, dasar itu mungkin membantu. Jika perbezaan tertumpu pada satu tugas mudah yang biasa, klasifikasi tugas atau dasar mungkin perlu dilaraskan.

Perhatikan tugas yang paling lambat dan mahal

Kependaman purata boleh menyembunyikan masa menunggu pengguna bagi tampalan sukar yang melalui beberapa model. Rekod masa sebenar dari permintaan sehingga hasil diterima dan tandakan percubaan semula, eskalasi, tamat masa atau serahan tugas. Papan pemuka yang hanya menunjukkan masa respons model pertama boleh melaporkan kejayaan bagi tugas yang terpaksa dimulakan semula oleh pengendali. Masukkan perbelanjaan dan masa selepas serahan.

Hadkan percubaan sebelum penggunaan meluas. Tetapkan peruntukan bagi keseluruhan tugas dan peraturan untuk berhenti atau beralih kepada model yang lebih berupaya. Percubaan yang gagal patut meninggalkan bukti yang mencukupi supaya percubaan seterusnya boleh meneruskan kerja. Elakkan mengulangi ujian atau membaca fail yang sama hanya kerana penghala memilih model lain. Ukuran yang berguna ialah sejauh mana kerja sudah berjalan.

Untuk penggunaan berperingkat, mulakan dengan kumpulan tugas kecil yang mempunyai peraturan penerimaan automatik dan pengecualian yang boleh diperiksa manusia. Kemudian tambah kumpulan yang memerlukan pertimbangan bagi penerimaan. Bandingkan secara berasingan kos setiap tugas yang diterima, kadar eskalasi dan masa semakan. Jika manfaat itu bertahan, organisasi mempunyai bukti yang lebih baik untuk menetapkan pilihan lalai.

Pastikan garis dasar kekal berguna selepas model berubah

Hasil yang dikumpul dalam satu minggu boleh lapuk apabila salah satu model, alat atau repositori berubah. Simpan pengecam model, semakan ujian dan peraturan penerimaan bersama keputusan penghalaan. Jalankan semula beberapa tugas yang mewakili kerja apabila mengubah dasar. Sertakan beberapa kegagalan mahal kerana kosnya mudah terselindung dalam purata.

Minta penyemak memeriksa perbezaan antara laluan tanpa melihat model yang dipilih. Jika penyemak tidak dapat mengenal pasti hasil yang boleh diterima, perhalusi pemeriksaan penerimaan sebelum mengumpul lebih banyak hasil. Dasar penghalaan lebih mudah dibandingkan apabila pasukan bersetuju tentang cara mengenal pasti kejayaan.

Dasar perlu bertambah baik apabila kerja berubah

Penghalaan berguna apabila pasukan tidak lagi perlu membuat keputusan kecil yang sama berulang kali. Ia amat berguna apabila prestasi dan harga boleh diukur untuk unit kerja yang sama. Model, harga dan repositori anda akan berubah dari masa ke masa. Simpan tugas penanda aras dan kemas kini set ujian supaya dasar penghalaan dapat mengikut perubahan tersebut.

Angka yang patut dibawa ke mesyuarat perancangan ialah jumlah yang dibayar pasukan untuk menghantar kerja yang diterima, bersama keterangan jelas tentang pertukaran antara kos dan hasil. Ini memberi ketua kejuruteraan dan pemilik peruntukan asas untuk bertindak bersama.

Sumber

• Pengumuman pratonton Baseten Grid pada 4 November
• Laporan teknikal Baseten Router pada 4 November

---

Untuk menyimpan rekod perbualan dan keputusan di sebalik kerja anda yang boleh dicari, Cipta akaun Telli.sh.