Bolehkah buku nota GPU dihentikan dan eksperimen yang sama disambung?

Sudah pukul enam petang. Buku nota akhirnya memuatkan model dan menghasilkan keputusan yang wajar diteliti. Jika sesi dihentikan, esok anda mungkin perlu membina semula persekitaran dan memuatkan model semula. Jika dibiarkan berjalan, pemecut yang sukar diperoleh mungkin terbiar sepanjang malam.

Google mengumumkan GKE Workspaces pada 4 November. Persekitaran pembangunan sumber terbuka ini berjalan dalam kluster Google Kubernetes Engine milik pasukan. Papan pemuka dalam pelayar boleh melancarkan JupyterLab atau VS Code dengan sumber yang sudah dikonfigurasikan. Projek ini dibina berasaskan Kubeflow Workspaces dan mendokumentasikan cara menjeda dan menyambung sesi yang disokong. Pasukan perlu mengenal pasti keadaan yang diperlukan esok serta sumber yang mesti kekal diperuntukkan untuk mengekalkannya.

Imej pegun yang dipangkas daripada demo buku nota GKE Workspaces yang boleh disambung, Apache 2.0. Sumber imej · Lesen.

Fail buku nota dan sesi aktif menyimpan perkara berbeza

Jeda buku nota GPU. Ilustrasi asal Telli.sh.

Menyimpan buku nota mengekalkan sel yang ditulis dan output yang sudah disimpan. Cakera boleh menyimpan set data dan titik semak supaya proses baharu boleh menggunakannya. Keadaan lengkap sesi aktif tidak tersimpan secara automatik. Eksperimen boleh mengandungi pemboleh ubah yang telah dimulakan, model pada pemecut dan keadaan perantaraan yang mengambil masa untuk diwujudkan semula.

Google menerangkan penggunaan GKE Pod Snapshots untuk menyimpan keadaan ruang kerja aktif yang disokong sambil melepaskan sumber pengkomputeran. Fail ruang kerja kekal dalam storan persisten. Untuk menyambung, kapasiti yang serasi dan syot kilat mesti tersedia. Jeda membolehkan anda kembali kepada eksperimen dengan lebih lengkap daripada membuka semula fail tersimpan, tertakluk pada kekangan persekitaran yang digunakan.

Kebolehulangan dan kemudahan membantu bahagian aliran kerja yang berlainan. Syot kilat membantu seseorang yang ingin menyambung sesi dalam masa terdekat. Buku nota yang boleh dihasilkan semula dan titik semak aplikasi memudahkan orang lain menjalankan semula kerja atau memindahkannya ke persekitaran lain. Simpan kedua-duanya bagi eksperimen penting.

Pasukan penyelidikan boleh menjeda sesi GPU antara mesyuarat sambil tetap memasukkan kod ke repositori dan menyimpan artifak model di lokasi yang kekal. Jika syot kilat gagal dipulihkan, pasukan mempunyai laluan alternatif. Kerja latihan jangka panjang juga boleh menyimpan titik semak mengikut jadual walaupun ruang kerja yang memulakannya menyokong jeda.

Ruang kerja yang dihentikan masih membawa kos

Jejaki bil sebenar. Ilustrasi asal Telli.sh.

Manfaat ekonomi segera ialah mengelakkan penggunaan pengkomputeran ketika tiada sesiapa bekerja. Bil sebenar bergantung pada tindakan kluster selepas sesi dihentikan. Nod mungkin terus berjalan kerana digunakan oleh pod lain. Tempahan masih boleh membawa kos atau komitmen. Cakera persisten dan syot kilat yang disimpan kekal sebahagian daripada sistem.

Ambil satu contoh hipotesis. Jika penyelidik membiarkan pemecut yang tidak digunakan terus diperuntukkan selama 12 jam selepas bekerja, jeda memberi platform peluang untuk melepaskan 12 jam pemecut itu. Ini peluang untuk memulihkan kapasiti. Kesan kewangan bergantung pada cara nod dan pemecut disediakan serta dibilkan. Jika nod mesti kekal dalam talian untuk kerja lain, penjadualan mungkin lebih banyak mendapat manfaat berbanding bil semasa.

Perbandingan yang adil turut mengambil kira masa. Menyimpan syot kilat menggunakan sumber, memulihkan keadaan yang besar mengambil masa, dan pemecut yang diperlukan mungkin belum tersedia. Pada kluster yang sibuk, menyerahkan peranti kepada orang lain boleh membawa manfaat walaupun pasukan sudah membuat komitmen bagi kumpulan kapasiti.

Rekod waktu kerja aktif berakhir, waktu ruang kerja berhenti dan waktu nod tersedia. Kemudian ukur bila pengguna yang menyambung sesi dapat menjalankan sel seterusnya. Detik tersebut membantu pasukan platform menilai sama ada dasar jeda memulangkan kapasiti yang berguna tanpa menyebabkan barisan menunggu pada awal hari kerja berikutnya.

Pasukan platform masih menentukan syarat ruang kerja

Layan diri mengubah siapa yang menekan butang. Pentadbir masih menentukan imej yang boleh dilancarkan, pemecut yang boleh diminta dan cara kluster mengurus kuota serta pengasingan. Repositori GKE Workspaces mengenal pasti projek ini sebagai kod Apache 2.0 dan menyatakan ia tiada sokongan rasmi Google. Ambil kira pemasangan dan operasi sebagai tanggungjawab kejuruteraan ketika menilainya untuk pasukan.

Jurutera ML mungkin memerlukan IDE yang biasa digunakan, memori yang cukup dan akses kepada set data eksperimen. Pemilik platform turut memikirkan identiti lalai, kebenaran storan, cara beban kerja dihentikan serta imej yang boleh menerima kemas kini. Keperluan ini serasi jika jenis ruang kerja menjelaskan akibat setiap pilihan. Buku nota CPU kecil dan sesi eksperimen GPU boleh bermula dengan tetapan lalai berbeza.

Keluaran ini juga menerangkan pilihan pemecut dan sambungan untuk alat tempatan atau ejen. Semak arahan penyediaan untuk kluster dan kegunaan anda sebelum menganggap pilihan itu boleh saling menggantikan. Pemulihan khusus perkakasan, akses merentas kluster dan sambungan pembangunan tempatan mempunyai prasyarat masing-masing. Mulakan dengan kes mudah apabila ahli pasukan boleh memeriksa ruang kerja dan mengesahkan kluster yang menjalankannya.

Jalankan satu percubaan jeda dan pemulihan

1. Baca panduan pelaksanaan projek dan keperluan semasa persekitaran GKE anda untuk syot kilat serta pemecut. Sediakan ruang kerja ujian dengan kebenaran dan had sumber yang mencerminkan aliran kerja yang dicadangkan.
2. Lancarkan buku nota yang boleh dihasilkan semula. Simpan input, satu titik semak aplikasi perantaraan dan fail hasil yang kecil. Rekod masa dan peruntukan sumber sebelum menjeda.
3. Jeda ruang kerja dan semak keadaan sumber kluster. Pastikan sama ada pod telah berhenti, sama ada pemecut boleh dijadualkan semula dan storan yang masih digunakan.
4. Sambung semula ruang kerja. Sahkan fail serta keadaan aktif yang dijangka dan jalankan satu sel yang menggunakan model yang dimuatkan. Ukur masa dari permintaan untuk menyambung sehingga buku nota boleh digunakan.
5. Cuba pemulihan yang sama daripada fail dan titik semak aplikasi yang telah disimpan. Ini memberi pilihan alternatif dan perbandingan berguna sekiranya pemulihan syot kilat perlahan atau tidak tersedia.
6. Semak tetapan melahu bersama pasukan. Putuskan apa yang dikira sebagai ketidakaktifan dan sama ada kerja jangka panjang memerlukan jenis ruang kerja berasingan atau pengendalian khusus.

Uji juga pemulihan dengan had kuota atau pada kluster yang sibuk. Demo yang lancar pada kluster kosong boleh menyembunyikan kesukaran memperoleh kapasiti apabila beberapa pengguna kembali serentak. Tujuan percubaan adalah memahami tingkah laku sistem apabila sumber terhad.

Kira bagaimana masa GPU digunakan

Bayangkan satu stesen kerja pembangun digunakan 40 jam seminggu. Mesin yang kekal diperuntukkan sepanjang minggu mencatat 168 jam. Jika platform boleh melepaskan nod GPU apabila kerja berhenti dan memulihkannya hanya dalam 40 jam itu, masa nod diperuntukkan berkurang 128 jam sebelum mengambil kira kos pemprosesan syot kilat dan pemulihan. Contoh ini menggunakan tiada andaian harga awan atau corak penggunaan tertentu. Ia menunjukkan had atas bagi corak peruntukan itu kerana nod dikongsi masih boleh menjalankan kerja berguna dalam tempoh yang sama.

Pasukan boleh menjadikan perbandingan lebih realistik dengan garis dasar daripada kumpulan GPU sendiri. Untuk setiap selang ujian, rekod jam nod, sama ada kerja lain menggunakan nod itu dan jumlah data ruang kerja yang disimpan. Catat juga masa dari permintaan menyambung hingga sel seterusnya boleh dijalankan. Jika nod kekal kerana beban kerja kedua masih aktif, buku nota yang dijeda mungkin membuka kapasiti bagi beban itu tanpa mengurangkan bil. Itu hasil berbeza yang masih berguna.

Masa mengambil syot kilat termasuk dalam pengiraan. Jika jeda mengambil masa lama sementara pod lama masih diperuntukkan, ambang melahu yang agresif boleh menyebabkan lebih banyak gangguan dengan sedikit penjimatan pengkomputeran. Jika penyambungan mengambil masa beberapa minit sementara penskala automatik mendapatkan GPU yang serasi, pembangun yang kembali daripada rehat singkat mungkin menunggu lebih lama daripada masa yang dijimatkan. Ukur beberapa tempoh melahu untuk menentukan bila jeda berbaloi.

Pilih keadaan yang perlu disimpan sebelum mendayakan jeda

Repositori GKE Workspaces menerangkan aliran VS Code tanpa keadaan dan contoh JupyterLab berkeadaan yang berasingan. Contoh kedua menunjukkan pemulihan buku nota berasaskan GPU, termasuk model Qwen2.5 3B pada satu T4. Syot kilat pod Kubernetes dan contoh tersebut mempunyai kekangan keserasian tertentu. Dokumentasi GKE Google menerangkan peranan GKE Sandbox serta konfigurasi nod dan imej yang serasi. Bagi contoh GPU, sahkan nod baharu mempunyai model GPU disokong yang sama dan persekitaran serasi sebelum bergantung pada pemulihan.

Tentukan jangkaan pengguna apabila melihat butang jeda. Ada yang mengharapkan fail, output dan keadaan editor. Ada yang mengharapkan sel Python seterusnya melihat objek yang sudah berada dalam RAM atau model yang disimpan dalam VRAM. Set data dikongsi mungkin berada dalam storan objek luaran dan di luar syot kilat. Catat keadaan yang boleh dipulihkan oleh ruang kerja pilihan, lokasi fail biasa disimpan secara kekal dan tindakan jika pemulihan gagal.

Satu lagi percubaan berguna ialah kegagalan sebelum menyambung. Dalam ruang nama ujian, jadikan kapasiti serasi tidak tersedia buat sementara dan semak sama ada ruang kerja melaporkan keadaan yang jelas tanpa mewujudkan beberapa pemulihan yang bersaing. Semak kemampuan pemilik pulih daripada fail atau output tersimpan jika proses dalam memori tidak dapat disambung. Kemudian padam syot kilat ujian dan pastikan peraturan storan serta pengekalan berfungsi seperti dijangka.

Bincangkan kos bersama pasukan

Penyelidik mahu kerja mereka disambung. Pasukan platform mahu kapasiti GPU yang terhad kembali kepada kumpulan bersama. Pemilik bil mahu tahu sama ada sesuatu peruntukan benar-benar tamat. Satu sampel boleh menjawab ketiga-tiganya jika percubaan merekod masa melahu, penempatan nod, saiz syot kilat, penyambungan berjaya dan masa pemulihan secara berasingan. Tambah nota sokongan bagi kes yang gagal dan sediakan cara untuk pengguna mengetahui sama ada ruang kerja dijeda, menunggu kapasiti atau sudah sedia.

Dengan garis dasar itu, pilih dasar melahu mengikut jenis beban kerja. Sesi buku nota yang panjang dengan model yang mengambil masa untuk dimuatkan mungkin mendapat manfaat daripada pengekalan memori antara syif. Eksperimen ringkas yang bermula daripada skrip tersimpan mungkin hanya memerlukan fail kekal dan proses baharu. Kedua-duanya boleh berkongsi kumpulan yang sama tanpa menjanjikan tempoh pemulihan yang serupa.

Masukkan ujian sambung semula dalam senarai semak keluaran

Naik taraf platform boleh menukar imej yang memulakan ruang kerja atau kumpulan nod yang membekalkan kapasiti GPU. Sebelum mendayakan perubahan untuk pasukan, cipta buku nota ujian pada konfigurasi lama dan sahkan apa yang berlaku pada konfigurasi baharu. Ujian perlu membezakan pemulihan berjaya daripada sesi baharu yang membuka fail buku nota yang sama. Baca nilai yang hanya wujud dalam proses ujian aktif, kemudian sahkan bahawa fail yang digunakan proses itu masih ada.

Jika naik taraf menjadikan syot kilat lama tidak sah, beri pengguna peluang menyimpan output penting dan terangkan laluan alternatif. Semak pembersihan syot kilat tamat tempoh secara berasingan. Ujian pemulihan membuktikan ruang kerja tertentu boleh kembali. Ujian pembersihan menunjukkan jumlah keadaan lama yang tertinggal selepas pengguna berhenti menggunakannya.

Kekalkan kerja yang paling sukar diwujudkan semula

Ruang kerja lebih berguna apabila pengguna boleh berhenti memikirkan kitar hayat mesin sambil masih boleh memulihkan kerja. Ini bergantung pada pengasingan antara fail, titik semak, syot kilat dan kapasiti. Pilih keadaan minimum yang diperlukan untuk menyambung dengan selesa dan pastikan projek masih boleh dihasilkan semula tanpa sesi asal.

Jika pasukan dapat menjawab perkara yang kekal pada cakera, perkara yang perlu dipulihkan dan waktu kapasiti pengkomputeran dipulangkan, pasukan boleh menetapkan dasar melahu yang benar-benar akan digunakan.

Sumber

• Konsep dan keserasian syot kilat pod GKE

• Contoh buku nota yang boleh disambung pada semakan demo

• Pengumuman Google Open Source Blog pada 4 November dan rakaman skrin ruang kerja

• Kod sumber GKE Workspaces, status sokongan dan dokumentasi pemasangan

---

Untuk menyimpan rekod perbualan dan keputusan di sebalik kerja anda yang boleh dicari, Cipta akaun Telli.sh.