AI hardware9 menit baca

Tetap Gunakan Agen Pemrograman Anda. Pindahkan Modelnya ke Mac.

macMLX 0.11.0 menghubungkan inferensi lokal Apple Silicon dengan Codex dan Claude Code. Pelajari pengaruh jalur API, alias model, memori, serta izin alat terhadap percobaan Anda.

K
Ken Jo

Antarmuka yang menyunting repositori dan model yang memutuskan apa yang perlu disunting tidak harus berasal dari tempat yang sama. Agen pemrograman dapat mempertahankan alur kerja yang familier sambil mengirim sebagian permintaan inferensi ke model yang berjalan pada Mac Anda sendiri.

macMLX 0.11.0, dirilis pada 17 November 2026, menyediakan jalur API konkret untuk susunan tersebut. Codex dapat menggunakan endpoint Responses, sedangkan Claude Code dapat menggunakan endpoint Messages dan penghitungan token. Backend ini berjalan pada Apple Silicon dengan macOS 14 atau lebih baru.

Daya tariknya adalah kendali atas tempat inferensi model tertentu berlangsung. Keputusannya lebih rumit daripada mengganti URL: kemampuan model, penanganan percakapan, serialisasi permintaan, dan izin alat pemrograman itu sendiri tetap menentukan apakah konfigurasi tersebut berguna.

Sebelum memulai: pilih model lokal yang didukung dan mampu memanggil alat, siapkan anggaran untuk bobot serta konteks dalam memori terpadu, dan perlakukan respons percakapan yang berhasil sebagai pengujian pertama, bukan bukti bahwa alur kerja pemrograman sudah berfungsi.

Agen tetap di depan; API lokal berada di belakangnya

macMLX adalah aplikasi dan server inferensi lokal berbasis Swift yang dibangun di sekitar ekosistem MLX Apple. Jalur inferensi bawaannya berjalan dalam proses Swift, tanpa mewajibkan runtime Python. Penjelasan itu berlaku untuk mesin bawaan, bukan klaim mengenai setiap integrasi opsional atau subproses yang mungkin didukung proyek.

Rilis baru ini penting karena agen pemrograman memakai lebih dari interaksi sederhana berupa prompt masuk dan teks keluar. Agen dapat meminta model memanggil alat, menjalankan operasi yang diizinkan, mengembalikan hasil, lalu meminta langkah berikutnya. Server harus mempertahankan riwayat dan struktur permintaan yang relevan sepanjang putaran tersebut.

Versi 0.11.0 menambahkan permukaan API /v1/responses yang kompatibel dengan OpenAI untuk Codex, bersama perubahan bagi Claude Code melalui /v1/messages dan /v1/messages/count_tokens. Catatan dukungan rilis juga menjelaskan pemutaran ulang penalaran terdahulu ke templat percakapan model dan penggunaan kembali riwayat giliran agen pada model hibrida serta berjendela geser. Detail integrasi ini memiliki konsekuensi praktis: backend yang bisa menjawab sapaan belum tentu mampu melewati giliran alat berikutnya.

Klien pemrograman, API lokal, dan model adalah komponen terpisah Grafik penjelasan orisinal: klien pemrograman mengelola alur kerjanya, macMLX melayani permintaan API yang kompatibel, dan model lokal yang dipilih menyediakan inferensi. Eksekusi alat memiliki batas izin tersendiri.

Bayangkan API sebagai adaptor steker. Adaptor memungkinkan dua komponen terhubung, tetapi tidak menyamakan daya, kapasitas, atau perilakunya. Antarmuka Codex atau Claude Code yang familier tidak mengubah model lokal lebih kecil menjadi model jarak jauh yang sebelumnya Anda gunakan.

Endpoint Responses tanpa status mengubah persoalan penskalaan

Endpoint Responses pada 0.11.0 tidak menyimpan status antarpermintaan. Klien harus mengirim percakapan yang dibutuhkan untuk giliran berikutnya. README pada tag tersebut mengatakan Codex melakukan ini, sedangkan previous_response_id ditolak, bukan dipakai untuk mengambil respons server yang tersimpan.

Penanganan permintaan tanpa status tidak berarti runtime tidak memiliki cache. Status percakapan dan cache inferensi yang dapat dipakai ulang menyelesaikan masalah berbeda. Klien tetap memasok riwayat yang diperlukan; cache yang kompatibel dapat mengurangi pekerjaan ketika sebagian masukan tersebut cocok dengan prefiks sebelumnya.

Endpoint baru ini juga memiliki batas konkurensi eksplisit: hanya satu permintaan dilayani pada satu waktu. README menjelaskan bahwa subagen Codex karena itu akan mengantre. Menjalankan beberapa agen dapat memperpanjang antrean, bukan melipatgandakan throughput berguna Mac. Proyek memiliki kemampuan batching lain, tetapi kemampuan itu tidak boleh dikaitkan dengan jalur permintaan yang batas terdokumentasinya adalah eksekusi serial.

Hal ini memengaruhi rancangan percobaan pertama. Satu asisten yang menjalankan tugas repositori terbatas lebih mudah dievaluasi daripada sekumpulan agen yang membuka beberapa percakapan panjang. Catat waktu penyelesaian tugas secara utuh, termasuk menunggu, memuat, dan menjalankan alat. Token per detik selama satu generasi aktif hanyalah sebagian dari durasi itu.

Mulailah dengan tugas repositori kecil yang jawabannya diketahui

Contoh tugas pertama adalah meminta agen menjelaskan modul kecil dan mengusulkan pengujian unit tanpa mengubah berkas. Anda dapat memeriksa apakah penjelasannya sesuai dengan kode dan apakah usulan pengujiannya menyasar kontrak yang nyata. Ini memberi patokan sebelum Anda memberikan izin menulis atau menjalankan shell.

Tugas kedua dapat mengizinkan perubahan pada cabang sementara: mengganti nama simbol internal dengan lingkup jelas, menyesuaikan pemanggilnya, dan menjalankan pengujian terfokus yang sudah ada. Kriteria keberhasilannya konkret. Apakah agen hanya menyentuh berkas yang dituju, mempertahankan kontrak publik, dan melaporkan hasil pengujian sebenarnya? Penjelasan panjang yang meyakinkan bukan pengganti pemeriksaan tersebut.

Skenario ketiga adalah pekerjaan berorientasi luring pada draf sensitif atau cuplikan kode privat. Inferensi lokal dapat mempertahankan permintaan model di Mac, bergantung pada konfigurasi klien, tetapi seluruh agen tidak otomatis menjadi luring. Operasi repositori, pengelola paket, alat pencarian, server MCP, dan integrasi lain masih dapat terhubung ke luar. Tinjau secara terpisah sebelum menjanjikan lokasi penyimpanan atau pemrosesan data.

Contoh tersebut merupakan saran tugas evaluasi. Hasil kompatibilitas dalam rilis adalah pengujian integrasi milik pengembang sendiri, bukan hasil instalasi kami.

Konfigurasikan endpoint tanpa kehilangan penyedia yang sudah bekerja

Gunakan Mac Apple Silicon dengan macOS 14 atau lebih baru, instal versi bertag melalui cara yang didokumentasikan proyek, dan ikuti panduan Gatekeeper terkini. Jangan menonaktifkan kontrol keamanan seluruh sistem hanya untuk membuka aplikasi. Pilih model dari jalur yang didukung proyek dan periksa lisensi model itu sendiri sebelum mengunduhnya untuk penggunaan yang Anda inginkan.

README pada tag 0.11.0 mendokumentasikan macmlx serve dan API lokal pada port 8000. Gunakan pengenal model yang benar-benar tersedia di mesin Anda. Contoh klien berikut menyalin bentuk konfigurasi yang didokumentasikan proyek; contoh ini bukan bukti bahwa checkpoint contoh sudah terinstal pada Mac Anda.

  1. Jalankan backend dan periksa daftar modelnya. Jalankan perintah server terdokumentasi atau muat model dalam aplikasi. Periksa alamat server sebenarnya dan ID yang ditampilkan oleh /v1/models.
  2. Simpan salinan konfigurasi klien saat ini. Tambahkan penyedia lokal secara sengaja, bukan menimpa konfigurasi yang sudah bekerja dan mungkin ingin Anda bandingkan atau pulihkan.
  3. Hubungkan satu klien. Mulai dengan Codex atau Claude Code, bukan keduanya sekaligus. Pastikan permintaan teks singkat berhasil sebelum mencoba tugas dengan alat.
  4. Batasi izin pertama. Mulailah dengan membaca dan mengusulkan perubahan. Perluas akses hanya ketika alur kerja membutuhkannya.

Untuk Codex, contoh penyedia dalam README adalah:

toml
model = "Qwen3.6-27B-4bit"
model_provider = "macmlx"

[model_providers.macmlx]
name = "macMLX"
base_url = "http://127.0.0.1:8000/v1"
wire_api = "responses"

Jika Anda mengaktifkan autentikasi bearer pada backend, ikuti panduan env_key dalam README dan simpan kunci pada variabel lingkungan yang dimaksud. Contoh localhost bukan rekomendasi untuk membuka layanan inferensi tanpa autentikasi ke jaringan.

Koneksi Claude Code yang didokumentasikan menggunakan URL dasar tanpa akhiran /v1 dan memetakan alias modelnya:

BashJalankan di Terminal
export ANTHROPIC_BASE_URL=http://127.0.0.1:8000
export ANTHROPIC_API_KEY=sk-local
export ANTHROPIC_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_OPUS_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_SONNET_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_HAIKU_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_SMALL_FAST_MODEL=Qwen3.6-27B-4bit
claude

Di sini, sk-local adalah placeholder contoh proyek untuk server tanpa autentikasi bearer, bukan kredensial layanan yang nyata. Ketika autentikasi bearer diaktifkan, README justru mengarahkan Anda memakai ANTHROPIC_AUTH_TOKEN dengan kunci yang dikonfigurasikan. Panduan aliasnya penting: alias yang tidak dipetakan dapat mengirim nama model claude-* ke server yang hanya memiliki checkpoint lokal sehingga menghasilkan 404.

Dukungan model memerlukan jawaban lebih sempit daripada “kompatibel dengan MLX”

Pemeriksaan menyeluruh yang dinyatakan dalam rilis mencakup Xcode 27 dengan Qwen3.6-27B dan klien Foundation Models Apple dengan model tersebut serta Gemma 4 E4B. Pemeriksaan itu mencakup teks. Hasilnya tidak boleh diceritakan ulang sebagai bukti bahwa setiap klien pemrograman, varian model, atau permintaan gambar bekerja.

Catatan dukungan secara terpisah menjelaskan masukan gambar untuk checkpoint Gemma 4 dengan bentuk E4B yang didukung dan checkpoint padat Qwen3.5/3.6 yang menyertakan menara visinya. Catatan itu juga mengatakan permintaan gambar tidak mencatat entri cache prompt. Munculnya model dalam daftar arsitektur yang terdeteksi bukan jaminan mengenai prosesor, bobot, atau jalur multimodal checkpoint sembarang.

Untuk tugas pemrograman yang melibatkan tangkapan layar, uji jalur gambar secara independen. Minta deskripsi dengan jawaban terlihat yang sudah diketahui sebelum meminta agen mendesain ulang komponen berdasarkan gambar itu. Simpan tugas cadangan khusus teks agar Anda dapat membedakan masalah pemuatan visi dari masalah umum putaran alat.

Disiplin yang sama berlaku bagi format keluaran dan alat. Checkpoint perlu menghasilkan struktur alat yang diharapkan klien, bukan sekadar menyebut sebuah perintah dalam prosa. Verifikasi satu panggilan alat, hasil yang dikembalikan, serta jawaban lanjutan yang berguna. Kegagalan pada giliran kedua dapat mengungkap kecocokan integrasi lebih banyak daripada penyelesaian pertama yang berhasil.

Memori terpadu menjadikan konteks anggaran yang nyata

CPU dan GPU Mac berbagi memori fisik. Hal ini menghindari sebagian transfer eksplisit, tetapi tidak menghapus biaya bobot model, aktivasi, cache KV, dan aplikasi yang berjalan bersamanya. Editor, peramban, dan model lokal dapat bersaing memperebutkan kapasitas yang sama.

Jangan memperkirakan kebutuhan hanya dari jumlah parameter. Presisi bobot, ukuran checkpoint sebenarnya, panjang konteks, dan perilaku runtime semuanya berpengaruh. Mulailah dengan checkpoint yang didukung dan menyisakan ruang untuk pekerjaan normal, lalu ukur tekanan memori serta responsivitas selama tugas yang representatif.

Ada detail pembaruan khusus yang perlu diperiksa: catatan rilis mengatakan permintaan penyelesaian percakapan tanpa batas token eksplisit kini dapat berjalan hingga 32,768 token, sebelumnya 2,048. Hal ini menyangkut perilaku penyelesaian percakapan yang didokumentasikan, bukan jaminan keluaran universal untuk setiap rute API. Meski demikian, batas eksplisit memudahkan pengendalian tugas eksplorasi. Permintaan yang tanpa sengaja menghasilkan keluaran jauh lebih panjang dari yang dimaksud memakan waktu dan dapat mengganggu pekerjaan yang ingin Anda lakukan pada Mac.

Apa yang tetap lokal dan apa yang masih memerlukan izin Daftar tinjauan orisinal: permintaan model, akses repositori, eksekusi alat, dan koneksi eksternal memerlukan keputusan terpisah. Endpoint model lokal tidak otomatis membatasi tiga hal lainnya.

Bandingkan tugas lengkap sebelum membandingkan langganan

Daya tarik yang jelas adalah mengurangi ketergantungan pada inferensi jarak jauh untuk pekerjaan tertentu. Biaya yang kurang terlihat adalah waktu operator. Memuat model, menunggu antrean serial, memperbaiki patch yang kurang memadai, dan menjaga lingkungan tetap sehat semuanya perlu diperhitungkan.

Gunakan tugas terbatas dan pengujian penerimaan yang sama ketika membandingkan penyedia saat ini dengan backend lokal. Catat pemuatan dingin, respons pertama, durasi tugas total, giliran alat yang berhasil, hasil pengujian akhir, serta banyaknya koreksi manusia. Simpan model, konteks, dan versi klien dalam catatan agar pembaruan berikutnya dapat dibandingkan.

Untuk tugas ringan yang sering dilakukan, konfigurasi lokal dapat terasa praktis sekalipun kalah dalam adu kecepatan. Untuk perubahan sulit yang memerlukan beberapa putaran gagal, model jarak jauh mungkin tetap lebih murah dalam total perhatian. Itu keputusan pada tingkat tugas, bukan klaim bahwa satu lokasi penerapan menang untuk setiap pekerjaan.

Perangkat keras yang sudah Anda miliki merupakan tempat yang berguna untuk bereksperimen. Pengujian kompatibilitas yang berhasil adalah alasan untuk memperluas alur kerja terkontrol, bukan alasan langsung membeli Mac yang lebih besar.

Alat pemrograman familier dapat menjadi meja kerja yang lebih fleksibel

macMLX 0.11.0 memudahkan percobaan inferensi lokal tanpa mengganti seluruh antarmuka pemrograman. Kontribusi terpentingnya adalah hubungan eksplisit antara klien, bentuk API, dan jalur model yang didukung.

Mulailah dengan satu klien, satu model, dan satu tugas yang hasilnya dapat Anda verifikasi. Pertahankan endpoint tetap lokal, perlakukan izin alat sebagai keputusan terpisah, dan sertakan waktu tunggu serta koreksi dalam pengukuran. Hasil yang berguna adalah meja kerja yang dapat memilih backend tepat untuk suatu pekerjaan, bukan antarmuka familier yang menyembunyikan asumsi yang belum diuji.

Sumber dan media resmi

Pemeriksaan kompatibilitas diatribusikan kepada proyek. Contoh tugas serta prosedur perbandingan merupakan latihan yang diusulkan bagi pembaca.


Rekomendasi Telli.sh: Simpan model, pengaturan klien, dan hasil tugas di satu tempat agar setiap eksperimen AI lokal memiliki titik awal yang dapat diulang. Mulai catatan pertama Anda dengan Telli.sh.


← Kembali ke blog