AI hardware9 minit bacaan

Kekalkan Ejen Pengekodan Anda. Pindahkan Modelnya ke Mac.

macMLX 0.11.0 menghubungkan inferens setempat Apple Silicon kepada Codex dan Claude Code. Ketahui kesan laluan API, alias model, memori dan kebenaran alat terhadap percubaan anda.

K
Ken Jo

Antara muka yang menyunting repositori dan model yang menentukan perkara yang perlu disunting tidak semestinya datang dari tempat yang sama. Ejen pengekodan boleh mengekalkan aliran kerja yang biasa digunakan sambil menghantar sebahagian permintaan inferens kepada model yang berjalan pada Mac anda sendiri.

macMLX 0.11.0, dikeluarkan pada 17 November 2026, menyediakan laluan API yang nyata untuk susunan itu. Codex boleh menggunakan titik akhir Responses, manakala Claude Code boleh menggunakan titik akhir Messages dan pengiraan token. Bahagian belakang ini berjalan pada Apple Silicon dengan macOS 14 atau lebih baharu.

Daya tarikannya ialah kawalan terhadap lokasi inferens model terpilih berlaku. Keputusannya lebih rumit daripada menggantikan URL: keupayaan model, pengendalian perbualan, penserialan permintaan dan kebenaran alat pengekodan itu sendiri masih menentukan sama ada persediaan tersebut berguna.

Sebelum bermula: pilih model setempat yang disokong dan boleh memanggil alat, peruntukkan ruang untuk pemberat serta konteks dalam memori bersepadu, dan anggap respons sembang yang berjaya sebagai ujian pertama, bukannya bukti bahawa aliran kerja pengekodan berfungsi.

Ejen kekal di hadapan; API setempat berada di belakangnya

macMLX ialah aplikasi dan pelayan inferens setempat berasaskan Swift yang dibina sekitar ekosistem MLX Apple. Laluan inferens lalainya berjalan dalam proses Swift tanpa memerlukan persekitaran masa jalan Python. Itu menerangkan enjin lalai, bukan dakwaan tentang setiap integrasi pilihan atau subproses yang mungkin disokong oleh projek.

Keluaran baharu ini penting kerana ejen pengekodan menggunakan lebih daripada interaksi ringkas prompt masuk dan teks keluar. Ejen boleh meminta model membuat panggilan alat, melaksanakan operasi yang dibenarkan, memulangkan hasil dan meminta langkah seterusnya. Pelayan perlu membawa sejarah serta struktur permintaan yang berkaitan sepanjang gelung itu.

Versi 0.11.0 menambah permukaan API /v1/responses yang serasi dengan OpenAI untuk Codex, bersama perubahan bagi Claude Code melalui /v1/messages dan /v1/messages/count_tokens. Rekod sokongan keluaran turut menerangkan pemainan semula penaakulan terdahulu ke dalam templat sembang model serta penggunaan semula sejarah giliran ejen pada model hibrid dan tetingkap gelongsor. Butiran integrasi ini mempunyai kesan praktikal: bahagian belakang yang boleh menjawab sapaan belum tentu mampu melalui giliran alat seterusnya.

Klien pengekodan, API setempat dan model ialah komponen berasingan Grafik penerangan asal: klien pengekodan mengendalikan aliran kerjanya, macMLX melayani permintaan API yang serasi dan model setempat terpilih menyediakan inferens. Pelaksanaan alat mempunyai sempadan kebenaran yang berasingan.

Bayangkan API sebagai palam penyesuai. Ia membolehkan dua komponen bersambung, tetapi tidak menyamakan kuasa, kapasiti atau tingkah lakunya. Antara muka Codex atau Claude Code yang biasa digunakan tidak menukarkan model setempat yang lebih kecil menjadi model jauh yang anda gunakan sebelum ini.

Titik akhir Responses tanpa keadaan mengubah persoalan penskalaan

Titik akhir Responses 0.11.0 tidak menyimpan keadaan antara permintaan. Klien mesti menghantar perbualan yang diperlukan untuk giliran seterusnya. README pada tag tersebut menyatakan bahawa Codex berbuat demikian, manakala previous_response_id ditolak dan bukannya digunakan untuk mendapatkan respons pelayan yang disimpan.

Pengendalian permintaan tanpa keadaan tidak bermakna masa jalan tidak mempunyai cache. Keadaan perbualan dan cache inferens yang boleh digunakan semula menyelesaikan masalah yang berbeza. Klien masih membekalkan sejarah yang diperlukan; cache yang serasi boleh mengurangkan kerja apabila sebahagian input tersebut sepadan dengan awalan terdahulu.

Terdapat juga had keserentakan yang jelas pada titik akhir baharu ini: ia melayani satu permintaan pada satu-satu masa. README menerangkan bahawa subejen Codex akan beratur. Memulakan beberapa ejen boleh memanjangkan barisan dan bukannya menggandakan daya pemprosesan berguna Mac. Projek mempunyai keupayaan pengelompokan lain, tetapi keupayaan itu tidak patut dikaitkan dengan laluan permintaan yang had didokumenkan ialah pelaksanaan bersiri.

Hal ini mempengaruhi reka bentuk percubaan pertama. Satu pembantu yang melakukan tugas repositori terhad lebih mudah dinilai daripada sekumpulan ejen yang membuka beberapa perbualan panjang. Rekod masa untuk menyelesaikan keseluruhan tugas, termasuk menunggu, memuat dan melaksanakan alat. Token sesaat semasa satu penjanaan aktif hanyalah sebahagian daripada tempoh tersebut.

Mulakan dengan tugas repositori kecil yang jawapannya diketahui

Contoh tugas pertama ialah meminta ejen menerangkan modul kecil dan mencadangkan ujian unit tanpa mengubah fail. Anda boleh menyemak sama ada penerangannya sepadan dengan kod dan sama ada ujian yang dicadangkan menyasarkan kontrak sebenar. Ini memberikan garis dasar sebelum anda memberikan kebenaran menulis atau menjalankan shell.

Tugas kedua boleh membenarkan perubahan pada cabang sementara: menamakan semula simbol dalaman dengan skop jelas, melaraskan pemanggilnya dan menjalankan ujian berfokus yang sedia ada. Kriteria kejayaannya nyata. Adakah ejen hanya menyentuh fail yang dimaksudkan, mengekalkan kontrak awam dan melaporkan hasil ujian sebenar? Penerangan panjang yang penuh keyakinan bukan pengganti semakan itu.

Senario ketiga ialah kerja berorientasikan luar talian pada draf sensitif atau petikan kod persendirian. Inferens setempat boleh mengekalkan permintaan model pada Mac, bergantung pada konfigurasi klien, tetapi keseluruhan ejen tidak menjadi luar talian secara automatik. Operasi repositori, pengurus pakej, alat carian, pelayan MCP dan integrasi lain masih boleh bersambung ke tempat lain. Semak perkara itu secara berasingan sebelum membuat janji tentang lokasi data.

Contoh ini ialah cadangan tugas penilaian. Hasil keserasian dalam keluaran merupakan ujian integrasi pembangun sendiri, bukan hasil pemasangan kami.

Konfigurasikan titik akhir tanpa kehilangan penyedia yang sudah berfungsi

Gunakan Mac Apple Silicon dengan macOS 14 atau lebih baharu, pasang versi bertag melalui kaedah yang didokumenkan projek dan ikuti panduan Gatekeeper semasanya. Jangan matikan kawalan keselamatan seluruh sistem hanya untuk membuka aplikasi. Pilih model daripada laluan yang disokong projek dan semak lesen model itu sendiri sebelum memuat turunnya untuk kegunaan anda.

README bertag 0.11.0 mendokumenkan macmlx serve dan API setempat pada port 8000. Gunakan pengecam model yang benar-benar terdapat pada mesin anda. Contoh klien berikut menyalin bentuk konfigurasi yang didokumenkan projek; ia bukan bukti bahawa titik semak contoh sudah dipasang pada Mac anda.

  1. Mulakan bahagian belakang dan sahkan senarai modelnya. Jalankan perintah pelayan yang didokumenkan atau muatkan model dalam aplikasi. Semak alamat pelayan sebenar dan ID yang didedahkan oleh /v1/models.
  2. Simpan salinan konfigurasi klien semasa. Tambah penyedia setempat secara sengaja, bukannya menimpa persediaan yang sudah berfungsi dan mungkin mahu dibandingkan atau dipulihkan kemudian.
  3. Sambungkan satu klien. Mulakan sama ada dengan Codex atau Claude Code, bukan kedua-duanya serentak. Sahkan permintaan teks ringkas sebelum mencuba tugas alat.
  4. Hadkan kebenaran awal. Mulakan dengan membaca dan mencadangkan perubahan. Luaskan akses hanya apabila aliran kerja memerlukannya.

Untuk Codex, contoh penyedia dalam README ialah:

toml
model = "Qwen3.6-27B-4bit"
model_provider = "macmlx"

[model_providers.macmlx]
name = "macMLX"
base_url = "http://127.0.0.1:8000/v1"
wire_api = "responses"

Jika anda mengaktifkan pengesahan bearer pada bahagian belakang, ikuti panduan env_key dalam README dan simpan kunci dalam pemboleh ubah persekitaran yang dimaksudkan. Contoh localhost bukan cadangan untuk mendedahkan perkhidmatan inferens tanpa pengesahan kepada rangkaian.

Sambungan Claude Code yang didokumenkan menggunakan URL asas tanpa akhiran /v1 dan memetakan alias modelnya:

BashJalankan dalam Terminal
export ANTHROPIC_BASE_URL=http://127.0.0.1:8000
export ANTHROPIC_API_KEY=sk-local
export ANTHROPIC_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_OPUS_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_SONNET_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_HAIKU_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_SMALL_FAST_MODEL=Qwen3.6-27B-4bit
claude

Di sini, sk-local ialah pemegang tempat contoh projek untuk pelayan tanpa pengesahan bearer, bukannya kelayakan perkhidmatan sebenar. Apabila pengesahan bearer diaktifkan, README sebaliknya mengarahkan penggunaan ANTHROPIC_AUTH_TOKEN dengan kunci yang dikonfigurasikan. Panduan alias penting: alias yang tidak dipetakan boleh menghantar nama model claude-* ke pelayan yang hanya mempunyai titik semak setempat, lalu menghasilkan 404.

Sokongan model memerlukan jawapan lebih khusus daripada “serasi dengan MLX”

Semakan hujung ke hujung yang diisytiharkan dalam keluaran termasuk Xcode 27 dengan Qwen3.6-27B serta klien Foundation Models Apple dengan model itu dan Gemma 4 E4B. Semakan tersebut meliputi teks. Ia tidak patut diceritakan semula sebagai bukti bahawa setiap klien pengekodan, varian model atau permintaan imej berfungsi.

Rekod sokongan menerangkan input imej secara berasingan untuk titik semak Gemma 4 dengan bentuk E4B yang disokong serta titik semak padat Qwen3.5/3.6 yang menyertakan menara visinya. Ia turut menyatakan bahawa permintaan imej tidak merekodkan entri cache prompt. Model yang muncul dalam senarai seni bina dikesan bukan jaminan tentang pemproses, pemberat atau laluan multimodal sebarang titik semak.

Untuk tugas pengekodan yang melibatkan tangkapan skrin, uji laluan imej secara berasingan. Minta penerangan dengan jawapan yang diketahui dan kelihatan sebelum meminta ejen mereka bentuk semula komponen daripadanya. Kekalkan tugas sandaran teks sahaja supaya anda boleh membezakan masalah pemuatan visi daripada masalah umum gelung alat.

Disiplin yang sama terpakai kepada format output dan alat. Titik semak perlu mengeluarkan struktur alat yang dijangka klien, bukan sekadar menyebut perintah dalam prosa. Sahkan satu panggilan alat, hasil yang dipulangkan dan jawapan susulan yang berguna. Kegagalan pada giliran kedua boleh mendedahkan lebih banyak tentang kesesuaian integrasi berbanding pelengkapan pertama yang berjaya.

Memori bersepadu menjadikan konteks belanjawan sebenar

CPU dan GPU Mac berkongsi memori fizikal. Ini mengelakkan sebahagian pemindahan jelas, tetapi tidak menghapuskan kos pemberat model, pengaktifan, cache KV dan aplikasi yang berjalan bersama. Editor, pelayar dan model setempat boleh bersaing untuk kapasiti yang sama.

Jangan anggarkan keperluan berdasarkan bilangan parameter sahaja. Ketepatan pemberat, saiz titik semak sebenar, panjang konteks dan tingkah laku masa jalan semuanya penting. Mulakan dengan titik semak yang disokong dan menyisakan ruang untuk kerja biasa, kemudian ukur tekanan memori serta daya respons semasa tugas yang mewakili penggunaan.

Terdapat butiran naik taraf khusus yang wajar disemak: rekod keluaran menyatakan bahawa permintaan pelengkapan sembang tanpa had token jelas kini boleh berjalan sehingga 32,768 token, berbanding 2,048 sebelum ini. Itu merujuk kepada tingkah laku pelengkapan sembang yang didokumenkan, bukan jaminan output sejagat untuk setiap laluan API. Namun, had yang jelas memudahkan kawalan tugas penerokaan. Permintaan yang tanpa sengaja menjana jauh lebih panjang daripada yang dimaksudkan menggunakan masa dan boleh mengganggu kerja yang anda mahu Mac lakukan.

Perkara yang kekal setempat dan yang masih memerlukan kebenaran Senarai semak asal: permintaan model, capaian repositori, pelaksanaan alat dan sambungan luaran memerlukan keputusan berasingan. Titik akhir model setempat tidak mengehadkan tiga perkara lain secara automatik.

Bandingkan tugas lengkap sebelum membandingkan langganan

Daya tarikan yang jelas ialah mengurangkan pergantungan pada inferens jauh untuk tugas terpilih. Kos yang kurang jelas ialah masa pengendali. Memuatkan model, menunggu barisan bersiri, membetulkan tampalan yang tidak memadai dan menjaga persekitaran semuanya perlu dimasukkan dalam perbandingan.

Gunakan tugas terhad dan ujian penerimaan yang sama apabila membandingkan penyedia sedia ada dengan bahagian belakang setempat. Rekod pemuatan sejuk, respons pertama, tempoh keseluruhan tugas, giliran alat yang berjaya, hasil ujian akhir dan jumlah pembetulan manusia. Simpan model, konteks dan versi klien dalam nota supaya naik taraf akan datang dapat dibandingkan.

Untuk tugas sederhana yang kerap, persediaan setempat mungkin mudah digunakan walaupun kalah dalam pertandingan kelajuan. Untuk perubahan sukar yang melalui beberapa pusingan gagal, model jauh mungkin masih memerlukan kurang perhatian secara keseluruhan. Itu keputusan pada tahap tugas, bukan dakwaan bahawa satu lokasi pelaksanaan menang untuk setiap kerja.

Perkakasan yang anda sudah miliki ialah tempat yang berguna untuk bereksperimen. Ujian keserasian yang berjaya menjadi sebab untuk mengembangkan aliran kerja terkawal, bukannya sebab segera untuk membeli Mac lebih besar.

Alat pengekodan biasa boleh menjadi meja kerja yang lebih fleksibel

macMLX 0.11.0 memudahkan percubaan inferens setempat tanpa menggantikan keseluruhan antara muka pengekodan. Sumbangannya yang paling bernilai ialah hubungan jelas antara klien, bentuk API dan laluan model yang disokong.

Mulakan dengan satu klien, satu model dan satu tugas yang hasilnya boleh anda sahkan. Kekalkan titik akhir setempat, anggap kebenaran alat sebagai keputusan berasingan dan masukkan masa menunggu serta pembetulan dalam ukuran. Hasil yang berguna ialah meja kerja yang boleh memilih bahagian belakang tepat untuk sesuatu tugas, bukan antara muka biasa yang menyembunyikan andaian belum diuji.

Sumber dan media rasmi

Semakan keserasian dikaitkan kepada projek. Contoh tugas dan prosedur perbandingan ialah latihan yang dicadangkan untuk pembaca.


Cadangan Telli.sh: Simpan model, tetapan klien dan hasil tugas di satu tempat supaya setiap eksperimen AI setempat mempunyai titik permulaan yang boleh dihasilkan semula. Mulakan nota pertama anda dengan Telli.sh.


← Kembali ke blog