Giữ trợ lý lập trình. Chuyển mô hình của nó về máy Mac.
macMLX 0.11.0 kết nối suy luận cục bộ trên Apple Silicon với Codex và Claude Code. Tìm hiểu cách các API, bí danh mô hình, bộ nhớ và quyền dùng công cụ thay đổi thử nghiệm này.
Giao diện sửa kho mã và mô hình quyết định cần sửa gì không nhất thiết phải đến từ cùng một nơi. Một tác nhân lập trình có thể giữ quy trình quen thuộc, đồng thời gửi một số yêu cầu suy luận tới mô hình chạy ngay trên máy Mac của bạn.
macMLX 0.11.0, phát hành ngày 17 tháng 11 năm 2026, cung cấp các API cụ thể cho cách bố trí đó. Codex có thể dùng endpoint Responses, còn Claude Code có thể dùng các endpoint Messages và đếm token. Backend chạy trên Apple Silicon với macOS 14 trở lên.
Điểm hấp dẫn là quyền kiểm soát nơi một số hoạt động suy luận của mô hình diễn ra. Nhưng quyết định này phức tạp hơn việc thay một URL: năng lực mô hình, cách xử lý hội thoại, việc tuần tự hóa yêu cầu và quyền riêng của công cụ lập trình vẫn quyết định cấu hình có hữu ích hay không.
Trước khi bắt đầu: chọn mô hình cục bộ được hỗ trợ và có khả năng gọi công cụ, tính ngân sách trọng số lẫn ngữ cảnh trong bộ nhớ hợp nhất, và coi phản hồi trò chuyện thành công là phép thử đầu tiên thay vì bằng chứng rằng cả quy trình lập trình đã hoạt động.
Tác nhân vẫn ở phía trước; API cục bộ đứng phía sau
macMLX là ứng dụng và máy chủ suy luận cục bộ viết bằng Swift, xây dựng quanh hệ sinh thái MLX của Apple. Đường suy luận mặc định chạy trong tiến trình Swift, không đòi hỏi môi trường Python. Điều này mô tả engine mặc định, không phải tuyên bố về mọi tích hợp tùy chọn hay tiến trình con mà dự án có thể hỗ trợ.
Bản phát hành mới đáng chú ý vì tác nhân lập trình làm nhiều hơn việc nhận prompt rồi trả văn bản. Chúng có thể yêu cầu mô hình gọi công cụ, thực hiện thao tác được phép, gửi lại kết quả và hỏi bước tiếp theo. Máy chủ cần chuyển đúng lịch sử và cấu trúc yêu cầu qua vòng lặp đó.
Phiên bản 0.11.0 bổ sung API tương thích OpenAI /v1/responses cho Codex, cùng các thay đổi phục vụ Claude Code qua /v1/messages và /v1/messages/count_tokens. Hồ sơ hỗ trợ theo bản phát hành còn mô tả việc phát lại phần suy luận trước đó vào mẫu chat của mô hình và tái sử dụng lịch sử các lượt của tác nhân trên mô hình hybrid và sliding-window. Đây là chi tiết tích hợp có hệ quả thực tế: backend trả lời được lời chào chưa chắc đã xử lý được lượt dùng công cụ kế tiếp.
Đồ họa giải thích do chúng tôi tạo: ứng dụng lập trình sở hữu quy trình làm việc, macMLX phục vụ các yêu cầu API tương thích và mô hình cục bộ được chọn thực hiện suy luận. Thực thi công cụ là một ranh giới quyền riêng.
Hãy hình dung API như một đầu chuyển. Nó cho phép hai thành phần kết nối nhưng không khiến công suất, dung lượng hay hành vi của chúng giống nhau. Giao diện Codex hoặc Claude Code quen thuộc không biến một mô hình cục bộ nhỏ hơn thành mô hình từ xa mà bạn từng dùng.
Endpoint Responses không lưu trạng thái làm thay đổi cách mở rộng
Endpoint Responses của 0.11.0 không giữ trạng thái giữa các yêu cầu. Ứng dụng khách phải gửi hội thoại cần cho lượt kế tiếp. README tại tag này cho biết Codex làm như vậy, còn previous_response_id bị từ chối thay vì được dùng để lấy phản hồi đã lưu trên máy chủ.
Xử lý yêu cầu không trạng thái không có nghĩa môi trường chạy không dùng cache. Trạng thái hội thoại và cache suy luận có thể tái sử dụng giải quyết hai vấn đề khác nhau. Ứng dụng khách vẫn cung cấp lịch sử cần thiết; cache tương thích có thể giảm lượng xử lý khi một phần đầu vào được gửi trùng với tiền tố trước đó.
Endpoint mới này còn có giới hạn đồng thời rõ ràng: mỗi lần chỉ phục vụ một yêu cầu. README giải thích vì vậy các tác nhân con của Codex phải xếp hàng. Khởi động nhiều tác nhân có thể chỉ tạo hàng chờ dài hơn, thay vì nhân thông lượng hữu ích của máy Mac. Dự án có các khả năng gom lô khác, nhưng không nên gán chúng cho đường yêu cầu được tài liệu quy định là thực thi tuần tự.
Điều này ảnh hưởng đến cách thiết kế lần thử đầu. Một trợ lý làm tác vụ kho mã có phạm vi rõ ràng dễ đánh giá hơn một nhóm mở đồng thời nhiều hội thoại dài. Hãy ghi thời gian hoàn thành cả tác vụ, gồm chờ đợi, tải mô hình và chạy công cụ. Token mỗi giây trong một lần sinh đang hoạt động chỉ là một phần thời gian đó.
Bắt đầu bằng tác vụ kho mã nhỏ có đáp án kiểm chứng được
Một việc khởi đầu minh họa là yêu cầu tác nhân giải thích module nhỏ và đề xuất kiểm thử đơn vị mà không sửa tệp. Bạn có thể kiểm tra lời giải thích có khớp mã hay không và kiểm thử đề xuất có nhắm đúng một hợp đồng thực sự không. Nhờ đó có mốc ban đầu trước khi cấp quyền ghi hoặc shell.
Việc thứ hai có thể cho phép thay đổi trên nhánh dùng thử có thể bỏ đi: đổi tên một định danh nội bộ được khoanh vùng rõ, chỉnh các nơi gọi và chạy một kiểm thử tập trung đã có. Tiêu chí thành công rất cụ thể. Nó có chỉ chạm vào các tệp dự định, giữ hợp đồng công khai và báo đúng kết quả kiểm thử thực tế không? Một lời giải thích dài, tự tin không thể thay thế những kiểm tra đó.
Tình huống thứ ba là công việc hướng tới ngoại tuyến với bản thảo nhạy cảm hoặc đoạn mã riêng tư. Suy luận cục bộ có thể giữ yêu cầu mô hình trên máy Mac, tùy cấu hình ứng dụng khách, nhưng không tự động làm cả tác nhân trở thành ngoại tuyến. Thao tác kho mã, trình quản lý gói, công cụ tìm kiếm, máy chủ MCP và các tích hợp khác vẫn có thể kết nối ra ngoài. Hãy xem xét riêng chúng trước khi cam kết về vị trí dữ liệu.
Đây là các tác vụ đánh giá được đề xuất. Kết quả tương thích trong bản phát hành là kiểm thử tích hợp của chính nhà phát triển, không phải kết quả từ bản cài đặt của chúng tôi.
Cấu hình endpoint mà không mất nhà cung cấp đang dùng tốt
Dùng máy Mac Apple Silicon với macOS 14 trở lên, cài phiên bản được gắn tag qua cách dự án hướng dẫn và theo chỉ dẫn Gatekeeper hiện hành. Không tắt cơ chế bảo mật toàn hệ thống chỉ để mở ứng dụng. Chọn mô hình từ các đường được dự án hỗ trợ và kiểm tra giấy phép của chính mô hình trước khi tải cho mục đích sử dụng của bạn.
README tại tag 0.11.0 mô tả macmlx serve và API cục bộ ở cổng 8000. Dùng mã định danh mô hình thực sự có trên máy. Các ví dụ ứng dụng khách dưới đây tái hiện dạng cấu hình do dự án hướng dẫn; chúng không phải bằng chứng rằng checkpoint mẫu đã được cài trên máy Mac của bạn.
- Khởi động backend và xác minh danh sách mô hình. Chạy lệnh máy chủ trong tài liệu hoặc tải mô hình trong ứng dụng. Kiểm tra địa chỉ thực của máy chủ và các ID được cung cấp qua
/v1/models. - Giữ bản sao cấu hình hiện tại của ứng dụng khách. Chủ động thêm nhà cung cấp cục bộ thay vì ghi đè cấu hình đang hoạt động mà bạn có thể muốn so sánh hoặc khôi phục.
- Kết nối một ứng dụng khách. Bắt đầu bằng Codex hoặc Claude Code, không chạy cả hai cùng lúc. Xác nhận một yêu cầu văn bản ngắn trước khi thử tác vụ công cụ.
- Giới hạn bộ quyền ban đầu. Bắt đầu với việc đọc và đề xuất thay đổi. Chỉ mở rộng quyền khi quy trình cần đến.
Với Codex, ví dụ nhà cung cấp trong README là:
model = "Qwen3.6-27B-4bit"
model_provider = "macmlx"
[model_providers.macmlx]
name = "macMLX"
base_url = "http://127.0.0.1:8000/v1"
wire_api = "responses"
Nếu bật xác thực bearer của backend, hãy theo hướng dẫn env_key trong README và giữ khóa ở biến môi trường được chỉ định. Ví dụ localhost không phải khuyến nghị mở dịch vụ suy luận không xác thực ra mạng.
Kết nối Claude Code được hướng dẫn dùng URL gốc không có hậu tố /v1 và ánh xạ các bí danh mô hình:
export ANTHROPIC_BASE_URL=http://127.0.0.1:8000
export ANTHROPIC_API_KEY=sk-local
export ANTHROPIC_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_OPUS_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_SONNET_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_HAIKU_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_SMALL_FAST_MODEL=Qwen3.6-27B-4bit
claude
Ở đây, sk-local là giá trị giữ chỗ trong ví dụ của dự án dành cho máy chủ không bật xác thực bearer, không phải thông tin xác thực dịch vụ thật. Khi bật xác thực bearer, README hướng dẫn dùng ANTHROPIC_AUTH_TOKEN với khóa đã cấu hình. Hướng dẫn về bí danh rất quan trọng: bí danh chưa ánh xạ có thể gửi tên mô hình claude-* tới máy chủ chỉ có các checkpoint cục bộ, gây lỗi 404.
Hỗ trợ mô hình cần câu trả lời cụ thể hơn “tương thích MLX”
Các kiểm tra xuyên suốt được bản phát hành công bố gồm Xcode 27 với Qwen3.6-27B và ứng dụng khách Foundation Models của Apple với mô hình đó cùng Gemma 4 E4B. Những kiểm tra này chỉ bao phủ văn bản. Không nên kể lại chúng như bằng chứng rằng mọi ứng dụng lập trình, biến thể mô hình hay yêu cầu ảnh đều hoạt động.
Hồ sơ hỗ trợ mô tả riêng đầu vào hình ảnh cho checkpoint Gemma 4 có cấu trúc E4B được hỗ trợ và các checkpoint Qwen3.5/3.6 dạng dense có kèm vision tower. Hồ sơ cũng cho biết yêu cầu ảnh không ghi một mục prompt-cache. Mô hình xuất hiện trong danh sách kiến trúc được nhận diện không bảo đảm bộ xử lý đầu vào, trọng số hay đường đa phương thức của checkpoint bất kỳ đều được hỗ trợ.
Với tác vụ lập trình có ảnh chụp màn hình, hãy kiểm tra đường ảnh độc lập. Yêu cầu mô tả một chi tiết nhìn thấy có đáp án đã biết trước khi nhờ tác nhân thiết kế lại thành phần từ ảnh đó. Giữ một tác vụ dự phòng chỉ có văn bản để phân biệt vấn đề tải phần thị giác với lỗi chung của vòng lặp công cụ.
Cũng áp dụng nguyên tắc đó cho định dạng đầu ra và công cụ. Checkpoint cần phát ra cấu trúc công cụ mà ứng dụng khách mong đợi, không chỉ nhắc tên lệnh trong văn xuôi. Xác minh một lần gọi công cụ, kết quả được trả về và câu trả lời tiếp nối hữu ích. Lỗi ở lượt thứ hai có thể nói nhiều về mức phù hợp của tích hợp hơn một lần hoàn thành đầu tiên thành công.
Bộ nhớ hợp nhất khiến ngữ cảnh trở thành khoản chi thực
CPU và GPU của Mac dùng chung bộ nhớ vật lý. Điều đó tránh được một số lần truyền dữ liệu tường minh, nhưng không xóa chi phí của trọng số mô hình, activation, KV cache và các ứng dụng chạy bên cạnh. Trình soạn thảo, trình duyệt và mô hình cục bộ có thể cùng tranh một dung lượng đó.
Đừng ước lượng nhu cầu chỉ từ số tham số. Độ chính xác trọng số, kích thước checkpoint thực, độ dài ngữ cảnh và hành vi môi trường chạy đều quan trọng. Bắt đầu với checkpoint được hỗ trợ còn chừa chỗ cho công việc bình thường, rồi đo áp lực bộ nhớ và khả năng đáp ứng trong tác vụ tiêu biểu.
Có một chi tiết nâng cấp cụ thể nên kiểm tra: hồ sơ phát hành cho biết yêu cầu chat-completion không đặt giới hạn token rõ ràng nay có thể chạy tới 32,768 token thay vì 2,048. Điều này liên quan đến hành vi chat-completion đã được mô tả, không phải bảo đảm đầu ra chung cho mọi đường API. Dù vậy, giới hạn tường minh giúp kiểm soát tác vụ khám phá dễ hơn. Yêu cầu vô tình sinh dài hơn nhiều so với dự định tốn thời gian và có thể cản trở công việc bạn muốn máy Mac thực hiện.
Danh sách kiểm tra do chúng tôi tạo: yêu cầu mô hình, truy cập kho mã, chạy công cụ và kết nối ngoài cần các quyết định riêng. Endpoint mô hình cục bộ không tự động giới hạn ba phần còn lại.
So sánh tác vụ trọn vẹn trước khi so sánh phí thuê bao
Điểm hấp dẫn dễ thấy là giảm phụ thuộc vào suy luận từ xa cho một số việc. Chi phí ít rõ hơn là thời gian người vận hành bỏ ra. Tải mô hình, chờ hàng tuần tự, sửa bản vá chưa đạt và giữ môi trường hoạt động tốt đều phải nằm trong phép so sánh.
Dùng cùng tác vụ có phạm vi rõ và cùng kiểm thử chấp nhận khi so sánh nhà cung cấp hiện tại với backend cục bộ. Ghi thời gian tải nguội, phản hồi đầu tiên, tổng thời gian tác vụ, số lượt công cụ thành công, kết quả kiểm thử cuối và mức sửa chữa của con người. Giữ mô hình, ngữ cảnh và phiên bản ứng dụng khách trong ghi chú để lần nâng cấp sau có thể so sánh.
Với việc thường xuyên và vừa sức, cấu hình cục bộ có thể thuận tiện ngay cả khi thua về tốc độ. Với thay đổi khó cần nhiều vòng thất bại, mô hình từ xa có thể vẫn tốn ít công sức tổng thể hơn. Đây là quyết định ở cấp tác vụ, không phải tuyên bố rằng một vị trí triển khai thắng mọi công việc.
Phần cứng bạn đang sở hữu là nơi hữu ích để thử nghiệm. Kiểm tra tương thích thành công là lý do để mở rộng quy trình có kiểm soát, không phải lý do tức thời để mua máy Mac lớn hơn.
Công cụ lập trình quen thuộc có thể thành bàn làm việc linh hoạt hơn
macMLX 0.11.0 giúp thử suy luận cục bộ dễ hơn mà không phải thay toàn bộ giao diện lập trình. Đóng góp đáng giá nhất của nó là kết nối rõ ràng giữa ứng dụng khách, hình thức API và các đường mô hình được hỗ trợ.
Bắt đầu với một ứng dụng khách, một mô hình và một tác vụ mà bạn kiểm chứng được kết quả. Giữ endpoint ở cục bộ, coi quyền công cụ là quyết định riêng và tính cả chờ đợi lẫn sửa chữa vào phép đo. Kết quả hữu ích là một bàn làm việc có thể chọn backend phù hợp cho từng việc, thay vì giao diện quen thuộc che một giả định chưa kiểm tra.
Nguồn và tư liệu chính thức
- Bản phát hành macMLX 0.11.0 ngày 17 tháng 11 năm 2026.
- README tại tag 0.11.0: cài đặt, phục vụ cục bộ và cấu hình ứng dụng khách.
- Hồ sơ chính thức về tương thích và các bản phát hành trước.
- Ảnh giới thiệu macMLX chính thức. Đúng đối tượng được liên kết; các sơ đồ trong bài là phần giải thích do chúng tôi tạo.
Các kiểm tra tương thích được quy thuộc cho dự án. Ví dụ tác vụ và quy trình so sánh là bài thực hành đề xuất cho độc giả.
Gợi ý từ Telli.sh: Giữ mô hình, cấu hình ứng dụng khách và kết quả tác vụ cùng một chỗ để mỗi thử nghiệm AI cục bộ có điểm khởi đầu tái lập được. Tạo ghi chú đầu tiên với Telli.sh.