AI hardware阅读约 8 分钟

保留你的编程智能体,把模型搬到自己的 Mac

macMLX 0.11.0 将 Apple Silicon 本地推理连接到 Codex 和 Claude Code。了解 API 路径、模型别名、内存与工具权限如何影响这次尝试。

K
Ken Jo

编辑代码库的界面,与决定如何修改代码的模型,不必来自同一个地方。编程智能体可以保持熟悉的工作流程,同时把部分推理请求发送给自己 Mac 上运行的模型。

2026 年 11 月 17 日发布的 macMLX 0.11.0,为这种组合提供了具体的 API 路径。Codex 可以使用其 Responses 端点,Claude Code 则可以使用 Messages 和 token 计数端点。后端运行在搭载 Apple Silicon、使用 macOS 14 或更新系统的设备上。

它的吸引力在于,你能够控制选定的模型推理在哪里发生。不过,这项决定比换一个 URL 更复杂:模型能力、对话处理、请求串行化,以及编程工具自身的权限,仍然决定配置是否实用。

开始之前: 选择支持工具调用的受支持本地模型,在统一内存中为权重和上下文留出预算,并将成功的聊天回复视为第一项测试,而非编程工作流已经可用的证明。

智能体留在前台,后面接上本地 API

macMLX 是基于 Apple MLX 生态构建的 Swift 本地推理应用与服务器。其默认推理路径在 Swift 进程中运行,无需 Python 运行时。这描述的是默认引擎,并不意味着项目可能支持的每项可选集成或子进程都如此。

此次发布的重要性在于,编程智能体使用的不只是简单的“输入提示词、输出文字”交互。它们可以要求模型发起工具调用,执行获得许可的操作,返回结果,然后询问下一步。服务器需要在这个循环中承接相关历史和请求结构。

0.11.0 为 Codex 增加了 OpenAI 兼容的 /v1/responses 接口,同时针对 Claude Code 的 /v1/messages 和 /v1/messages/count_tokens 做出改动。发布支持记录还介绍了将先前的推理重新放入模型聊天模板,以及在混合模型和滑动窗口模型上复用智能体轮次历史。这些集成细节会带来实际影响:能够回答一句问候的后端,不一定能顺利处理接下来的工具轮次。

编程客户端、本地 API 与模型是独立的组成部分 原创说明图:编程客户端负责自身工作流,macMLX 处理兼容的 API 请求,选定的本地模型提供推理。工具执行具有独立的权限边界。

可以把 API 想象成转换插头。它让两个组件接通,却不会让它们的功率、容量或行为变得相同。熟悉的 Codex 或 Claude Code 界面,并不能把一个更小的本地模型变成你之前使用的远程模型。

无状态的 Responses 端点改变了扩展方式

0.11.0 的 Responses 端点不在请求之间保存状态。客户端必须发送下一轮所需的对话。对应标签的 README 表示 Codex 就是这样做的,而 previous_response_id 会被拒绝,并不会用于检索已存储的服务器响应。

无状态请求处理不等于运行时没有缓存。对话状态与可复用的推理缓存解决的是不同问题。客户端仍需提供必要历史;如果输入的一部分与之前的前缀匹配,兼容的缓存就能减少工作量。

这个新端点还有明确的并发限制:一次只处理一个请求。README 因此说明 Codex 子智能体会排队。启动多个智能体,可能只是拉长队伍,而不是成倍增加 Mac 的有效吞吐量。项目有其他批处理能力,但不应把它们归到文档明确限定为串行执行的请求路径上。

这会影响第一次试用的设计。一个助手执行范围明确的代码库任务,比一群智能体打开多个长对话更容易评价。应记录整个任务的耗时,包括等待、加载和工具执行。一次实际生成期间的每秒 token 数,只是这段时间的一部分。

从有已知验收答案的小型代码库任务开始

第一项任务可以是让智能体解释一个小模块,并提出单元测试,但不修改文件。你可以检查解释是否符合代码,以及测试建议是否针对真实契约。在授予写入或 shell 权限之前,这能建立一个基准。

第二项任务可以允许它在可丢弃的分支上进行修改:重命名一个范围清晰的内部符号,调整调用方,然后运行现有的针对性测试。成功标准很具体:是否只修改了预期文件,是否保留公开契约,是否报告实际测试结果?冗长而自信的解释,不能代替这些检查。

第三种场景是以离线使用为目标,处理敏感草稿或私有代码片段。根据客户端配置,本地推理可以让模型请求留在 Mac 上,但整个智能体不会自动离线。代码库操作、包管理器、搜索工具、MCP 服务器及其他集成仍可能连接外部。承诺数据位置之前,应分别审查这些部分。

以上是建议的评估任务。发布说明中的兼容性结果来自开发者自己的集成测试,而不是我们安装后的测试结果。

配置端点时,保留原有可用提供商

使用运行 macOS 14 或更新版本的 Apple Silicon Mac,通过项目文档说明的渠道安装对应标签版本,并遵循其当前的 Gatekeeper 指引。不要为了打开应用而关闭系统级安全控制。选择项目支持路径中的模型,并在为预期用途下载之前检查模型本身的许可证。

0.11.0 标签的 README介绍了 macmlx serve 和端口 8000 上的本地 API。请使用机器上实际存在的模型标识符。以下客户端示例复现的是项目文档中的配置形式,并不能证明示例检查点已经安装在你的 Mac 上。

  1. 启动后端并核实模型列表。 运行文档中的服务器命令,或在应用里加载模型。检查服务器的实际地址,以及 /v1/models 暴露的 ID。
  2. 保留客户端当前配置的副本。 有意识地新增本地提供商,而不是覆盖可能还要拿来比较或恢复的可用配置。
  3. 连接一个客户端。 先选 Codex 或 Claude Code 其中之一,不要同时连接。尝试工具任务之前,先确认简短文本请求能够成功。
  4. 限制首次授予的权限。 从读取和提出修改建议开始,只有工作流程确实需要时才扩大访问范围。

对于 Codex,README 中的提供商示例如下:

toml
model = "Qwen3.6-27B-4bit"
model_provider = "macmlx"

[model_providers.macmlx]
name = "macMLX"
base_url = "http://127.0.0.1:8000/v1"
wire_api = "responses"

如果启用了后端的 bearer 身份验证,应遵循 README 的 env_key 指引,将密钥保存在指定环境变量中。localhost 示例并不是建议把未经身份验证的推理服务暴露到网络。

Claude Code 文档中的连接方法使用不带 /v1 后缀的基础 URL,并映射它的模型别名:

Bash在终端中运行
export ANTHROPIC_BASE_URL=http://127.0.0.1:8000
export ANTHROPIC_API_KEY=sk-local
export ANTHROPIC_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_OPUS_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_SONNET_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_DEFAULT_HAIKU_MODEL=Qwen3.6-27B-4bit
export ANTHROPIC_SMALL_FAST_MODEL=Qwen3.6-27B-4bit
claude

这里的 sk-local 是项目针对未启用 bearer 身份验证的服务器提供的示例占位符,不是真实服务凭据。启用 bearer 身份验证后,README 改为指引使用 ANTHROPIC_AUTH_TOKEN 和已配置的密钥。别名指引很重要:未映射的别名可能把 claude-* 模型名称发给只有本地检查点的服务器,从而产生 404。

模型支持需要比“兼容 MLX”更具体的答案

发布说明声明的端到端检查包括使用 Qwen3.6-27B 的 Xcode 27,以及使用该模型和 Gemma 4 E4B 的 Apple Foundation Models 客户端。这些检查覆盖的是文本,不应转述为所有编程客户端、模型变体或图像请求都能正常运行的证明。

支持记录另行说明了受支持 E4B 结构的 Gemma 4 检查点,以及包含视觉塔的稠密 Qwen3.5/3.6 检查点的图像输入。记录还表示,图像请求不会写入提示词缓存条目。某个模型出现在已检测架构列表里,并不保证任意检查点的处理器、权重或多模态路径都受支持。

如果编程任务包含截图,应独立测试图像路径。让智能体根据截图重新设计组件之前,先要求它描述画面中答案已知的内容。保留一个纯文本替代任务,以区分视觉加载问题与一般工具循环问题。

同样的要求也适用于输出格式和工具。检查点需要输出客户端期待的工具结构,而不仅仅是在文字中提到某条命令。验证一次工具调用、其返回结果,以及有用的后续回答。第二轮失败,有时比首轮成功更能揭示集成是否适用。

统一内存让上下文成为实实在在的预算

Mac 的 CPU 与 GPU 共享物理内存。这可以避免一些显式传输,却不会消除模型权重、激活值、KV 缓存和其他应用的开销。编辑器、浏览器和本地模型都可能争用同一份容量。

不要仅凭参数量估算需求。权重精度、实际检查点大小、上下文长度和运行时行为都很重要。先选择能为正常工作留出空间的受支持检查点,再在代表性任务期间测量内存压力与响应能力。

有一个具体升级细节值得检查:发布记录称,没有显式 token 限制的聊天补全请求,现在可能运行到最多 32,768 token,而不再是 2,048。这指的是文档所述的聊天补全行为,并非对所有 API 路径的统一输出保证。尽管如此,显式限制仍让探索任务更容易控制。意外生成远超预期长度的请求会消耗时间,还可能干扰你原本想让 Mac 完成的工作。

哪些留在本地,哪些仍需单独授权 原创检查清单:模型请求、代码库访问、工具执行和外部连接,需要分别决定。本地模型端点不会自动约束其余三项。

比较订阅费用之前,先比较完整任务

明显的吸引力是,选定任务可以减少对远程推理的依赖。不那么显眼的成本则是操作者的时间。加载模型、等待串行队列、修正质量不足的补丁,以及保持环境正常,都应该纳入比较。

比较现有提供商与本地后端时,使用相同的有界任务和验收测试。记录冷加载、首次响应、总任务时长、成功的工具轮次、最终测试结果,以及人工修正量。在笔记中保留模型、上下文与客户端版本,让后续升级也能进行比较。

对于频繁且不太复杂的任务,本地配置即使速度较慢,也可能更方便。对于经历多轮失败的困难修改,远程模型在总注意力成本上仍可能更省。这是任务层面的判断,并不是声称某一种部署位置适合所有工作。

已经拥有的硬件,是很好的实验起点。兼容性测试成功,可以成为扩展受控工作流的理由,却不是立刻购买更大 Mac 的理由。

熟悉的编程工具,可以成为更灵活的工作台

macMLX 0.11.0 让你更容易尝试本地推理,而无需替换整个编程界面。它最有价值的贡献,是明确连接客户端、API 形式和受支持的模型路径。

从一个客户端、一个模型,以及一项结果可验证的任务开始。保持端点在本地,将工具权限作为单独决定,并把等待和修正计入测量。真正有用的结果,是一个能为任务选择合适后端的工作台,而不是一个用熟悉界面掩盖未经测试假设的工具。

来源与官方媒体

兼容性检查归属于该项目。任务示例与比较流程是向读者建议的练习。


Telli.sh 建议: 把模型、客户端设置和任务结果保存在一处,让每次本地 AI 实验都有可复现的起点。使用 Telli.sh 创建第一篇笔记。


← 返回博客