Ollama + MLX 在 Mac 上到底提升了什么？别再拿“32GB起步”吓人

这篇文章我得先把自己以前写过的一句话推翻。

我当时写：

“Ollama + MLX，32GB 内存起步。”

现在看，这句话太粗暴了。

2026 年 3 月 Ollama 第一次把 MLX 作为 Apple Silicon 的 preview 推出来时，支持范围确实比较窄，很容易让人形成一种印象：想吃到 MLX 红利，就得 32GB 起步、跑某几个大模型。

但到了 6 月，Ollama 官方已经继续更新 MLX engine，明确说是在 Apple Silicon 上整体提升性能，而且支持范围和模型格式也继续扩了。到 9 月底，Ollama 的最新稳定版已经到了 v0.35.1（9 月 29 日发布）。这个版本号我只拿来标记这次核对时间，不把它当文章的长期结论。

所以这篇不能继续写成一条“新闻”。我要把它改成一个更长期的问题：

Mac 上跑本地模型，到底应该看什么？

MLX 对 Mac 最大的意义，不是“突然能跑大模型”

Apple Silicon 最有意思的地方一直是统一内存。

CPU 和 GPU 不像传统 PC 那样各有一份完全分开的内存池。对本地模型来说，这意味着你买的 16GB、24GB、32GB、64GB，不只是“系统内存”，它同时决定 GPU 能吃到多少模型。

MLX 做的事情，是让 Apple Silicon 这套硬件路径更顺。

Ollama 官方 2026 年 6 月的更新重点也是：更快的生成、更快的首 token、更低的内存占用，以及对 NVFP4 这类格式的支持。

这比“某个模型快了百分之多少”更重要，因为具体数字会随着版本一直变。

8GB、16GB、32GB，到底谁能用？

我现在不会再给一个“32GB 以下别碰”的结论。

这种说法最大的问题是，它没写模型。

你拿一个小模型和一个 70B 模型放在一起谈内存，本身就没有意义。

更合理的思路是：

• 先看模型参数量；
• 再看量化格式；
• 再看上下文长度；
• 再看你同时还要不要跑浏览器、IDE、Agent、Docker；
• 最后才看“我的机器够不够”。

8GB 机器当然受限很多，但不是“完全不能跑”。16GB 也不是天然够用。32GB 只是给你更大的模型空间，不是某条神秘的入场线。

本地 AI 最容易被骗的指标：只看 tokens/s

大家很喜欢截图：

“我的 Mac 跑到 40 tokens/s！”

但如果你真用它写代码、跑 Agent，会发现生成速度只是其中一部分。

我更关心：

• 第一次出字要等多久；
• 长上下文以后会不会突然变慢；
• 内存顶满以后系统会不会开始喘；
• 工具调用时延；
• 同时开 VS Code、浏览器以后还剩多少余量；
• 模型质量是不是已经差到“快也没用”。

所以我后面如果给这篇补跑分，不会只放一个 tokens/s 数字。

至少要有：机器、芯片、内存、模型、量化、上下文、首 token、生成速度、峰值内存、任务类型。

少一个，我自己都不太信。

那现在为什么还值得用 Ollama？

我觉得它现在最大的价值不是“跑分王”，而是把本地模型这件事做得比较不折腾。

你可以让不同工具通过一个相对统一的接口去调用本地模型。到了 2026 年，它跟 coding agent、OpenClaw 这类工具的结合也越来越明显。

对我来说，本地模型有几个场景是真的舒服：

• 敏感文本处理；
• 离线环境；
• 大量低成本重复任务；
• 不需要最强模型的分类、改写、提取；
• 开发时临时跑一个本地 endpoint。

但我不会因为“本地免费”就说云端订阅没用了。

“逃离订阅税”这个说法，我现在也会改一下

以前我写得比较情绪化：Claude Code、Codex 贵，大家被逼回本地。

这个情绪我还是懂。

但现实是，本地模型也不是免费。

你已经买了 Mac，不代表电费、硬件折旧、时间、模型质量差距都不存在。

如果一项任务用云端模型 5 分钟做完，本地模型折腾半小时，那“0 token 成本”没有那么香。

所以我现在的判断是：

本地模型不是为了替代所有云模型，而是为了把“不值得交给云模型的钱”留下来。

这更实际。

OpenClaw 跑在本地 Mac，隐私就一定更好吗？

也不一定。

我原文里有一句比较狠的话：你为了不把数据交给云厂商，结果把整台电脑权限交给 Agent。

这个提醒我现在还是保留。

本地模型解决的是“模型推理数据去哪”的一部分问题，不代表 Agent 本身就安全。

如果 Agent 可以读文件、执行命令、控制浏览器，那真正的风险是它有什么权限、哪些输入能触发它、你有没有隔离。

别因为“local”这个词就自动脑补成“安全”。

我现在怎么买 Mac 跑本地 AI？

如果你本来就要换电脑，我会把内存放在比 SSD 更靠前的位置。

原因不是“32GB 起步”，而是统一内存没法后加。

SSD 不够可以外接，模型塞不进内存的时候，你没有什么优雅办法。

但如果你已经有一台 16GB Mac，我也不会劝你立刻卖掉。

先跑你真正需要的模型。

能用就继续用。不能用，再升级。

不要反过来先买 64GB，然后开始找“有什么模型能把我的内存吃满”。这和以前买相机以后天天拍砖墙测锐度一个道理。

这篇以后怎么更新

我不再追每次 Ollama release 写一篇新闻。

这篇会逐渐变成一个长期测试页。后面我真正跑的时候，会按同一套格式记录：

• Mac 型号 / 芯片；
• 统一内存；
• Ollama 版本；
• 模型和量化；
• 上下文；
• TTFT；
• tokens/s；
• 峰值内存；
• 实际任务。

没测的我不填。

这比网上复制一张“Mac 本地大模型推荐表”靠谱。

官方资料：Ollama MLX preview、MLX performance update、Ollama releases。