oMLX 是一款原生 macOS 推理服务器，基于 Apple 的 MLX 框架，可在 Apple Silicon 芯片上运行本地 AI 模型。它提供分页式 SSD KV 缓存，可缩短编程代理的首 token 生成时间；支持连续批处理以提升吞吐量；并兼容 OpenAI 和 Anthropic API。oMLX 支持大语言模型、视觉语言模型、嵌入模型和重排序模型，以及工具调用、MCP 集成、多模型服务，并配备原生菜单栏应用和 Web 控制面板。
适合人群
- 软件开发者
- AI 开发者
- 编程代理用户
- Mac 高级用户
- 机器学习工程师
- 本地 AI 爱好者
- 研究工程师
- MCP 开发者
- 应用开发者
- 技术团队
产品优势
- 针对 Apple Silicon 和 macOS 进行了专门优化
- SSD KV 缓存可以显著减少代理响应延迟
- 同时支持 OpenAI 和 Anthropic API 格式
- 可与 Claude Code、OpenClaw、Cursor 及其他兼容客户端配合使用
- 通过连续批处理支持并发请求
- 可读取现有的 Hugging Face 和 LM Studio 模型目录，无需重新下载
- 提供签名并经过公证的原生 macOS 应用
- 基于 Apache 2.0 许可证开源
使用注意
- 需要 Apple Silicon 芯片和 macOS 15 或更高版本
- 最低需要 16GB 内存，运行更大的模型可能需要显著更多的内存
- 性能和支持的模型规模在很大程度上取决于可用的统一内存
- 需要使用 MLX 格式的模型
- 未提供云端托管服务，也未描述 Windows 和 Linux 跨平台应用
- 从源码安装需要 Python 3.10 或更高版本，并需要通过命令行完成安装
中国
