LLM Gateway 是一个平台,允许用户通过统一的 API 接口在多个提供商之间路由、管理和分析他们的大型语言模型(LLM)请求。它是完全开源的,并且与 OpenAI API 格式兼容,以便进行无缝集成。
适合人群
- 开发人员
- AI 工程师
- 数据科学家
- 使用多个 LLM 提供商的组织
- 管理 LLM 基础设施的团队
- 初创公司
- 企业
产品优势
- 完全开源,遵循 MIT 许可证。
- 统一 API 兼容 OpenAI 格式,便于迁移。
- 支持广泛的 LLM 提供商。
- 提供深入的实时费用和延迟分析。
- 提供安全的 API 密钥管理。
- 灵活的部署选项(自托管或云端)。
- 在使用自己的提供商密钥的专业计划中没有网关费用。
- 提供灵活的企业附加功能,如专用分片和自定义 SLA。
使用注意
- 免费云计划在积分使用上包括 5% 的 LLMGateway 费用。
- 免费云计划的数据保留时间有限(3 天)。
- 专业计划的团队成员功能标注为“即将推出”。





