一个开源的AI网关,用于管理多个大型语言模型(LLM)提供商,如OpenAI、Anthropic、Gemini、Ollama、Mistral和Cohere。它提供内置分析、保护措施、速率限制、缓存和管理控制。支持HTTP和gRPC接口。
适合人群
- 开发人员
- AI工程师
- 数据科学家
- MLOps工程师
- 平台工程师
产品优势
- 支持多个LLM提供商
- 提供内置分析和监控
- 提供速率限制和缓存功能
- 包含安全内容保护措施
- 开源且可配置
使用注意
- 需要Docker进行部署
- 初始配置可能比较复杂
- 维护和更新由用户负责






