RunInfra 是一个 AI 推理优化与部署平台，能够根据对开源模型或完整应用的自然语言描述，自动生成可直接上线的生产级 API。该平台由 Y Combinator 支持，会在不同 NVIDIA GPU 上对 vLLM、SGLang、TensorRT-LLM 等服务引擎进行基准测试，找出最省钱、延迟最低的配置。它借助自动化 Forge 智能体来优化内核、量化模型（AWQ、GPTQ、FP8），并处理连续批处理和 KV 缓存调优。用户既可以把模型部署到 RunInfra 的托管基础设施上，享受按需缩容到零的能力，也可以导出完整可运行的部署套件（Dockerfile、配置文件），部署到 RunPod、Modal 或本地硬件等自有基础设施上。
适合人群
- AI 工程师
- DevOps 工程师
- MLOps 从业者
- 软件开发者
- 企业基础设施团队
- AI 创业公司
产品优势
- 通过纯文本提示即可零配置部署
- 通过自动性能调优显著降低成本和延迟
- 没有厂商锁定；部署套件完全可审计、可导出
- 部署方式灵活，包括全托管、无服务器和自托管
使用注意
- 访问 H200、B200 等高端 GPU 以及自托管部署，需要定制企业版方案
- 高级优化流程的执行时间可能长达 23 分钟或更久
- 要充分利用导出的技术栈，需要对 AI 基础设施概念有一定了解
美国
