Wallaroo.AI 是一个AI推理平台,支持任何模型、任何硬件、任何地点的AI部署。它提供快速、即插即用的推理微服务,无需复杂的工程操作,即可在CPU或GPU上部署,适用于任何云或边缘环境。Wallaroo.AI 旨在帮助AI团队消除部署、监控和管理AI模型中的常见瓶颈,实现更快速的AI生产部署,支持更多的AI部署,并通过高效的资源利用和自动化降低部署成本。
Velvet 是一个为工程师设计的人工智能(AI)网关,专注于在生产环境中使用大型语言模型(LLM)。它通过将请求存储到您控制的数据库中,帮助您分析、评估和监控AI功能。Velvet 提供了数据互操作性、细粒度分析、智能缓存、实验运行、持续监控和数据集生成等功能,以优化成本、提高效率并支持模型的微调。