API Hub
找服务商
API知识库
我是服务商
产品和服务
关于我们
控制台
所有文章
> 当前标签:
压测
生产级满血版Deepseek-r1 671B部署后续问题、调优以及压测
2025/03/12
本文介绍了在2台8 * H100 80G上部署Deepseek-r1 671B后的问题及优化措施。尽管VLLM V1引擎强大,但因不支持Deepseek,作者退回V0版本,并发现处理长上下文时出现降速问题。通过转向SGLang引擎,解决了降速问题,提升了生成速度。在压测中,发现TTFT和吞吐量在不同并发下的变化,指出了参数优化的潜在方向。未来计划继续优化系统性能,同时欢迎技术交流与反馈。
搜索、试用、集成国内外API!
幂简集成
API平台
已有
4572
种API!
API大全
搜索文章
文章精选
生产级满血版Deepseek-r1 671B部署后续问题、调优以及压测
2025/03/12