所有文章 > 当前标签:部署
生产级满血版Deepseek-r1 671B部署实例
生产级满血版Deepseek-r1 671B部署实例
2025/03/12
这篇文章详细介绍了Deepseek-r1 671B满血版的生产级部署过程。作者在春节准备旅游时被Deepseek吸引,因而投入精力进行模型部署。文中涵盖了从模型文件下载、服务器和显卡准备,到推理引擎选择和网络配置等多个步骤。作者使用了H100显卡并提到网络带宽是推理速度的关键限制因素,建议使用Infiniband网络来提升性能。文章最后分享了一些部署中的常见问题和解决方案,并计划下一步进行性能测试和优化。
生产级满血版Deepseek-r1 671B部署后续问题、调优以及压测
生产级满血版Deepseek-r1 671B部署后续问题、调优以及压测
【AI驱动】 本文介绍了在2台8 * H100 80G上部署Deepseek-r1 671B后的问题及优化措施。尽管VLLM V1引擎强大,但因不支持Deepseek,作者退回V0版本,并发现处理长上下文时出现降速问题。通过转向SGLang引擎,解决了降速问题,提升了生成速度。在压测中,发现TTFT和吞吐量在不同并发下的变化,指出了参数优化的潜在方向。未来计划继续优化系统性能,同时欢迎技术交流与反馈。
2025/03/12
2种方式1键部署,快速体验QWQ-32B 模型
2种方式1键部署,快速体验QWQ-32B 模型
【AI驱动】 QwQ-32B 推理模型已发布并开源,支持通过阿里云平台以两种方式一键部署:应用模板和模型服务。用户可选择基于模板创建项目和部署,也可以使用 API 形式接入业务应用。QwQ-32B 在多项能力测试中表现优异,性能比肩更大规模模型,适用于数学、编程等任务。使用阿里云 CAP 平台,用户可以在数分钟内完成部署并验证模型功能,同时可选择在第三方平台进行调用和应用。
2025/03/12
Jenkins实现自动化构建与部署详解
Jenkins实现自动化构建与部署详解
【学习各类API】 本文详细介绍了如何使用Jenkins实现自动化构建和部署。Jenkins是一种流行的持续集成工具,可以在代码提交到代码仓库后自动获取最新代码并进行自动化部署,省去了手动打包和上传服务器的繁琐步骤。本文涵盖了从Jenkins的安装到配置SSH Keys以便从GitHub拉取代码,再到创建Pipeline和自动化任务的各个步骤,旨在帮助用户更高效地实现自动化部署。
2025/03/06
如何部署一个SQL Server
如何部署一个SQL Server
【日积月累】 本文详细介绍了如何部署一个SQL Server,涵盖了安装、配置和使用等方面。首先,需要选择合适的SQL Server版本,如企业版和开发者版,依据功能需求和预算进行选择。接着,确保硬件和操作系统满足安装要求。安装过程可选择默认设置或自定义参数。配置SQL Server实例时,建议使用Windows身份验证模式,并设置强密码以增强安全性。最后,通过SQL Server Management Studio管理数据库,并定期进行数据库备份和恢复,以确保数据安全。
2025/02/03