DeepSpeed-Chat 是微软开源的一种高效、低成本的系统框架，用于训练类似 ChatGPT 的模型。它基于 DeepSpeed 技术，支持从 1.3B 到 66B 参数规模的模型训练。其核心功能包括：提供易于使用的训练和推理体验，只需一个脚本即可完成从预训练模型到生成类 ChatGPT 模型的全过程，并提供推理 API；复刻 InstructGPT 的 RLHF 训练流程，包含监督微调、奖励模型微调和基于人类反馈的强化学习三个步骤；整合 DeepSpeed 的训练和推理能力到统一的混合引擎中，实现高效优化。DeepSpeed-Chat 使训练速度比现有 RLHF 系统快 15 倍，且可扩展性强。