DeepSeek选择蒸馏模型是为了将大型复杂模型的知识迁移到小型简单模型上，从而在减少模型大小和计算复杂度的同时保持较高性能。蒸馏技术通过模仿教师模型的输出，使学生模型能够继承其决策过程、泛化能力和先验知识，尤其在复杂推理和数据稀缺任务中表现更优。DeepSeek采用蒸馏技术的原因在于其设计理念更注重模型的高效性和适应性，尤其是在计算资源受限和需要高效推理的场景中。相比之下，其他厂商如Qwen和Llama更注重大规模模型的多样性和复杂性，未将蒸馏作为核心优化手段。大模型蒸馏的关键步骤包括教师模型生成软标签、学生模型训练、损失计算与参数更新。随着技术进步，DeepSeek的蒸馏方式有望成为大模型优化的主流方向。