模型蒸馏是什么？模型蒸馏（Model Distillation）是一种将复杂教师模型的知识传递给简单学生模型的技术。此方法显著减少模型复杂性与计算需求，同时保持高预测性能。教师模型输出的软目标提供丰富信息，助学生模型提升学习与泛化能力。蒸馏过程包括准备模型、预测、定义损失函数、训练与微调。其优势在于提升模型轻量化与效率，适合移动设备等资源受限环境，并促进迁移学习。