这篇论文调查了知识蒸馏在大型语言模型中的应用，探讨如何通过蒸馏技术将大模型的知识和能力传递给小模型。论文分为算法、技能和应用三大部分，并强调数据增强在提高蒸馏效果中的重要性。通过知识蒸馏，可以实现模型压缩、自我改进，并在医疗、法律等领域中应用小模型。研究旨在使小模型更高效、经济地发挥大模型的功能。