【例会预告】

会议名称：数据科学与创新管理团队例会

会议时间：2025年04月17日（周四）14：30-17：00

会议地点：经管楼607会议室

汇报人： 李虎峰

汇报题目：神经网络中的知识蒸馏(Distilling the Knowledge in a Neural Network )

汇报摘要：

提高几乎所有机器学习算法性能的一个非常简单的方法就是在同一数据上训练多个不同的模型，然后对它们的预测取平均值。然而，使用一整套模型进行预测非常繁琐，而且计算成本过高，难以部署到大量用户，尤其是在单个模型本身就是大型神经网络的情况下。Caruana 和他的同事已经证明，可以将模型集成中的知识压缩成一个更易于部署的单一模型，并且我们使用不同的压缩技术进一步开发了这种方法。我们在 MNIST 数据集上取得了一些令人惊讶的结果，并且我们证明了，通过将模型集成中的知识提炼成一个单一模型，可以显著改进一个被广泛使用的商业系统的声学模型。我们还引入了一种新型的集成模型，它由一个或多个完整模型和许多专家模型组成，这些专家模型可以学习区分完整模型容易混淆的细粒度类别。与专家模型的混合不同，这些专家模型可以快速并行地进行训练。