曹原教授访问实验室并做精彩报告
来源: 高峰/
中国海洋大学
1938
2
0
2023-09-13

2023年7月19日,香港大学曹原教授访问中国海洋大学人工智能研究院,在信息南楼A321做了题为 ”Understanding the Role of Training Algorithms in Over-Parameterized Learning: Insights from Case Studies” 的报告。

现代机器学习模型(比如大规模语言模型)通常包含大量参数。对于这种过参数化的模型,训练损失函数可能存在无限多个最小化者,不同的训练算法可能会收敛到不同的解。虽然这些解都可能在训练时产生零误差,但它们的预测误差可能截然不同。因此,要理解大型机器学习模型,必须理解训练算法对预测误差的影响。曹老师首先对随机梯度下降和Adam优化算法之间的泛化差距进行理论解释。证明了对于某些学习问题,梯度下降可以训练一个两层卷积神经网络以获得接近零的测试误差,而Adam算法只能达到常数级别的测试误差。

同时,曹老师还展示批归一化(BN)的“隐式偏差”结果。证明了当使用批归一化进行二分类问题的线性模型学习时,梯度下降会收敛到在训练数据上的“均匀边界分类器”。这个结果还可以扩展到一类简单的线性CNN。

到场的同学和老师们对这一领域和这几篇工作兴味盎然,纷纷提问和交流,讲座在热烈的讨论中结束。


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 联系我们
联系我们: