来自启智会的报告：深度学习的局限性与潜在的突破方向 

【原文：《深度学习的局限性与潜在的突破方向》，载于2020年2月出版的“中国计算机学会通讯”第16卷第2期】

        2019 年 11 月 29 日 ~12 月 1 日，CCF在苏州召开了第 7 期启智会，来自国内 9 家单位的 13 位专家出席会议，共同围绕深度学习的局限性与潜在的突破方向等问题展开了深入讨论:深度学习有哪些自身的局限性？这些局限性的源头是什么？能否通过技术改进来改善这些局限性？这些局限性未来的突破口在哪？又有哪些具体的问题最具研究价值？

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。^[1]

清华大学教授朱军将深度学习的局限性概括为以下几个方面： (1) 对大量标注数据的依赖。(2) 对不确定性问题建模的局限。(3) 鲁棒性不足。 (4) 可解释性不足。深度神经网络通常被作为“黑箱”使用，一方面给模型调优带来困难，通常需要不断试错；另一方面，模型所做出的预测和决策很难被人理解，给人机交互和融合带来障碍。

                                                 图1深度神经网络作为“黑箱”使用^[2]

 朱军教授分享了贝叶斯神经符号模型的最新研究进展，他认为该类模型能够综合利用深度神经网络、不确定性建模以及符号化模型的优点，提升模型和算法的鲁棒性和可解释性，能够充分利用未标注或弱标注数据提升学习性能和推理能力。

清华大学副教授龙明盛提出迁移学习仍是机器学习领域尚未得到有效解决的基本问题之一。龙明盛还分享了迁移学习理论研究方向的最新进展，认为该方向是提升机器学习泛化能力和适应能力的潜在方向。

图2迁移学习基本流程^[3]

 清华大学助理教授黄高和旷视研究院研究员张祥雨从神经网络模型设计的角度，指出当前主流神经网络大多属于静态模型，即一旦模型训练完毕，其结构、参数等也就随之固定下来，难以适应外界环境的动态变化，他提出了设计动态神经网络的研究思路。

西安电子科技大学教授王楠楠和北京航空航天大学副教授刘偲则从跨模型学习的角度分析了现有深度学习方法的不足。中山大学副教授梁小丹从深度图推理的角度对深度学习模型可解释性的不足进行了补充。

清华大学副教授刘知远从自然语言处理与知识建模的角度，指出了造成自然语言处理可解释性差、可扩展性差和鲁棒性差的瓶颈的原因是深度学习内部对语义特征采用分布式表示，对于如何有效融入离散符号表示的人类先验知识尚缺少有效手段，同时还指出了三个研究思路：语义表示、语言模型和计算框架。

图3自然语言处理主要技术一览图^[4]

 清华大学助理教授袁洋从理论研究的角度出发，他认为目前人们对神经网络的工作机理仍然不是非常清楚，他认为从理论的角度理解传统算法应该如何进行改造，是非常有意义的研究方向。

北京大学助理教授朱占星根据目前对于深度学习的泛化机制、训练过程中的行为以及网络结构对不同分布的数据集带来的影响，以及如何定量刻画这些性质这些问题没有很好的理论基础，提出了深度学习如何与因果推理有效结合。他认为利用动力学系统建模神经网络，将符号化系统和统计因果深度融合等都是值得探索的方向。

参考文献：

[1] Weight Uncertainty in Neural Networks https://arxiv.org/abs/1505.05424

[2] 亿欧智库：深度学习之后是什么？http://www.itmsc.cn/archives/view-182501-1.html

[3] 在层次数据模型中为什么只有一个节点无双亲 www.tuxi.com.cn

[4] 2017GAITC自然语言理解分论坛实录丨周明：深度学习在自然语言处理领域的最新进展https://www.sohu.com/a/145186683_505819

撰稿：李世钦

审稿：丁美荣