自然语言处理中的深度学习： 评析与展望

【原文：李航-特邀专栏作家 自然语言处理中的深度学习：评析与展望，载于中国计算机学会通讯 第15卷第9期-2019年9月】 

2019年9月，字节跳动科技有限公司特邀专家李航在“中国计算机学会通讯”期刊第15卷第9期发表了《自然语言处理中的深度学习： 评析与展望》，为什么深度学习能够成为自然语言处理的强大工具？未来深度学习在自然语言处理中将如何发展？作者尝试回答了这两个问题。首先，概述脑科学、认知科学中关于人的语言处理的学说，之后，从机器学习理论角度总结深度学习的特性、优势和不足。接着，分析深度学习在自然语言处理成功的原因和特点。最后，展望自然语言处理的未来发展方向，总结自然语言处理的重要研究课题。

 一．深度学习

       深度学习是实现机器智能的强大工具，以下从机器学习理论的角度总结深度学习的优缺点。

      1.深度学习优点体现在：

（1）神经网络拥有强大的函数近似能力。

（2）深的神经网络比浅的神经网络拥有更精简的表达能力和更高的样本效率。

（3）深度学习有很强的泛化能力，也就是从训练集上学到的误差小的模型在测试集上也同样有小的误差。

     2.深度学习也有缺点：

（1）缺乏强健性，也就是说数据中很小的扰动就会导致预测错误。

（2）缺乏恰当性，由于训练数据的偏差，机器学习的特点（预测误差最小化导向，训练中的随机性）等原因，深度学习常常“学到不恰当的知识”。

       二．基于深度学习的自然语言处理的应用

 自然语言处理的问题从机器学习的角度可以归结为分类、匹配、转换、结构预测、序列决策过程。深度学习使这五大类任务的正确率都有很大提升，特别是匹配和转换^[2]。深度学习，特别是在监督学习的场景中，实际是在用数据驱动的方法模拟人的语言处理功能，参照人如何对给定输入产生相应输出，然后进行“模仿”。人工神经网络作为数学模型有很强的表达能力，深度学习作为机器学习方式有很强的学习能力。

 由于深度学习方法的无监督学习有可以挖掘深度层次特征的能力，近几年自然语言处理方面在词性标注、句法分析、情感分析、机器翻译、文本分类这些方面大多使用深度学习方法来解决问题。相比传统的机器学习，深度学习试图模仿人的学习，通过计算机自动完成海量数据的特征提取^[3]。

 三．问题与展望

 面向未来，围绕着深度学习与自然语言处理，需要对多模态、生成、预训练、神经符号处理这几个课题进行探索，关键是开发相关的新的神经网络模型^[1] 。深度学习把图像、语音、语言几个领域的技术紧密地联系在一起。

        深度学习算法的研究难点是在模型构建过程中优化调整参数，最大问题是在解决训练数据的需求上^[3]，因此可以引用混合传统机器学习与深度学习方法相结合的方式来解决，从而加快深度学习的学习效率。

        四．个人总结

        近年来，深度学习已经取得了很大的进步，但仍有很大的潜力。在深度学习过程中需要大量数据支撑，同时在自然语言处理中一部分任务无法使用海量无标注预料进行学习，如何协调这种问题值得思考。只有对深度模型有了足够的了解，这才能知道深度模型的局限所在及发展前景。

参考文献：

[1] 李航.自然语言处理中的深度学习：评析与展望[J].中国计算机学会通讯,2019.

[2] Hang Li. Deep Learning for Natural Language Processing, National Science Review, Perspective, 2017.

[3] 徐翼龙, 李文法, 周纯洁. 基于深度学习的自然语言处理综述[C]// 中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集. 0.

撰稿：刘赢方

审稿：丁美荣