自然语言处理团队组织2020级研究生第七组开展第二次研讨会

2020年10月14日星期三晚上9：50-11：50，NLP团队第七研讨小组以线上的方式（腾讯网络会议平台）开展了第二次研究生研讨会。由丁美荣副教授主持，2020级研究生林晓康、李世钦、周岑钰以及张航，2019级研究生刘鸿业等五位同学线上参与。会议期间，丁老师针对每位同学的汇报提出问题，包括胶囊网络、Atention注意力机制的原理，图神经网络应用到教育领域的思想，智能电表以及电网的模型分析等等，参会同学也积极参与到讨论中。 

研讨主题内容主要基于以下具体指定内容进行：

(1) 面向人机对话意图分类的混合神经网络模型

随着人机对话的不断发展，让计算机能准确理解用户的查询意图，对整个对话系统领域都有着重要意义。其中意图分类的主要目标是在人机对话的过程中判断用户的意图，提升人机对话系统的准确度与自然度，本文提出了一种混合Capsule（胶囊）网络、MFCNN（多粒度）网络和注意力机制的模型。Capsule和普通网络的输入输出不同，不是一个标量值，而是向量特征，可以呈现出某种类型的概率，以及广义特征，比如文本长度、位置信息、语义等等。传统 CNN 的隐藏层只使用单一粒度的卷积核，MFCNN通过不同的卷积域,抽取句子中不同位置的 n-gram 特征，设置同一窗口值不同窗口大小的卷积核，在此基础上扩展到多个不同窗口值的卷积核进行计算。注意力机制采取查询键值对的方式，对每一时刻的输入序列进行词权重更新分配，最终得到带有不同权重大小的输出序列。 

(2) 图神经网络推荐研究进展

传统的推荐方法有协同过滤、标签推荐等，基于图神经网络的推荐是对图的节点进行嵌入化处理，得到节点特征的向量化表示。图卷积神经网络（GCN）是根据CNN启发产生的训练模型，还有GraphSAGE和GAT等网络，统称图神经网络（GNN）。本文针对无向图的单元图、二元图、多元图进行了经典推荐案例的分析，并对图神经网络在推荐研究上的难点和未来研究方向进行了概述。 

(3) 基于深度学习的小样本异常用电数据检测技术研究

本文通过分析传统用电的异常的检测的困难以及不足之处，提出了两种基于深度学习的异常检测方案。其一是应用AAE网络的半监督生成式模型实现异常用电数据检测，其既能够实现特征自动提取，又能够充分利用无标签数据训练生成式模型，同时能利用对抗网络加强对分类标签的约束，实验证明其能有效实现异常用电检测，泛化能力较强。其二是基于CNN，并解决了标记样本小，数据格式以及电力数据维度小的问题，然后基于迁移学习对模型进行微调整，通过实验证明，迁移学习方法能够提高模型的分类准确度。 

(4) 电力用户侧大数据分析与并行负荷预测

负荷预测是电网规划中的关键环节，高精度的短期负荷 预测能够有效降低发电成本，有关键作用。决策树是解决短期电力负荷的主流算法之一，但其自身原因和外界因素也存在很多不足，所以可以利用随机森林算法来进行负荷预测，随机森林是多个决策树的集成学习方法，不仅可以克服决策树的一些不足，而且具有良好的可扩展性和并行性，能够有效解决大数据的快速处理问题，针对大数据环境下的电力负荷预测有较好的应用前景。通过应用MapReduce和HDFS等分布式并行工具和随机森林的可并行化特性，可以并行化的完成利用随机森林算法来进行负荷预测，提高计算效率。 

以下是四位同学汇报的内容截图：

撰稿：周岑钰

审稿：丁美荣