2020年7月26日，清华大学徐枫副教授在全球人工智能大会上进行了一场主题为“多模数据智能处理技术在脑疾病诊断中的应用”的公开讲座。

首先，徐枫副教授向我们介绍了脑疾病研究的必要性，以及传统医学对脑疾病的定义及研究。由于传统的医学方法在处理脑疾病时常常有些力不从心，这时候人工智能就可以发挥它的作用了。讲座中，徐枫副教授认为人工智能和医学的关系更可能会是类似于无人驾驶那种合作的形式，想要完全取代传统医学是不太可能的，主要原因是其应用有很多需要克服的困难，主要有三个挑战：1.数据的搜集。与其他领域不同，医学所用的数据都是来自医院患者，搜集难度大且涉及病人隐私；2.数据的标注。医疗数据的标注有很强的专业性，需要有丰富经验的医生来进行标注，但这些医生又很难抽出时间；3.算法的泛化能力还不能保证。

针对这些问题徐副教授提出了多模数据的脑疾病诊断，在讲座中主要介绍了三方面的工作：脑疾病的分类诊断，颅内动脉瘤分割，以及特发性震颤分级诊断。

首先是脑疾病的分类诊断，它面临的问题除了刚才提到的那些之外，还面临着病灶情况复杂，诊断难度大的困难。为了解决克服这些困难，徐枫副教授团队做了以下几点工作：首先构建影像科脑部数据库（包括CT，MAR等等），病例数量提升了三倍，数据总量提升了一个数量级；其次，提出了基于注意力的多示例学习方法，由于数据量很大，数据的标注很难面面俱到，所以采取了先在粗标注的样本上进行初步训练，然后再在精标注的样本上训练提升性能；最后将实验结果可视化，提供给医生分析。最终的效果也是相当不错，未来除了这种粗标精标相结合的方法，徐副教授还提出应该将各种监督类型相结合并利用多模态数据进行综合分析。

         第二个工作是颅内动脉瘤的分割，动脉瘤的致死率和致残率都非常高，而前人的工作由于受到数据还有技术等等局限，处理起来很棘手。在解决这些问题时首先为了提升模型的泛化能力，徐副教授团队先构建了大型的动脉瘤分割数据集，然后为了解决动脉瘤体积极小难以发现的问题，采用了动脉瘤级联放大神经网络结构来实现高精度微小动脉瘤分割，收到了很好的成效。

第三个问题是特发性震颤（ET）的分级诊断。特发性震颤也是一种高致残率的神经系统疾病，不同于前两个问题采用CT，CTA等等医学影像，在解决这个问题时采用的是普通的视频。前人在研究这个问题时主要采用的是基于标记点的3D运动捕捉的方式，但是由于设备昂贵且十分不便，很难进行推广。徐副教授团队采取的方案是利用计算机视觉识别人体运动，具体为：首先引入LSTM模块，抽取运动特征，处理序列输入，弥补深度损失，如果主要对身体某部分感兴趣则可以采取基于ROI的局部大尺度特征图；然后采用小波变换的方式获得瞬时频率、震颤幅度、平均振幅和最大有效振幅等数据；之后结合疾病普遍运动特征进行诊断分级；最后输出辅助信息帮助医生进行诊断。算法成果的精度最后证实是超过医生平均表现的，但由于研究的目的是辅助医生进行诊断，所以团队对医生在有无辅助情况下的诊断结果也进行了对比。

讲座的最后徐枫副教授谈了一些未来的发展方向。一是要利用多模态AI发展精准医学，将多模数据融合，构建更智能的人脑模型；二是随着现代技术的发展，对大脑的认识越来越全面，在智能技术的辅助下可以获得更多的大脑信息；三是可以使用数字重建模拟大脑的结构和功能。

徐枫，现任CAAI副秘书长，国家优青，清华大学副教授。2007年7月，获清华大学理学学士学位；2012年7月，获清华大学工学博士学位。主要研究领域包括人工智能、智慧医疗、虚拟/增强现实等。在相关领域发表论文40余篇，获授权中国/美国专利10余项，获省部级技术发明奖2项，担任Pacific Graphics，Symposium on Graphics等国际会议程序委员会委员，担任CAAI Transactions on Intelligent Technology青年编委。

撰稿人：王磊