最近的ChatGPT很火。想比智能文字问答，更近一步的是智能图文问答。想象一下，你在开车，不方便查看手机屏幕，这时询问机器人，家里监控画面是否拍到猫咪。

对于有深度学习（监督学习），为实现上述智能图文问答，可以考虑采取如下图所示的策略。

然而，上述方法有2个缺点：①语义分割图库标注十分困难；②自然语言处理口语对话特性导致主题开放化（Open-world），即话题有很多种，难以预先确定所有话题，万一在标注时忽略了“猫咪”这个主题，就没有对应的语义分割标记，此时图中的语义分割网络难以运行。

 

对于概率图模型，这个问题就简单很多。回想人脸识别，它是一个开放世界（Open-World）分类问题，人脸识别用到了k-近邻的思想，而k-近邻是一种图搜索算法。受此启发，可以考虑采取如下图所示的策略，用概率图模型完成语义分割，而不借助语义分割网络。

这里推荐一篇ICML 2019的论文，Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering，作者用符号网络和推断网络实现智能图文问答。

论文阅读：《Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering》

Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering (VQA一概率神经符号网络）

概率神经网络_【论文解读】结合概率图模型和神经网络做图片问答

结论：目前，智能图文问答是一个很不错的新兴研究方向，而概率图模型（Probabilistic Graphical Models，PGM）在该研究领域中应用潜力巨大，仅供参考！

 

————————————————
版权声明：本文为CSDN博主「华南农大 - 郭庆文」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u014134327/article/details/129473751