一种基于一般依赖树的视觉问题推理模型及系统技术方案

本发明专利技术公开了一种基于一般依赖树的视觉问题推理模型及系统，所述视觉问题推理模型包括：卷积层、双向长短期记忆网络层、递归神经网络以及多层感知器，所述卷积层、双向长短期记忆网络并列连接所述递归神经网络，最后再接入所述多层感知器，所述递归神经网络的拓扑结构由一般性语法分析树指导生成，本发明专利技术不仅可以提高视觉问题回答的准确率，还使该模型不同于以往类似于黑箱过程的神经网络，能够做到推理过程的可视化。

【技术实现步骤摘要】
一种基于一般依赖树的视觉问题推理模型及系统
本专利技术涉及自然语言处理、图像识别和深度学习等领域，特别是涉及一种基于一般依赖树的视觉问题推理模型及系统。
技术介绍
视觉问答的任务是预测对于给定图像和文本问题的正确答案。这项任务的关键是能够在图像和语言领域进行联合推理。然而，大多数以前的方法更像黑盒子模型，即通过神经网络将视觉元素简单地映射到文本词语。这些方法的主要缺点是对结果缺乏解释能力，即为什么会产生这种答案。此外，已有实验表明，他们的准确性可以通过过度拟合数据偏差来实现，而且缺乏显式利用文本和图像的结构，导致在关系型数据集上不能获得令人满意的推理效果。最近，一些开创性的工作利用了文本和图像中固有的结构，它将问题图像输入解析为语法分析树或某种布局，并将结点的局部特征级联，最终得出预测答案。例如，布局“更多(寻找(球)，寻找(黄色))”表示模块应该首先找到图像上的球和黄色物体，然后组合这两个结果来回答球是否比有比黄色物体更多。但是，这些方法要么依赖手工设计的规则来理解问题，要么从零开始训练一个布局解析器，这样性能将大打折扣，这些限制严重阻碍了模型在理解多样和开放式问题并作出回答的潜力本文档来自技高网...

【技术保护点】
1.一种基于一般依赖树的视觉问题推理模型，包括：卷积层、双向长短期记忆网络层、递归神经网络以及多层感知器，所述卷积层、双向长短期记忆网络并列连接所述递归神经网络，最后再接入所述多层感知器，所述递归神经网络的拓扑结构由一般性语法分析树指导生成。

【技术特征摘要】
1.一种基于一般依赖树的视觉问题推理模型，包括：卷积层、双向长短期记忆网络层、递归神经网络以及多层感知器，所述卷积层、双向长短期记忆网络并列连接所述递归神经网络，最后再接入所述多层感知器，所述递归神经网络的拓扑结构由一般性语法分析树指导生成。2.如权利要求1所述的一种基于一般依赖树的视觉问题推理模型，其特征在于：所述递归神经网络包括若干个子网络，每个子网络包括并列的对抗注意力模块和残差组合模块，其中所述对抗注意力模块由卷积层、全连接层并列连接双线性融合层，再连接卷积层构成，所述残差组合模块由两个全连接层并列连接双线性融合层，再连接全连接层，最后再与所述残差组合模块输入部分作残差连接构成。3.如权利要求1所述的一种基于一般依赖树的视觉问题推理模型，其特征在于：所述视觉问题推理模型的学习采用反向传播算法。4.如权利要求1所述的一种基于一般依赖树的视觉问题推理模型，其特征在于，所述视觉问题推理模型的学习步骤如下：通过大量的文本数据来预训练一般性语法分析树的拓扑结构；通过大量的视觉问题推理数据，使用反向传播算法迭代训练所述卷积层、双向长短期记忆网络层、递归神经网络以及多层感知器的模型参数，直到收敛。5.一种基于一般依赖树的视觉问题推理系统，包括：视觉问题推理模型建立单元，用于建立基于一般依赖树的视觉...

【专利技术属性】
技术研发人员：林倞，李百林，王青，梁小丹，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44