一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法、系统及存储介质技术方案

本发明专利技术公开了一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法、系统及存储介质，包括构建不确定性跨粒度证据特征融合网络，获得不同粒度下的各意图类别对应的二元隶属证据对；对齐证据对的跨粒度层次表示；构建证据指导的不确定性估计网络；融合来自不同粒度的意见；将训练图像经过跨粒度证据特征融合网络得到意图理解结果，送入二元证据损失函数，对不确定性跨粒度证据特征融合网络进行训练；将测试图像输入到训练好的跨粒度证据特征融合网络，获得对图像背后人类意图的理解结果。本发明专利技术还包括基于层次关系的跨粒度证据对齐策略，将不同粒度层下的结果对齐为统一的形式；基于不确定性的意见组合规则，融合来自不同粒度的意见。本发明专利技术将证据理论融入不确定性框架，利用不确定性指导跨粒度融合，增强了网络对跨粒度信息的表征能力，大大降低了意图类别歧义所带来的影响，提高对视觉内容的全面理解和对其背后人类意图的识别能力，从而提高人机视觉交互的能力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉理解，特别是涉及一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法、系统及存储介质。

技术介绍

1、视觉意图理解是一项多类别心理学任务，旨在理解与人类行为相关的图像背后的固有意图。视觉内容是社交媒体中主要的信息传递形式，在心理评估、图像字幕和视觉问答等各种应用中发挥着重要作用。与文本意图理解相比，视觉内容更为综合且难以处理，它涉及各种对象、背景和隐含关系。此外，由于人类意图高度主观，从视觉特征到意图类别的映射关系更加复杂，导致不同意图之间的区分模糊。具体来说，属于同一意图类别的图像内容极其多样丰富甚至完全不同，这些特征并不能用特定的形状、物体、场景所定义。意图类别不能通过简单地分割并识别图片中地视觉内容来得到，而是视觉内容之间复杂而又潜在的关系所决定的。同时，即使不同图片中有着完全相同的物体，它们所属的意图类别可能截然不同。例如，同样地一朵向日葵在阳光下绽放与在雨中凋零传达出“快乐”与“悲伤”两种相反的意图。

2、视觉意图理解已被应用于多个领域，主要集中在广告理解、政治宣传理解和人类行为背后的动机理解。广告理解强调本文档来自技高网...

【技术保护点】

1.一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于不确定性跨粒度证据特征融合网络的视觉意图理解方法，其特征在于，步骤1所述的图像特征提取网络包括样本层面的图像特征提取器，其中，所述样本层面是指各样本只对应单一的特征图，所述特征提取器为一个预训练的卷积神经网络，用来提取训练图像的浅层视觉特征图；

3.如权利要求1所述的基于不确定性跨粒度证据特征融合网络的视觉意图理解方法，其特征在于，步骤2中利用图像特征提取网络和证据生成网络来获得所述训练图像中不同粒度下各意图类别对应的二元隶属证据对，具体为：先利用图...

【技术特征摘要】

1.一种基于不确定性跨粒度证据特征融合网络的视觉意图理解方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于不确定性跨粒度证据特征融合网络的视觉意图理解方法，其特征在于，步骤1所述的图像特征提取网络包括样本层面的图像特征提取器，其中，所述样本层面是指各样本只对应单一的特征图，所述特征提取器为一个预训练的卷积神经网络，用来提取训练图像的浅层视觉特征图；

3.如权利要求1所述的基于不确定性跨粒度证据特征融合网络的视觉意图理解方法，其特征在于，步骤2中利用图像特征提取网络和证据生成网络来获得所述训练图像中不同粒度下各意图类别对应的二元隶属证据对，具体为：先利用图像特征提取网络来提取训练图像的浅层视觉特征图；基于浅层视觉特征图，利用证据生成网络在不同粒度层次上分别生成与各个意图类别相对应的二元隶属证据对；其中二元隶属证据对代表了训练图像在不同粒度上与意图类别相关的特征信息，各意图类别代表训练图像表达的不同意义或目标。

4.如权利要求2或3所述的基于不确定性跨粒度证据特征融合网络的视觉意图理解方法，其特征在于，步骤2所述的二元隶属证据对表示为：其中，二元隶属证据对包括支持不隶属该类的证据和支持隶属该类的证据；k代表总的意图类别数，k指代某个意图类别，k＝1,2,...,k，表示不隶属于意图类别k的证据，表示隶属意图类别k的证据。

5.如权利要求1所述的基于不确定性...

【专利技术属性】
技术研发人员：李新德，徐文博，胡川飞，
申请(专利权)人：东南大学，
类型：发明
国别省市：