基于注意力交集感知的视觉关系抽取方法技术

技术编号:42804924 阅读:21 留言:0更新日期:2024-09-24 20:49
本发明专利技术公开了基于注意力交集感知的视觉关系抽取方法,所述方法包括:构建视觉关系抽取模型,包括预训练视觉模型、注意力交集感知模块和关系预测层;使用预训练视觉模型提取图片特征;根据图片特征和目标区域标注获得所有目标的特征表示;使用注意力交集感知模块,对每对目标计算共同关注特征;把每对目标的特征表示和共同关注特征输入关系预测层,进行关系预测;计算关系预测损失函数,并用关系预测损失函数优化视觉关系抽取模型,用优化后的视觉关系抽取模型进行视觉关系抽取。本发明专利技术利用视觉注意力感知机制,创新性地提出了注意力交集感知模块,提取出每对视觉目标的共同关注特征,使模型能够关注到图片的关键信息,提高视觉关系抽取准确率。

【技术实现步骤摘要】

本专利技术涉及深度学习和图像处理领域,尤其涉及一种基于注意力交集感知的视觉关系抽取方法


技术介绍

1、视觉关系抽取是计算机视觉领域中的一个任务,旨在识别和理解图像中不同物体之间的关系。它涉及到了对物体之间的空间关系、功能关系和语义关系等进行建模和推断。通常输入是一幅图像以及图中目标的位置,输出是描述物体之间关系的标签或类别。例如,在一张包含人和球的图像中,视觉关系抽取任务可以分类人物和球之间的关系,如"持有"、"踢"、"接触"等。

2、视觉关系抽取任务的价值在于提高计算机对于图像场景的理解和推理能力,为视觉搜索和其他计算机视觉任务提供支持,并在实际应用中发挥重要作用,如场景理解、视觉推理、视觉搜索和计算机辅助视觉任务等。然而,对于物体多的图像而言,想要抽取出其中两个物体的视觉关系,不一定需要利用上整张图片的信息,而只需要利用上这两个物体相关的信息,其余的不管信息反而会对模型的判断产生干扰。怎么引导模型关注与物体相关的局部信息,是一条提升视觉关系抽取性能的可行技术路径。


技术实现思路>

1、本专利技本文档来自技高网...

【技术保护点】

1.基于注意力交集感知的视觉关系抽取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于注意力交集感知的视觉关系抽取方法,其特征在于,所述的使用预训练视觉模型提取图片特征,包括以下步骤:

3.根据权利要求2所述的基于注意力交集感知的视觉关系抽取方法,其特征在于,所述的根据图片特征和目标区域标注获得所有目标的特征表示,包括以下步骤:

4.根据权利要求3所述的基于注意力交集感知的视觉关系抽取方法,其特征在于,所述的使用注意力交集感知模块,对每对目标计算共同关注特征,包括以下步骤:

5.根据权利要求4所述的基于注意力交集感知的视觉关系抽...

【技术特征摘要】

1.基于注意力交集感知的视觉关系抽取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于注意力交集感知的视觉关系抽取方法,其特征在于,所述的使用预训练视觉模型提取图片特征,包括以下步骤:

3.根据权利要求2所述的基于注意力交集感知的视觉关系抽取方法,其特征在于,所述的根据图片特征和目标区域标注获得所有目标的特征表示,包括以下步骤:

4.根据权利要求3所述的基于注意力交集感知的视觉关系抽取方法,其特征在于,所述...

【专利技术属性】
技术研发人员:成清曾泽凡刘忠黄魁华杜航
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1