一种局部实体关系编码的场景图生成方法技术

本发明专利技术涉及一种局部实体关系编码的场景图生成方法，属于计算机视觉领域。该方法包括：构建场景图生成任务；对给定图像进行特征提取，包括RGB特征提取和深度特征提取；并通过目标检测器得到给定图像的实体关系建议；结合实体关系建议将RGB特征和深度特征进行跨模态融合，得到融合特征信息；将融合特征信息作为局部实体关系编码器的附加输入标记以进行谓词关系预测。本发明专利技术通过关注局部实体特征来学习更丰富的实体表示以及谓词表示，从而实现对局部交互信息的获取和补全，同时减少模型参数，提升运行效率。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，涉及一种局部实体关系编码的场景图生成方法。

技术介绍

1、人工智能技术的飞速发展促进了计算机视觉和自然语言处理领域的创新。其中，场景图生成是计算机视觉领域中的一个重要任务，其目标在于通过推断图像中存在的目标及其相互关系，生成以节点和边为基本元素的图形式表达，从而获得对图像场景的深入理解。通过对场景中不同物体的视觉理解以及不同物体之间的关系建模，生成的场景图可以服务于自动驾驶、视觉问答、图像描述生成等高级视觉推理任务。

2、近年来，场景图生成模型在实际应用中仍然存在很大的局限性。在复杂的视觉场景中，细微的局部特征和实体之间的微妙交互往往包含关键信息，但这些信息在传统的实体检测和场景图生成方法中容易被忽略。这是因为传统的场景图生成方法一般使用全局实体关系编码方式来学习场景中的实体表示以及谓词表示，这种方法在关系编码过程中会丢失局部的实体个体信息以及局部的实体交互信息，导致在最终场景图生成效果上丢失场景中的局部关键信息。此外，尽管有多种方法如使用深度图和知识图等额外线索来增强场景图生成的效果，但这会造成场景图生成方法要么本文档来自技高网...

【技术保护点】

1.一种局部实体关系编码的场景图生成方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种局部实体关系编码的场景图生成方法，其特征在于：在步骤S1中，对于给定的图像I，场景图生成的任务为创建一个摘要图以充分展现场景中存在的实体信息以及实体交互信息，包括检测到I内所有实体表示，即再对每个实体对(ei,ej)的谓词ωi→j进行预测，最后使用三元组(ei,ωi→j,ej)构建场景图

3.根据权利要求2所述的一种局部实体关系编码的场景图生成方法，其特征在于：在步骤S2中，针对RGB特征提取，使用预训练的RGB特征提取器提取场景图像I的RGB特征；针对深度特征的提取...

【技术特征摘要】

1.一种局部实体关系编码的场景图生成方法，其特征在于：所述方法包括：

2.根据权利要求1所述的一种局部实体关系编码的场景图生成方法，其特征在于：在步骤s1中，对于给定的图像i，场景图生成的任务为创建一个摘要图以充分展现场景中存在的实体信息以及实体交互信息，包括检测到i内所有实体表示，即再对每个实体对(ei,ej)的谓词ωi→j进行预测，最后使用三元组(ei,ωi→j,ej)构建场景图

3.根据权利要求2所述的一种局部实体关系编码的场景图生成方法，其特征在于：在步骤s2中，针对rgb特征提取，使用预训练的rgb特征提取器提取场景图像i的rgb特征；针对深度特征的提取，利用深度图预测模型将输入的rgb图像i转化为深度图像d，并初始训练深度特征提取网络，使用adam在完全基于深度的关系检测任务上进行训练，最后利用深度图像d以及训练的特征提取网络提取深度特征。

4.根据...

【专利技术属性】
技术研发人员：胡敏，赵世洋，黄宏程，孙培博，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：