一种全开放词表场景图生成方法技术

本发明专利技术公开了一种全开放词表场景图生成方法，包括以下步骤：S1，获取带有目标、关系、属性标注的公开数据集，或获取RGB彩色图并进行类别标注，将得到的数据划分为训练集样本和测试集样本；S2，构建全开放词表场景图生成模型，并利用训练集样本对全开放词表场景图生成模型进行训练；S3，将测试集样本输入训练好的全开放词表场景图生成模型中，输出相应的场景图结构。本发明专利技术通过在开放词表场景图生成任务中增加对属性的开放词表识别，辅助提高了目标检测的准确率，增强了对图像的理解表示能力，扩大了场景图的应用场景，且同时输出场景图所需的目标、关系和属性，所有类别均不受限制，提高了对图像的理解表示能力以及减少了推理耗时。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与图像处理，更具体的说是涉及一种全开放词表场景图生成方法。

技术介绍

1、场景图(scene graph)是一种语义化的图结构，可以作为图像的表示。图像中的目标是图节点，目标间的关系对应图的边。场景图生成任务目标就是输出场景图作为图像的结构化表示，以rgb图像作为输入，预测目标位置、语义类别和目标间的关系。场景图生成是许多视觉应用的基础，如图像说明、视觉问答、视觉推理。为了使生成的场景图更实用，更具挑战性的开放词表场景图生成任务被提出，可以预测不在训练目标语义类别和训练关系类别中的目标语义类别和关系类别，即可预测的目标语义类别和关系类别不受限制。

2、目标的语义类别只是目标的简化表征，目标还具有各种属性，如颜色、材质、形状、状态等。有文献表明，了解物体的属性也可以极大的促进物体的识别和检测。

3、例如，公开号为cn116524513a的专利公开了一种开放词表场景图生成方法、系统、设备及存储介质，方案中：利用视觉特征抽取的方法抽取输入图像的表征，再作用于实体查询和关系查询，以生成包含有不同区域上下文信息的实体与本文档来自技高网...

【技术保护点】

1.一种全开放词表场景图生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种全开放词表场景图生成方法，其特征在于，步骤S2中构建的全开放词表场景图生成模型包括关系提示向量学习子模型、属性提示向量学习子模型、类不可知区域生成器和分类预测模块。

3.根据权利要求2所述的一种全开放词表场景图生成方法，其特征在于，所述关系提示向量学习子模型训练过程为：

4.根据权利要求3所述的一种全开放词表场景图生成方法，其特征在于，所述关系提示向量学习子模型的训练过程还包括：

5.根据权利要求3所述的一种全开放词表场景图生成方法，其特征在于，所述属...

【技术特征摘要】

1.一种全开放词表场景图生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种全开放词表场景图生成方法，其特征在于，步骤s2中构建的全开放词表场景图生成模型包括关系提示向量学习子模型、属性提示向量学习子模型、类不可知区域生成器和分类预测模块。

3.根据权利要求2所述的一种全开放词表场景图生成方法，其特征在于，所述关系提示向量学习子模型训练过程为：

4.根据权利要求3所述的一种全开放词表场景图生成方法，其特征在于，所述关系提示向量学习子模型的...

【专利技术属性】
技术研发人员：赵惠，张鹏飞，苏江，
申请(专利权)人：暗物质北京智能科技有限公司，
类型：发明
国别省市：