场景图的生成方法、装置和设备制造方法及图纸

本发明专利技术涉及计算机视觉技术领域，提供一种场景图的生成方法、装置和设备，旨在使用训练数据集构建难度较小的人工神经网络来实现场景图的生成。场景图的生成方法包括：通过人工神经网络的物体检测模块来提取被分析图像中的实体对象信息；通过人工神经网络的实体关系检测模块获得被分析图像中的实体对象关系信息；根据所述实体对象信息和实体对象关系信息生成场景图，所述场景图包括至少一个由主体、谓语和客体构成的关系三元组；其中，所述人工神经网络的训练数据集中，任意一个作为监督信息的关系三元组仅存在于一个训练图像。

Generation method, device and equipment of scene diagram

【技术实现步骤摘要】
场景图的生成方法、装置和设备
本专利技术涉及计算机视觉
，具体涉及一种场景图的生成方法、装置和设备。
技术介绍
在计算机视觉
，为了使计算机更好的理解图像内容，随着人工神经网络的发展，出现了用场景图对图像(确切的说指被分析图像)内容进行结构化表示的图像识别技术。该技术利用被训练的人工神经网络对被分析图像中的实体对象进行识别并生成包含相关实体对象之间关系的场景图。场景图包括至少一个由主体、谓语和客体构成的关系三元组，其中的主体和客体构成图像中的一对相关实体对象，谓语则表示了此对相关实体对象之间的交互。目前构建的用于生成场景图的人工神经网络的训练数据集均包含了大量训练图像和相应的标注样本，这些存在于不同训练图像中的标注样本中往往含有相同的关系三元组(即主体、谓语和客体均相同的关系三元组)作为监督信息，造成训练数据集规模庞大、构建难度高。
技术实现思路
本专利技术所要解决的技术问题是：提供一种场景图的生成方法、装置和设备，旨在使用训练数据集构建难度较小的人工神经网络来实现场景图的生成。本专利技术解决上述技术问题所采用的本文档来自技高网...

【技术保护点】
1.场景图的生成方法，其特征在于，包括：/n通过人工神经网络的物体检测模块来提取被分析图像中的实体对象信息；/n通过人工神经网络的实体关系检测模块获得被分析图像中的实体对象关系信息；/n根据所述实体对象信息和实体对象关系信息生成场景图，所述场景图包括至少一个由主体、谓语和客体构成的关系三元组；/n其中，所述人工神经网络的训练数据集中，任意一个作为监督信息的关系三元组仅存在于一个训练图像。/n

【技术特征摘要】
1.场景图的生成方法，其特征在于，包括：
通过人工神经网络的物体检测模块来提取被分析图像中的实体对象信息；
通过人工神经网络的实体关系检测模块获得被分析图像中的实体对象关系信息；
根据所述实体对象信息和实体对象关系信息生成场景图，所述场景图包括至少一个由主体、谓语和客体构成的关系三元组；
其中，所述人工神经网络的训练数据集中，任意一个作为监督信息的关系三元组仅存在于一个训练图像。


2.如权利要求1所述的场景图的生成方法，其特征在于，所述训练数据集的构建方法包括：
从图像资源库中获得被检查图像并判断被检查图像是否包含尚未出现在训练数据集中作为监督信息的关系三元组；
若判断为是，则将被检查图像和对判断为未出现在训练数据集中作为监督信息的关系三元组的相应注释添加到训练数据集，然后重复上述操作；
若判断为否，则不将被检查图像添加到训练数据集，然后跳过该被检查图像后重复上述操作。


3.如权利要求1所述的场景图的生成方法，其特征在于：所述物体检测模块采用FasterR-CNN模型。


4.如权利要求1所述的场景图的生成方法，其特征在于，通过人工神经网络的实体关系检测模块获得被分析图像中的实体对象关系信息包括：
利用实体关系转换器获取被分析图像中的实体对象关系上下文特征信息；
根据实体对象关系上下文特征信息获得被分析图像中的实体对象关系信息。


5.如权利要求1所述的场景图的生成方法，其特征在于，通过人工神经网络的实体关系检测模块获得被分析图像中的实体对象关系信息包括：
利用实体关系转换器获取被分析图像中的实体对象关系上下文特征信息；
利用关系知识提取器提取关系数据集中与对应实体对象相关的关系知识特征信息；
利用常识知识提取器提取常识知识库中与对应实体对象相关的常识知识特征信息；
根据实体对象关系上下文特征信息、关系知识特征信息和常识知识特征信息获...

【专利技术属性】
技术研发人员：宋井宽，郭昱宇，高联丽，
申请(专利权)人：成都井之丽科技有限公司，电子科技大学，
类型：发明
国别省市：四川;51