场景图生成方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种场景图生成方法及装置、电子设备和存储介质，所述方法包括：根据图像中各对象的区域框确定对象交互区域，根据对象交互区域和各对象的区域框构建所述图像的全连接图；将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图；根据所述子图和各对象的区域框生成所述图像的场景图。在本公开实施例中，由于子图的数量相较于对象交互区域大幅下降，使得生成场景图的计算量小，占用系统的资源小，计算时间短，占用显存的需求小，可以更加高效的生成图像的场景图。

Scene Diagram Generation Method and Device, Electronic Equipment and Storage Media

The present disclosure relates to a scene graph generation method and device, electronic equipment and storage medium. The method includes: determining the object interaction region according to the region frame of each object in the image, constructing the full connection graph of the image according to the object interaction region and the region frame of each object, and fusing the object interaction region whose overlap rate is greater than the overlap threshold to obtain the sub-image of the image; The scene map of the image is generated according to the sub-graph and the area frame of each object. In the present disclosure embodiment, because the number of sub-graphs decreases significantly compared with the object interaction area, the amount of computation needed to generate scene graphs is less, the system resources are less, the computing time is shorter, and the memory requirement is smaller, so the scene graph of the image can be generated more efficiently.

【技术实现步骤摘要】
场景图生成方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种场景图生成方法及装置、电子设备和存储介质。
技术介绍
随着计算机视觉技术的发展，对于图图像识别的需求更加关注图像中物体之间的交互。场景图是将一张图像抽象成一系列物体及物体之间的关系组成的图结构。通过构建场景图，能够得到图像抽象化的表示，并且能够更加高效准确的索引图像。在传统的场景图生成方法中，采用穷举的方式来识别图像中物体之间的关系，由于物体之间的关系随着物体数量的增加成平方关系增长，导致传统的场景图生成方法需要大量的中间运算和显存，无法处理图像中物体较多的情形，在实际应用中存在极大的局限性。
技术实现思路
本公开提出了一种场景图生成技术方案。根据本公开的一方面，提供了一种场景图生成方法，包括：根据图像中各对象的区域框确定对象交互区域，根据对象交互区域和各对象的区域框构建所述图像的全连接图；将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图；根据所述子图和各对象的区域框生成所述图像的场景图。在一种可能的实现方式中，根据图像中各对象的区域框确定对象交互区域，包括：根据图像中各对象的区域框和所述区域框的第一置信度，确定对象交互区域和所述对象交互区域的第二置信度，所述第二置信度根据所述第一置信度计算得到；将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图，包括：根据所述第二置信度将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图。在一种可能的实现方式中，根据所述子图和各对象的区域框生成所述图像的场景图，包括：将所述子图进行兴趣区域池化处理，得到所述子图的子图特征，将各对象的区域框进行兴趣区域池化处理，得到各对象的对象特征；根据所述子图的子图特征和各对象的对象特征得到各所述对象之间的关联关系；根据各所述对象之间的关联关系和各所述对象生成所述图像的场景图。在一种可能的实现方式中，根据所述子图的子图特征和各对象的对象特征得到各所述对象之间的关联关系，包括：根据所述子图的子图特征更新各对象的对象特征，得到各对象的对象空间特征；根据各对象的对象空间特征、所述子图的子图特征得到各对象之间的关联关系。在一种可能的实现方式中，根据所述子图的子图特征更新各对象的对象特征，得到各对象的对象空间特征，包括：将对应目标对象的子图特征进行聚合，得到与所述目标对象对应的第一聚合特征，所述目标对象为任一所述对象；根据所述第一聚合特征和所述目标对象的对象特征，得到注意力向量；以所述注意力向量为权重，对所述第一聚合特征进行加权求和，得到第一待融合特征；根据所述第一待融合特征更新所述目标对象的对象特征，得到所述目标对象的对象空间特征。在一种可能的实现方式中，根据所述子图的子图特征和各对象的对象特征得到各所述对象之间的关联关系，包括：根据各对象的对象特征更新所述子图的子图特征的不同区域，得到所述子图的子图加权特征；根据各对象的对象特征、所述子图的子图加权特征得到各对象之间的关联关系。在一种可能的实现方式中，根据各对象的对象特征更新所述子图的子图特征的不同区域，得到所述子图的子图加权特征，包括：将对应目标子图特征的对象特征进行聚合，得到与所述目标子图特征对应的第二聚合特征，所述目标子图特征为任一子图特征；以所述对象特征为卷积核对所述目标子图特征进行卷积运算，得到注意力图；根据所述注意力图为权重对所述第二融合特征进行聚合运算，得到所述第二待融合特征；根据所述第二待融合特征更新所述目标子图特征的不同区域，得到所述子图的子图加权特征。在一种可能的实现方式中，所述对象包括主语对象和宾语对象，根据所述子图的子图特征和各对象的对象特征得到各所述对象之间的关联关系，包括：以所述主语对象的对象特征为卷积核，对所述子图的子图特征进行卷积运算，得到主语待融合特征；以所述宾语对象的对象特征为卷积核，对所述子图的子图特征进行卷积运算，得到宾语待融合特征；根据所述主语待融合特征、所述宾语待融合特征和所述子图的子图特征，得到各所述对象之间的关联关系。在一种可能的实现方式中，根据所述主语待融合特征、所述宾语待融合特征和所述子图的子图特征，得到各所述对象之间的关联关系，包括：根据所述主语待融合特征在所述子图的子图特征中对应的位置，确定所述主语待融合特征的权重；根据所述宾语待融合特征在所述子图的子图特征中对应的位置，确定所述宾语待融合特征的权重；将所述主语待融合特征、所述宾语待融合特征和所述子图的子图特征进行全连接处理，得到与所述主语对象和所述宾语对象关联的谓语识别结果。根据本公开的一方面，提供了一种场景图生成装置，包括：全连接图生成模块，用于根据图像中各对象的区域框确定对象交互区域，根据对象交互区域和各对象的区域框构建所述图像的全连接图；子图生成模块，用于将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图；场景图生成模块，用于根据所述子图和各对象的区域框生成所述图像的场景图。在一种可能的实现方式中，所述全连接图生成模块，包括：置信度子模块，用于根据图像中各对象的区域框和所述区域框的第一置信度，确定对象交互区域和所述对象交互区域的第二置信度，所述第二置信度根据所述第一置信度计算得到；所述子图生成模块，包括：第一子图生成子模块，用于根据所述第二置信度将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图。在一种可能的实现方式中，所述场景图生成模块，包括：特征获取子模块，用于将所述子图进行兴趣区域池化处理，得到所述子图的子图特征，将各对象的区域框进行兴趣区域池化处理，得到各对象的对象特征；关联关系获取子模块，用于根据所述子图的子图特征和各对象的对象特征得到各所述对象之间的关联关系；场景图生成子模块，用于根据各所述对象之间的关联关系和各所述对象生成所述图像的场景图。在一种可能的实现方式中，关联关系获取子模块，包括：对象空间特征获取单元，用于根据所述子图的子图特征更新各对象的对象特征，得到各对象的对象空间特征；第一关联关系获取单元，用于根据各对象的对象空间特征、所述子图的子图特征得到各对象之间的关联关系。在一种可能的实现方式中，所述对象空间特征获取单元，用于：将对应目标对象的子图特征进行聚合，得到与所述目标对象对应的第一聚合特征，所述目标对象为任一所述对象；根据所述第一聚合特征和所述目标对象的对象特征，得到注意力向量；以所述注意力向量为权重，对所述第一聚合特征进行加权求和，得到第一待融合特征；根据所述第一待融合特征更新所述目标对象的对象特征，得到所述目标对象的对象空间特征。在一种可能的实现方式中，关联关系获取子模块，包括：子图加权特征获取单元，用于根据各对象的对象特征更新所述子图的子图特征的不同区域，得到所述子图的子图加权特征；第二关联关系获取单元，用于根据各对象的对象特征、所述子图的子图加权特征得到各对象之间的关联关系。在一种可能的实现方式中，所述子图加权特征获取单元，用于：将对应目标子图特征的对象特征进行聚合，得到与所述目标子图特征对应的第二聚合特征，所述目标子图特征为任一子图特征；以所述对象特征为卷积核对所述目标子图特征进行卷积运算，得到注意力图；根据所述注意力图为权重对所述第二融合特征进行聚合运算，得到所述第二待融合特征；根据所述第本文档来自技高网...

【技术保护点】
1.一种场景图生成方法，其特征在于，所述方法包括：根据图像中各对象的区域框确定对象交互区域，根据对象交互区域和各对象的区域框构建所述图像的全连接图；将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图；根据所述子图和各对象的区域框生成所述图像的场景图。

【技术特征摘要】
1.一种场景图生成方法，其特征在于，所述方法包括：根据图像中各对象的区域框确定对象交互区域，根据对象交互区域和各对象的区域框构建所述图像的全连接图；将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图；根据所述子图和各对象的区域框生成所述图像的场景图。2.根据权利要求1所述的方法，其特征在于，根据图像中各对象的区域框确定对象交互区域，包括：根据图像中各对象的区域框和所述区域框的第一置信度，确定对象交互区域和所述对象交互区域的第二置信度，所述第二置信度根据所述第一置信度计算得到；将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图，包括：根据所述第二置信度将重叠率大于重叠阈值的对象交互区域进行融合，得到所述图像的子图。3.根据权利要求1或2所述的方法，其特征在于，根据所述子图和各对象的区域框生成所述图像的场景图，包括：将所述子图进行兴趣区域池化处理，得到所述子图的子图特征，将各对象的区域框进行兴趣区域池化处理，得到各对象的对象特征；根据所述子图的子图特征和各对象的对象特征得到各所述对象之间的关联关系；根据各所述对象之间的关联关系和各所述对象生成所述图像的场景图。4.根据权利要求3所述的方法，其特征在于，根据所述子图的子图特征和各对象的对象特征得到各所述对象之间的关联关系，包括：根据所述子图的子图特征更新各对象的对象特征，得到各对象的对象空间特征；根据各对象的对象空间特征、所述子图的子图特征得到各对象之间的关联关系。5.一种场景图生成装置，其特征在于，所述装置包括：全连接图生成模块，用于根据图像中各对象的区域框确定对象交互区域，根据对象交互区域和各对象的区域框构建所述图像的全连接图；子图生成...

【专利技术属性】
技术研发人员：李怡康，欧阳万里，周博磊，石建萍，张超，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11