图像语义相似度分析方法和同语义图像检索方法技术

本申请涉及智慧安防、智慧交通和智慧城市等领域，提供了一种图像语义相似度分析方法和同语义图像检索方法。所述图像语义相似度分析方法包括：分别获取第一图像和第二图像各自对应的图像区域特征，对各图像区域特征分别进行通道注意力增强处理，得到各自对应的增强区域特征，通过交叉注意力对各增强区域特征进行对齐处理，得到第一对齐区域特征以及第二对齐区域特征，基于第一对齐区域特征和第二对齐区域特征，对第一图像与第二图像进行语义相似度分析，得到图像语义相似度分析结果。采用上述方法，能够提高图像语义相似度分析结果的准确性，便于在同语义图像检索过程中，确保同语义图像检索结果的准确性。图像检索结果的准确性。图像检索结果的准确性。

【技术实现步骤摘要】
图像语义相似度分析方法和同语义图像检索方法


[0001]本申请涉及人工智能
，特别是涉及一种图像语义相似度分析方法、装置、计算机设备、存储介质和计算机程序产品，以及一种同语义图像检索方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展，出现同语义图像检索技术，同语义图像检索是指给定一张图片，从数据库中搜索出和这张图片语义最相近，而外观不一定相近的图片。
[0003]传统的图像检索方法往往致力于寻找外观上最相近的图片，当图片中的语义较为简单时，如只有单一前景物体，有一定的效果，但当图片中的语义较为复杂时，如出现多个人或物体的交互时，传统方法无法准确地分析图像之间的语义相似度，导致检索到的同语义图像的准确度不高。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够准确地计算图像之间的语义相似度的图像语义相似度分析方法、装置、计算机设备、存储介质和计算机程序产品以及同语义图像检索方法、装置、计算机设备、存储介质和计算机程序产品。
[0005]一种图像语义相似度分析方法，所述方法包括：
[0006]分别获取第一图像和第二图像各自对应的图像区域特征，所述图像区域特征用于表征相应图像中的每一图像区域以及每一图像区域在相应图像中的位置；
[0007]对各图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征；
[0008]通过交叉注意力对各所述增强区域特征进行对齐处理，得到所述第一图像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征；
[0009]基于所述第一对齐区域特征和所述第二对齐区域特征，对所述第一图像与所述第二图像进行语义相似度分析，得到图像语义相似度分析结果。
[0010]一种图像语义相似度分析装置，所述装置包括：
[0011]图像区域特征获取模块，用于分别获取第一图像和第二图像各自对应的图像区域特征，所述图像区域特征用于表征相应图像中的每一图像区域以及每一图像区域在相应图像中的位置；
[0012]区域特征增强模块，用于对各图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征；
[0013]区域特征对齐模块，用于通过交叉注意力对各所述增强区域特征进行对齐处理，得到所述第一图像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征；
[0014]相似度分析模块，用于基于所述第一对齐区域特征和所述第二对齐区域特征，对所述第一图像与所述第二图像进行语义相似度分析，得到图像语义相似度分析结果。
[0015]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0016]分别获取第一图像和第二图像各自对应的图像区域特征，所述图像区域特征用于表征相应图像中的每一图像区域以及每一图像区域在相应图像中的位置；
[0017]对各图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征；
[0018]通过交叉注意力对各所述增强区域特征进行对齐处理，得到所述第一图像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征；
[0019]基于所述第一对齐区域特征和所述第二对齐区域特征，对所述第一图像与所述第二图像进行语义相似度分析，得到图像语义相似度分析结果。
[0020]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0021]分别获取第一图像和第二图像各自对应的图像区域特征，所述图像区域特征用于表征相应图像中的每一图像区域以及每一图像区域在相应图像中的位置；
[0022]对各图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征；
[0023]通过交叉注意力对各所述增强区域特征进行对齐处理，得到所述第一图像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征；
[0024]基于所述第一对齐区域特征和所述第二对齐区域特征，对所述第一图像与所述第二图像进行语义相似度分析，得到图像语义相似度分析结果。
[0025]一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
[0026]分别获取第一图像和第二图像各自对应的图像区域特征，所述图像区域特征用于表征相应图像中的每一图像区域以及每一图像区域在相应图像中的位置；
[0027]对各图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征；
[0028]通过交叉注意力对各所述增强区域特征进行对齐处理，得到所述第一图像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征；
[0029]基于所述第一对齐区域特征和所述第二对齐区域特征，对所述第一图像与所述第二图像进行语义相似度分析，得到图像语义相似度分析结果。
[0030]上述图像语义相似度分析方法、装置、计算机设备、存储介质和计算机程序产品，通过分别获取第一图像和第二图像各自对应的图像区域特征，对各图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征，通过交叉注意力对各增强区域特征进行对齐处理，得到第一图像对应的第一对齐区域特征以及第二图像对应的第二对齐区域特征，基于第一对齐区域特征和第二对齐区域特征，对第一图像与第二图像进行语义相似度分析，得到图像语义相似度分析结果。整个过程中，用图像区域特征表征相应图像中的每一图像区域以及每一图像区域在相应图像中的位置，引入了每一图像区域的位置特征，通过进行通道注意力增强和交叉对齐处理，使得图像区域特征刻画了更为丰富的信息，通过使得图像相似度的计算过程能够捕捉更为复杂的关系，从而提高图像语义
相似度分析结果的准确性。
[0031]一种同语义图像检索方法，所述方法包括：
[0032]以基准图像和候选图像分别为第一图像和第二图像，基于上述图像语义相似度分析方法，分别得到所述每一候选图像与所述基准图像之间的图像语义相似度；
[0033]基于所述图像语义相似度，从所述候选图像中筛选出符合图像语义相似度条件的目标图像作为所述基准图像的同语义图像。
[0034]一种同语义图像检索装置，所述装置包括：
[0035]图像语义相似度分析模块，用于以基准图像和候选图像分别为第一图像和第二图像，基于上述图像语义相似度分析装置，分别得到所述每一候选图像与所述基准图像之间的图像语义相似度；
[0036]同语义图像筛选模块，用于基于所述图像语义相似度，从所述候选图像筛选出符合图像语义相似度条件的目标图像作为所述基准图像的同语义图像。
[0037]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0038]以基准图像和候选图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像语义相似度分析方法，其特征在于，所述方法包括：分别获取第一图像和第二图像各自对应的图像区域特征，所述图像区域特征用于表征相应图像中的每一图像区域以及每一图像区域在相应图像中的位置；对各所述图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征；通过交叉注意力对各所述增强区域特征进行对齐处理，得到所述第一图像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征；基于所述第一对齐区域特征和所述第二对齐区域特征，对所述第一图像与所述第二图像进行语义相似度分析，得到图像语义相似度分析结果。2.根据权利要求1所述的方法，其特征在于，所述分别获取第一图像和第二图像各自对应的图像区域特征，包括：分别提取第一图像和第二图像的初始区域特征；针对每一初始区域特征，基于所针对的初始区域特征所表征的各图像区域，确定每一图像区域中的目标点位置所构成的位置向量；将所述位置向量嵌入所针对的初始区域特征，分别得到所述第一图像和所述第二图像各自对应的图像区域特征。3.根据权利要求2所述的方法，其特征在于，所述基于所针对的初始区域特征所表征的各图像区域，确定每一图像区域中的目标点位置所构成的位置向量，包括：基于所述初始区域特征所表征的每一图像区域，分别确定每一图像区域中的目标点在所属图像中的坐标；按照所述初始区域特征的维度数量，对每一所述坐标分别进行位置编码，得到与所述初始区域特征具有相同维度数量的位置向量。4.根据权利要求1所述的方法，其特征在于，所述对各所述图像区域特征分别进行通道注意力增强处理，得到各图像区域特征各自对应的增强区域特征，包括：针对每一图像，获取与所针对图像的图像区域特征相匹配的通道放缩向量；将所述每一图像区域特征与匹配的通道放缩向量进行点乘处理，得到每一图像各自对应的增强区域特征。5.根据权利要求4所述的方法，其特征在于，所述针对每一图像，获取与所针对图像的图像区域特征相匹配的通道放缩向量，包括：针对每一图像，按照所针对图像的图像区域特征的特征维度，对相应的图像区域特征按特征维度进行均值处理，得到压缩向量；对所述压缩向量进行线性变换和映射处理，得到通道放缩向量。6.根据权利要求1所述的方法，其特征在于，所述通过交叉注意力对各所述增强区域特征进行对齐处理，得到所述第一图像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征，包括：将所述第一图像对应的增强区域特征与所述第二图像对应的增强区域特征进行联结，得到联结特征；基于注意力网络，对所述联结特征进行对齐处理，得到联结对齐特征；基于所述联结特征的联结方式，对所述联结对齐特征进行特征拆分，得到所述第一图
像对应的第一对齐区域特征以及所述第二图像对应的第二对齐区域特征。7.根据权利要求6所述的方法，其特征在于，所述基于注意力网络，对所述联结特征进行对齐处理，得到联结对齐特征，包括：基于所述联结特征，确定点积注意力网络的输入特征向量以及计算注意力权重的权重特征向量；将所述输入特征向量和所述权重特征向量输入所述点积注意力网络进行对齐处理；所述点积注意力网络的输出数据为联结对齐特征。8.根据权利要求7所述的方法，其特征在于，所述点积注意力网络为多头点积注意力网络；所述基于所述联结特征，确定点积注意力网络的输入特征向量以及计算注意力权重的权重特征向量，包括：获取所述多头点积注意力网络的...

【专利技术属性】
技术研发人员：周佳乐，潘兴甲，鄢科，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：