图像全局表示的特征向量确定方法、图像检索方法和装置制造方法及图纸

本发明专利技术公开了图像全局表示的特征向量确定方法、图像检索方法和装置，由于本发明专利技术中计算模型的参数之梯度作为特征，并确定出每个梯度组成的四阶的第二张量，基于第二张量中每个位置的二阶张量中每个梯度，确定出权重值矩阵中对应位置的权重值，并将特征值矩阵进行特征聚合为图像在该卷积层的全局表示的第一特征向量，对每个卷积层对应的第一特征向量进行拼接处理，得到目标图像的全局表示的目标特征向量，从而能基于图像全局表示的特征向量实现图像检索。像检索。像检索。

【技术实现步骤摘要】
图像全局表示的特征向量确定方法、图像检索方法和装置


[0001]本专利技术涉及图像分析和图像检索
，尤其涉及图像全局表示的特征向量确定方法、图像检索方法和装置。

技术介绍

[0002]细粒度图像检索在学术与工业界都有着广泛的应用，例如在濒危野生动植物的保护以及电商网站的商品检索等领域都能采用细粒度图像检索技术，并且人脸验证以及行人重识别等应用场景都可以被看做广义的细粒度图像检索问题。
[0003]但是基于现有技术确定的图像全局表示的特征向量进行图像检索的准确度较低，因此如何确定出新的图像全局表示的特征向量，提高图像检索的准确度就成为亟待解决的技术问题。

技术实现思路

[0004]本专利技术提供了一种图像全局表示的特征向量确定方法、图像检索方法、装置、设备和介质，用以解决现有技术中确定的图像全局表示的特征向量进行图像检索的准确度较低的问题。
[0005]本专利技术提供了一种图像全局表示的特征向量确定方法，所述方法包括：
[0006]获取目标图像并输入到特征提取模型，得到输出的第一特征图；根据所述第一特征图中每个位置的像素值，转化得到三阶的第一张量，将所述第一张量输入到网络模型池化层进行池化处理，得到输出的目标向量；根据所述目标向量中每个元素的元素值，确定目标损失值；
[0007]针对所述特征提取模型中设定的每个卷积层，基于所述目标损失值和该卷积层的每个通道的参数矩阵中每一行每一列的参数的位置，确定四阶的第二张量中对应位置的每个梯度，基于所述第二张量中每个位置的二阶张量中每个梯度，确定权重值矩阵中对应位置的权重值，计算所述权重值矩阵中每一列的均值得到该卷积层的全局表示的第一特征向量；
[0008]对所述每个卷积层对应的第一特征向量进行拼接处理，得到所述目标图像的全局表示的目标特征向量。
[0009]进一步地，所述权重值矩阵为二阶矩阵、所述第一特征向量和所述目标特征向量均为行向量。
[0010]进一步地，所述基于所述第二张量中的每个位置的二阶张量的每个梯度，确定权重值矩阵中对应位置的权重值包括：
[0011]针对所述第二张量中每个位置的二阶张量，若该二阶张量的行和列均为预设数值，则确定该二阶张量中的梯度的绝对值确定为对应位置的权重值，若该二阶张量的行或列非预设数值，则确定该二阶张量中的最大梯度和最小梯度的差值，并确定所述差值与梯度的标准差值的和值为对应位置的权重值，根据所述每个位置的二阶张量对应的权重值组
成权重值矩阵。
[0012]进一步地，所述根据所述第一特征图中每个位置的像素值，转化得到三阶的第一张量包括：
[0013]针对所述第一特征图中每张通道特征图，根据该通道特征图中每个像素点的位置，将每个像素点的像素值作为该通道特征图的矩阵中对应位置的元素值；
[0014]根据所述每张通道特征图组成所述特征图的排列顺序，在垂直于所述每张通道特征图对应的矩阵所在平面的方向，将所述每张通道特征图对应的矩阵按所述排列顺序进行排列，得到所述第一特征图转化得到三阶的第一张量。
[0015]进一步地，所述根据所述第一特征图中每个位置的像素值，转化得到三阶的第一张量之后，所述将所述第一张量输入到网络模型池化层进行池化处理，得到输出的目标向量之前，所述方法还包括：
[0016]根据所述第一张量中的每个矩阵，确定所述每个矩阵的和矩阵，对所述和矩阵进行二值化处理，得到二值化处理后的布尔矩阵；
[0017]对所述布尔矩阵进行复制，并在垂直与所述布尔矩阵所在平面方向进行排列，得到与所述第一张量大小相同的三阶的第三张量；
[0018]对所述第一张量和所述第三张量点对点相乘得到更新后的第一张量。
[0019]进一步地，所述将所述第一张量输入到网络模型池化层进行池化处理，得到输出的目标向量包括：
[0020]将更新后的第一张量输入到网络模型池化层，对所述更新后的第一张量进行全局平均池化处理，得到全局平均池化处理后的第一向量，对所述更新后的第一张量进行全局最大池化处理，得到全局最大池化处理后的第二向量；
[0021]对所述第一向量和所述第二向量进行拼接处理，将拼接后的向量作为目标向量。
[0022]进一步地，所述对所述更新后的第一张量进行全局平均池化处理，得到全局平均池化处理后的第一向量之后，所述对所述更新后的第一张量进行全局最大池化处理，得到全局最大池化处理后的第二向量之前，所述方法还包括：
[0023]根据所述布尔矩阵中元素值为设定数值的元素点的第一数量、所述每张通道特征图中包含的元素点的第二数量，确定所述第二数量与所述第一数量的比值，将所述比值与所述第一向量相乘得到更新后的第一向量。
[0024]进一步地，所述对所述每个卷积层对应的第一特征向量进行拼接处理之前，所述方法还包括：
[0025]对所述每个卷积层对应的第一特征向量进行L2归一化处理，得到归一化后的每个第一特征向量并对归一化后的每个第一特征向量进行拼接处理。
[0026]相应地，本专利技术提供了一种图像检索方法，所述方法包括：
[0027]对待检索图像和检索库中每张图像执行上述图像全局表示的特征向量确定方法的步骤，得到所述待检索图像的第二特征向量和所述每张图像的每个第三特征向量；
[0028]根据所述第二特征向量和所述每个第三特征向量，确定所述第二特征向量和所述每个第三特征向量的相似度，并按相似度从大到小的顺序将所述每张图像排序。
[0029]相应地，本专利技术提供了一种图像全局表示的特征向量确定装置，所述装置包括：
[0030]获取模块，用于获取目标图像并输入到特征提取模型，得到输出的第一特征图；
[0031]确定模块，用于根据所述第一特征图中每个位置的像素值，转化得到三阶的第一张量，将所述第一张量输入到网络模型池化层进行池化处理，得到输出的目标向量；根据所述目标向量中每个元素的元素值，确定目标损失值；针对所述特征提取模型中设定的每个卷积层，基于所述目标损失值和该卷积层的每个通道的参数矩阵中每一行每一列的参数的位置，确定四阶的第二张量中对应位置的每个梯度，基于所述第二张量中每个位置的二阶张量中每个梯度，确定权重值矩阵中对应位置的权重值，计算所述权重值矩阵中每一列的均值得到该卷积层的全局表示的第一特征向量；对所述每个卷积层对应的第一特征向量进行拼接处理，得到所述目标图像的全局表示的目标特征向量。
[0032]进一步地，所述确定模块，具体用于针对所述第二张量中每个位置的二阶张量，若该二阶张量的行和列均为预设数值，则确定该二阶张量中的梯度的绝对值确定为对应位置的权重值，若该二阶张量的行或列非预设数值，则确定该二阶张量中的最大梯度和最小梯度的差值，并确定所述差值与梯度的标准差值的和值为对应位置的权重值，根据所述每个位置的二阶张量对应的权重值组成权重值矩阵。
[0033]进一步地，所述确定模块，具体用于针对所述第一特征图中每张通道特征图，根据该通道特征图中每个像素点的位置，将每个像素点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像全局表示的特征向量确定方法，其特征在于，所述方法包括：获取目标图像并输入到特征提取模型，得到输出的第一特征图；根据所述第一特征图中每个位置的像素值，转化得到三阶的第一张量，将所述第一张量输入到网络模型池化层进行池化处理，得到输出的目标向量；根据所述目标向量中每个元素的元素值，确定目标损失值；针对所述特征提取模型中设定的每个卷积层，基于所述目标损失值和该卷积层的每个通道的参数矩阵中每一行每一列的参数的位置，确定四阶的第二张量中对应位置的每个梯度，基于所述第二张量中每个位置的二阶张量中每个梯度，确定权重值矩阵中对应位置的权重值，计算所述权重值矩阵中每一列的均值得到该卷积层的全局表示的第一特征向量；对所述每个卷积层对应的第一特征向量进行拼接处理，得到所述目标图像的全局表示的目标特征向量。2.根据权利要求1所述的方法，其特征在于，所述权重值矩阵为二阶矩阵、所述第一特征向量和所述目标特征向量均为行向量。3.根据权利要求1所述的方法，其特征在于，所述基于所述第二张量中的每个位置的二阶张量的每个梯度，确定权重值矩阵中对应位置的权重值包括：针对所述第二张量中每个位置的二阶张量，若该二阶张量的行和列均为预设数值，则确定该二阶张量中的梯度的绝对值确定为对应位置的权重值，若该二阶张量的行或列非预设数值，则确定该二阶张量中的最大梯度和最小梯度的差值，并确定所述差值与梯度的标准差值的和值为对应位置的权重值，根据所述每个位置的二阶张量对应的权重值组成权重值矩阵。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图中每个位置的像素值，转化得到三阶的第一张量包括：针对所述第一特征图中每张通道特征图，根据该通道特征图中每个像素点的位置，将每个像素点的像素值作为该通道特征图的矩阵中对应位置的元素值；根据所述每张通道特征图组成所述特征图的排列顺序，在垂直于所述每张通道特征图对应的矩阵所在平面的方向，将所述每张通道特征图对应的矩阵按所述排列顺序进行排列，得到所述第一特征图转化得到三阶的第一张量。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图中每个位置的像素值，转化得到三阶的第一张量之后，所述将所述第一张量输入到网络模型池化层进行池化处理，得到输出的目标向量之前，所述方法还包括：根据所述第一张量中的每个矩阵，确定所述每个矩阵的和矩阵，对所述和矩阵进行二值化处理，得到二值化处理后的布尔矩阵；对所述布尔矩阵进行复制，并在垂直与所述布尔矩阵所在平面方向进行排列，得到与所述第一张量大小相同的三阶的第三张量；对所述第一张量和所述第三张量点对点相乘得到更新后的第一张量。6.根据权利要求5所述的方法，其特征在于，所述将所述第一张量输入到网络模型池化层进行池化处理，得到输出的目标向量包括：将更新后的第一张量输入到网络模型池化层，对所述更新后的第一张量进行全局平均池化处理，得到全局平均池化处理后的第一向量，对所述更新后的第一张量进行全局最大
池化处理，得到全局最大池化处理后的第二向量；对所述第一向量和所述第二向量进行拼接处理，将拼接后的向量作为目标向量。7.根据权利要求6所述的方法，其特征在于，所述对所述更新后的第一张量进行全局平均池化处理，得到全局平均...

【专利技术属性】
技术研发人员：于涵，唐邦杰，潘华东，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：