一种基于半监督学习的图像相似度获取方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种基于半监督学习的图像相似度获取方法，该方法包括：构建图像相似度判断模型，该模型包括分别表示两幅输入图像的

【技术实现步骤摘要】
一种基于半监督学习的图像相似度获取方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于半监督学习的图像相似度获取方法
。

技术介绍

[0002]图像相似度是用来衡量两幅图像之间的相似程度的度量指标，它基于两幅图像的空间位置
、
颜色分布
、
纹理分布等特征，计算并给出一个数值来表示它们之间的相似性程度
。
图像相似度在机器视觉应用领域存在大量的应用实例，如：
[0003]1.
图像检索：通过计算图像相似度，可以根据用户提供的查询图像找到数据库中与之相似的图像，用于图像搜索
、
目标识别和内容推荐等应用
。
[0004]2.
图像分类：用于判断图像是否属于某个类别或属于特定的对象
。
通过计算图像相似度，可以将图像与预定义的类别或模板图像进行比较，从而实现图像分类和识别的任务
。
[0005]3.
目标跟踪：用于判断两个目标局部图像是否属于相同的特定对象
。
通过计算两个局部目标图像的整体以及局部的颜色和纹理特征，进而获取两个目标局部图像的相似度，实现前后帧中相同目标的对齐跟踪
。
[0006]近
20
年来，图像相似度技术一直是机器视觉领域和人工智能领域的研究热点，涌现出很多经典算法，具体算法可以分为以下几类：
[0007](1)
基于传统技术获取图像相似度，该类算法主要基于两幅图像的整体特征和局部特征以及二者的融合特征进行图像相似度计算，常用的算法有颜色分布直方图比较算法
、
纹理分布直方图比较算法
、
感知哈希算法等
。
这些方法在图像相似度方面取得了一定的成效，但是均是基于图像底层特征的计算方法，容易受到图像的位置扰动
、
光线
、
模糊等因素的干扰，图像相似度的鲁棒性较低
。
[0008](2)
基于深度学习技术获取图像相似度，近年来，随着深度学习技术的发展，人工智能技术开始逐渐应用于图像相似度获取领域，借助卷积神经网络
、
注意力神经网络
、transformer
网络等深度学习技术，可以对两幅图像进行显著的差异性特征提取，直接输出两幅图像的相似度，极大的提高了图像相似度的准确率和稳定性
。
当前已出现很多基于深度学习技术获取图像相似度的方法，其中，2‑
channel network
模型是最典型的一种获取图像相似度网络模型，2‑
channel network
模型基于孪生网络
(Siamese
网络
)
进行了3点改进：包括2通道输入图像的改进
、
多尺度输入图像
(Central
‑
surround two
‑
stream network)
的改进
、
采用空间金字塔池化
(Spatial pyramid pooling)
技术的改进等，该模型通过端到端的方式可以直接获取输入的2幅图像相似度
。
尽管2‑
channel network
模型具有较高的准确度
、
较高的鲁棒性等优点，但是也存在一些不足之处，如：对于模糊和光线差别较大的两幅图像的相似度的计算，其准确度和鲁棒性明显降低；对于两幅图像中发生局部区域变化
(
如整体画面较大偏移和画面中的局部目标位置改变等
)
的情形，其准确度和鲁棒性也会明显降低
。

技术实现思路

[0009]为解决上述问题，本专利技术提供一种基于半监督学习的图像相似度获取方法
。
[0010]该方法包括：
[0011]步骤一，构建图像相似度判断模型，该模型包括分别表示两幅输入图像的
image1
层和
image2
层，把输入的两幅图像按照通道维度拼接成一个输出特征图的拼接层，用于提取两幅输入图像的深层特征的主干网络模型，一个通道空间联合注意力模块，一个核尺寸为
3x3
，跨度为
2x2
的卷积层
conv
，一个用于输出两幅图像之间的相似度得分的主训练模块；一个仅在训练阶段使用的辅助训练模块，辅助训练模块能够学习两幅图像中相同区域的图像内容；
[0012]步骤二，准备包括相似度得分标签的成对图像作为训练数据；
[0013]步骤三，定义图像相似度判断模型的整体损失函数
Loss
；
[0014]步骤四，根据整体损失函数
Loss
训练图像相似度判断模型，得到完成训练的图像相似度判断模型；
[0015]步骤五，将需要进行相似度判断的两幅图像组成图像对，输入完成训练的图像相似度判断模型，得到两幅图像的相似度得分
。
[0016]进一步的，所述主干网络模型为残差网络
。
[0017]进一步的，所述主干网络模型为
VGG
卷积神经网络
。
[0018]进一步的，所述主训练模块包括：
[0019]一个核尺寸为
5x5
，跨度为
1x1
的卷积层；
[0020]一个核尺寸为
1x1
，跨度为
1x1
的卷积层
。
[0021]进一步的，所述辅助训练模块的输入特征图为卷积层
conv
的输出特征图，辅助训练模块包括：
upsample0
层
、upsample1
层
、upsample2
层
、upsample3
层
、concat0
层
、concat1
层
、concat2
层
、concat3
层
、conv2_0
层
、conv2_1
层
、conv2_2
层
、conv2_3
层
、P2
层
、P3
层
、P4
层和
P5
层；
[0022]upsample0
层
、upsample1
层
、upsample2
层
、upsample3
层均是上采样率为2的上采样层；
[0023]concat0
层
、concat1
层
、concat2
层
、concat3
层均是拼接层，用于把多个输入特征图按通道维度合并成一个输出特征图；
[0024]conv2_0<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于半监督学习的图像相似度获取方法，其特征在于，包括以下步骤：步骤一，构建图像相似度判断模型，该模型包括分别表示两幅输入图像的
image1
层和
image2
层，把输入的两幅图像按照通道维度拼接成一个输出特征图的拼接层，用于提取两幅输入图像的深层特征的主干网络模型，一个通道空间联合注意力模块，一个核尺寸为
3x3
，跨度为
2x2
的卷积层
conv
，一个用于输出两幅图像之间的相似度得分的主训练模块；一个仅在训练阶段使用的辅助训练模块，辅助训练模块能够学习两幅图像中相同区域的图像内容；步骤二，准备包括相似度得分标签的成对图像作为训练数据；步骤三，定义图像相似度判断模型的整体损失函数
Loss
；步骤四，根据整体损失函数
Loss
训练图像相似度判断模型，得到完成训练的图像相似度判断模型；步骤五，将需要进行相似度判断的两幅图像组成图像对，输入完成训练的图像相似度判断模型，得到两幅图像的相似度得分
。2.
根据权利要求1所述一种基于半监督学习的图像相似度获取方法，其特征在于，所述主干网络模型为残差网络
。3.
根据权利要求1所述一种基于半监督学习的图像相似度获取方法，其特征在于，所述主干网络模型为
VGG
卷积神经网络
。4.
根据权利要求1所述一种基于半监督学习的图像相似度获取方法，其特征在于，所述主训练模块包括：一个核尺寸为
5x5
，跨度为
1x1
的卷积层；一个核尺寸为
1x1
，跨度为
1x1
的卷积层
。5.
根据权利要求1所述一种基于半监督学习的图像相似度获取方法，其特征在于，所述辅助训练模块的输入特征图为卷积层
conv
的输出特征图，辅助训练模块包括：
upsample0
层
、upsample1
层
、upsample2
层
、upsample3
层
、concat0
层
、concat1
层
、concat2
层
、concat3
层
、conv2_0
层
、conv2_1
层
、conv2_2
层
、conv2_3
层
、P2
层
、P3
层
、P4
层和
P5
层；
upsample0
层
、upsample1
层
、upsample2
层
、upsample3
层均是上...

【专利技术属性】
技术研发人员：尼秀明，俞能海，张卡，何佳，
申请(专利权)人：安徽清新互联信息科技有限公司，
类型：发明
国别省市：