一种基于优化自适应度量学习的图像匹配方法及系统技术方案

本发明专利技术公开了一种基于优化自适应度量学习的图像匹配方法及系统，提出了一种对类内类间距离可感知的惩罚系数，分别作为两类距离的额外优化系数，构建出优化自适应的损失函数形式。同时，采用分治的算法思想，先对样本进行粗粒度的样本分类，将三元组内的样本的相似关系从二元扩展至四元，细化了不同样本间的空间分布关系，进而提升整个网络对样本分类的准确性，最终实现在不引入新的网络模型的前提下提升图像匹配精准度的效果。升图像匹配精准度的效果。升图像匹配精准度的效果。

【技术实现步骤摘要】
一种基于优化自适应度量学习的图像匹配方法及系统


[0001]本专利技术属于人工智能
，涉及一种图像匹配方法及系统，具体涉及一种基于优化自适应度量学习的图像匹配方法及系统。

技术介绍

[0002]图像匹配是人工智能领域中重要的研究范畴，包括人脸识别，图像检索，行人重识别等在内的众多经典模式识别问题，都可以归结为图像匹配问题。当前大部分的图像匹配方法都强依赖于深度学习框架，而训练策略和损失函数时深度学习中最为重要的内容之一，其设计的合理性和准确性将直接影响到图像的深度特征表达，进而影响图像匹配的最终结果。度量学习是图像匹配中常用的损失函数构建方法，其方法核心是在样本特征空间中，以增加类间样本间距离和缩短类内样本间距离为主要优化方向，实现样本从原始图像空间到特征度量空间的映射，其中三元组损失函数时度量学习中应用最广泛的损失函数之一。此方法能够一定程度上弥补表征学习(Representation Learning)对样本特征表达欠准确的问题，但仍然存在以下两个问题：
[0003]1)低效的优化过程。在反向传播时，三元组损失函数的样本对类内距离和类间距离的梯度是完全一样的，导致当类内距离(或类间距离)处于接近最优状态，而类间距离(或类内)处于欠优化状态时，三元组损失函数难以合理高效地对类内类间距离进行不同学习率的优化，导致整个参数学习过程的效率受限。
[0004]2)决策边界准确性受限。三元组损失函数的优化边界近似平行于(类间距离
‑
类内距离)，同惩罚系数的优化设计可能导致(类间距离r/>‑
类内距离)取最优值时，类间距离和类内距离无法同时达到最优，如类内距离＝0.1、类间距离＝0.6和类内距离＝0.2、类间距离＝0.7，根据三元损失函数定义，二者的优化结果是一样的，但类内距离＝0.1和类间距离＝0.7这两种度量结果的组合显然是更令人满意的类内类间距离优化结果。

技术实现思路

[0005]针对上述问题，本专利提出了一种基于优化自适应度量学习的图像匹配方法及系统。
[0006]本专利技术的方法所采用的技术方案是：一种基于优化自适应度量学习的图像匹配方法，包括以下步骤：
[0007]步骤1：构建优化自适应度量学习网络；
[0008]所述优化自适应度量学习网络，是在Dnet最后的输出层添加一个输出维度为K的全连接层将输出结果变换为1
×
K的向量作为图像的特征向量f
pre
，在此基础上再添加一个输出维度为L的全连接层，输出1
×
L的输出结果向量V
p
；
[0009]步骤2：训练所述优化自适应度量学习网络，获得训练好的优化自适应度量学习网络；
[0010]其中，训练样本三元组记为其中，锚点样本记为正样本为与锚
点标签相同的样本数据记为负样本为与锚点标签不同的样本数据记为
[0011]步骤3：将需要匹配图像输入所述训练好的优化自适应度量学习网络，输出匹配图像。
[0012]本专利技术的系统所采用的技术方案是：一种基于优化自适应度量学习的图像匹配系统，包括以下模块：
[0013]模块1，用于构建优化自适应度量学习网络；
[0014]所述优化自适应度量学习网络，是在Dnet最后的输出层添加一个输出维度为K的全连接层将输出结果变换为1
×
K的向量作为图像的特征向量f
pre
，在此基础上再添加一个输出维度为L的全连接层，输出1
×
L的输出结果向量V
p
；
[0015]模块2，用于训练所述优化自适应度量学习网络，获得训练好的优化自适应度量学习网络；
[0016]其中，训练样本三元组记为其中，锚点样本记为正样本为与锚点标签相同的样本数据记为负样本为与锚点标签不同的样本数据记为
[0017]模块3，用于将需要匹配图像输入所述训练好的优化自适应度量学习网络，输出匹配图像。
[0018]本专利技术相对于现有技术，具有以下有益效果：
[0019](1)本专利技术在图像特征学习阶段，利用二次分类和赋予三元组损失函数惩罚权重的方法，将原始的样本特征度量空间一步细划，并且在训练阶段实现网络参数的高效优化。
[0020](2)本专利技术能够嵌入至绝大多数的深度卷积网络架构中使用，并且可以在不改变原深度网络框架的前提下优化网络参数的优化结果，提升网络匹配准确度，易于推广至多种匹配场景中使用。
[0021](3)本专利技术可以在不引入任何先验知识或额外信息的前提下，使用优化步长自适应的策略，以较少的计算复杂度，提升原匹配框架的匹配效率。
附图说明
[0022]图1为本专利技术实施例的方法流程图。
具体实施方式
[0023]为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0024]度量学习在包括人脸识别，图像检索，目标识别等在内的图像匹配领域中具有重要的作用，主要体现在训练策略的选择和损失函数的构造上，其中基于三元组损失函数的方法时最常用到的度量学习方法之一，其目的是通过优化样本类内类间距离，实现对真实样本特征空间分布的逼近。但现有的三元组损失函数主要面临以下两个方面的不足：低效的优化过程，以及决策边界准确性受限。
[0025]请见图1，本专利技术提供了一种基于优化自适应度量学习的图像匹配方法，包括以下步骤：
[0026]步骤1：构建优化自适应度量学习网络；
[0027]本实施例的优化自适应度量学习网络，是在Dnet最后的输出层添加一个输出维度为K的全连接层将输出结果变换为1
×
K的向量作为图像的特征向量f
pre
，在此基础上再添加一个输出维度为L的全连接层，输出1
×
L的输出结果向量V
p
；
[0028]Dnet表示一个端对端的用以特征学习的深度卷积网络，Dnet可以是自定义的卷积网络，也可以是经典的Resnet，DenseNet，XCeption等深度卷积网络。本专利提出的训练策略和基于优化自适应的损失函数适用于绝大多数深度卷积网络。
[0029]步骤2：训练优化自适应度量学习网络，获得训练好的优化自适应度量学习网络；
[0030]本实施例中，步骤2的具体实现包括以下子步骤：
[0031]步骤2.1：构建图像训练样本集；
[0032]已知图像训练样本集P
i
＝(img
i
,ID
i
)，其中P
i
表示训练集中第i个图像样本，ID
i
∈N
L
是该样本的标签向量，L是样本集中所有样本类别的总数，N是样本总数目；img
i
表示P
i
对应的样本图像；
[0033本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于优化自适应度量学习的图像匹配方法，其特征在于，包括以下步骤：步骤1：构建优化自适应度量学习网络；所述优化自适应度量学习网络，是在Dnet最后的输出层添加一个输出维度为K的全连接层将输出结果变换为1
×
K的向量作为图像的特征向量f
pre
，在此基础上再添加一个输出维度为L的全连接层，输出1
×
L的输出结果向量V
p
；步骤2：训练所述优化自适应度量学习网络，获得训练好的优化自适应度量学习网络；其中，训练样本三元组记为其中，锚点样本记为正样本为与锚点标签相同的样本数据记为负样本为与锚点标签不同的样本数据记为步骤3：将需要匹配图像输入所述训练好的优化自适应度量学习网络，输出匹配图像。2.根据权利要求1所述的基于优化自适应度量学习的图像匹配方法，其特征在于，步骤2的具体实现包括以下子步骤：步骤2.1：构建图像训练样本集；已知图像训练样本集P
i
＝(img
i
,ID
i
)，其中P
i
表示训练集中第i个图像样本，ID
i
∈N
L
是该样本的标签向量，L是样本集中所有样本类别的总数，N是样本总数目；img
i
表示P
i
对应的样本图像；步骤2.2：将图像训练样本集中样本i输入所述优化自适应度量学习网络，输出1
×
L结果向量步骤2.3：利用Softmax公式将归一化为向量归一化为向量步骤2.4：利用公式(2)所示的交叉熵损失函数，通过反向传播的方式对网络参数进行优化；对网络进行预设轮次的循环训练后，得到训练好的优化自适应度量学习网络A；其中y
il
表示第i个样本的真实标签向量中第l维的向量值，是第i样本的输出标签向量第l维的向量值。3.根据权利要求2所述的基于优化自适应度量学习的图像匹配方法，其特征在于：对优化自适应度量学习网络A进行再训练，获得训练好的优化自适应度量学习网络；具体实现包括以下子步骤：步骤2.5：将图像训练样本集中样本i输入所述优化自适应度量学习网络A，输出待匹配图像的特征向量集合记为将样本从图像空间映射至初始特征空间；步骤2.6：使用K
‑
Means聚类方法对进行聚类，使用欧氏距离度量任意两点之间的距离，预设置聚类的类别为W；随机初始化W个样本点，作为W个类簇的类中心，计算若干数据点到中心点的距离，数据点的类别被定义为A
i
当且仅当该数据点与该类别的中心点小于其到其他中心点的距离；利用多维空间类中心计算公式计算新的类别的中心点，循转执行直至每一类类中心不再变化为止，得到聚类结果；
步骤2.7：根据步骤2.6的聚类结果，为每个待匹配图像...

【专利技术属性】
技术研发人员：何政，朱玟谦，叶刚，王中元，傅佑铭，邹勤，
申请(专利权)人：武汉大学，
类型：发明
国别省市：