一种基于Triplet深度神经网络结构的特征匹配方法组成比例

一种基于Triplet深度神经网络结构的特征匹配方法，属于图像处理技术领域。本发明专利技术的目的在于解决现有技术的SIFT及基于深度学习的TFeat、HardNet等特征描述方法存在匹配性能较差的问题。本发明专利技术设计了一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，可得到性能优异的特征描述，用高斯分布描述匹配特征对和不匹配特征对的距离分布，根据减小特征匹配误差等价于减小两个匹配特征对距离分布重叠面积这一原则，得出对训练样本均值和方差做约束的新型损失函数。实验结果表明，与现有特征描述方法相比，本发明专利技术在匹配性能上得到了提升。

【技术实现步骤摘要】
一种基于Triplet深度神经网络结构的特征匹配方法
本专利技术属于图像处理
，涉及一种基于深度学习的图像特征匹配方法。
技术介绍
在计算机视觉应用中，计算良好的特征描述是图像匹配、目标定位、三维重建等的一个重要的组成部分，对最终算法的准确性起了非常关键的作用。在过去的十几年里，计算特征描述一直是图像处理领域的研究热点。一般来说，计算特征描述可以分为人工设计和基于学习的方法。利用人工设计的方法进行特征提取时，很难做到综合考虑各种因素从而得到有效的描述；在复杂情况下很难达到良好的性能，而且调节需要大量的时间。采用基于学习的方法来计算特征描述，可以自动学习良好的特征，免去人工设计过程。传统的SIFT及基于深度学习的TFeat、HardNet等特征描述方法在匹配性能上较差，影响图像匹配的应用价值。
技术实现思路
本专利技术要解决的技术问题是：本专利技术的目的在于解决现有技术的SIFT及基于深度学习的TFeat、HardNet等特征描述方法存在匹配性能较差的问题，提出一种基于Triplet深度神经网络结构的特征匹配方法。本专利技术为解决上述技术问题采取的技术方案是：一种基于Triplet深度神经网络结构的特征匹配方法，所述方法包括如下步骤：步骤一：训练基于Triplet结构的深度神经网络Triplet结构的深度神经网络输入为三元组，该三元组由三个样本构成：一个是从训练数据集中随机选一个样本，该样本称为参考样本，然后再随机选取一个和参考样本属于同一类的样本和不同类的样本，这两个样本分别称为同类样本和异类样本；三个样本构成一个三元组，通过损失函数来训练整个网络；基于Triplet结构的深度神经网络训练过程如下：从训练数据库中生成三元组，其中表示参考样本，表示同类样本，表示异类样本，λ表示训练间隔；训练一个深度神经网络，由网络输出得到每组样本相应的特征表达，分别记为：和让和特征表达之间的距离尽可能小，而和的特征表达之间的距离尽可能大，并且要让与之间的距离和与之间的距离之间有一个最小间隔λ；该不等式可表示成下列形式：该不等式定义了同类样本和异类样本之间的距离关系，即：所有同类样本之间的距离加上最小间隔λ，要小于异类样本之间的距离；当距离关系不满足上述不等式时，可通过求解下列损失函数：+表示[]内的值大于零的时候，取该值为误差，小于零的时候，误差为零；根据对正负匹配对距离分布的分析，对正负匹配对的均值和方差做约束以减小重叠区域面积，其中均值采用如下约束：其中m是两分布均值之间的最小距离的间隔因子，μneg表示负匹配对的距离均值，μpos表示正匹配对的距离均值；对分布的方差做如下约束：Lvar＝σpos+σneg(4)其中σpos表示正匹配对的方差，σneg表示负匹配对的方差；将三元组误差函数、均值约束、方差约束结合起来得到最终损失函数：Lloss＝Ltri+Lmean+Lvar(5)利用损失函数Lloss分别对和求偏导，可分别计算出Lloss在和方向的梯度，并根据反向传播算法调节深度神经网络的参数直至网络收敛到稳定状态为止；步骤二：图像的特征点检测对目标图像和待匹配图像分别进行特征点检测，利用FAST(FeaturesfromAcceleratedSegmentTest)算法做图像特征点检测：先通过图像上各像素点与其对应圆周上像素的差值是否满足设定阈值来快速筛选出可能的兴趣点，然后，使用ID3(lterativeDichotomiser3)算法训练一个决策树，将特征点圆周上的16个像素输入决策树中，进一步筛选出最优的特征点；使用非极大值抑制(NMS)算法去除局部密集特征点以减小局部特征点聚集；计算每一个特征点的响应大小，对临近特征点比较，保留响应值较大的特征点，删除其余特征点；分别得到目标图像、待匹配图像的特征点；步骤三：用训练好的神经网络计算目标图像、待匹配图像上各特征点的特征描述子，以每个特征点为中心提取一个分辨率为32*32大小的正方形图像块，将其输入到训练好的深度神经网络中，得到输出为128维的特征描述子；步骤四：使用高维数据的近似最近邻(FLANN)算法进行快速匹配利用FLANN算法计算目标图像上每个特征点与待匹配图像上所有特征点的128维特征描述子的欧式距离以实现快速匹配，欧式距离越小，则相似度越高，当欧式距离小于等于设定的阈值时，判定为匹配成功；FLANN算法是一种利用k-d树实现快速最近邻搜索算法，适用于高维特征的快速匹配。该专利技术的特征点匹配是利用FLANN算法，通过计算两组特征点的128维特征描述子的欧式距离实现的。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功；步骤五：计算仿射变换矩阵，完成特征匹配由于特征匹配的结果中往往包含一些错误的匹配对，在特征匹配的基础上，利用随机抽样一致性(RANSAC)算法计算两幅图片的仿射变换矩阵。在步骤四中，征点匹配是利用FLANN算法，通过计算两组特征点的128维特征描述子的欧式距离实现，具体过程为：(1)计算待匹配的特征点各维度的方差，选取方差最大一维将特征集合划分成两部分，再在各子集重复相同的而过程，以此方式建立k-d树保存特征；(2)做特征匹配时，进行基于k-d树的特征搜索，通过二叉查找和回溯操作找到最近邻匹配。步骤五的具体实现过程为：(1)从目标图像、待匹配图像的所有特征匹配结果中每次随机选出3组不共线点对，计算仿射变换矩阵，并测试其他所有匹配结果在此仿射变换矩阵下的误差，并统计小于设定误差阈值的匹配数目；(2)重复第(1)步m次，并从最终结果中选择匹配数目最多的一组参数作为最终的仿射变换矩阵。本专利技术的有益效果是：本专利技术方法用高斯分布近似匹配特征对(正匹配对)与不匹配特征对(负匹配对)的距离分布，通过分析，得到两个匹配特征对重叠区域面积与两个分布统计信息的关系。由于两个匹配特征对距离分布中的重叠区域是容易产生误判的部分，即在这一区间的距离无法准确判定成匹配或者不匹配，因此减小这一混淆区域有利于提高特征度量时的准确性。为减小两个匹配特征对距离分布的重叠区域，本专利技术提出了一个新的损失函数，结合Triplet深度神经网络，可得到性能优异的特征描述，提高图像的特征匹配准确度。本专利技术所述的方法弥补了图像匹配中人工设计特征描述时难于考虑各种综合因素、需要大量时间的不足。通过提出的一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，可以自动学习到性能优异的图像特征点的特征描述，可大大提高图像的匹配准确度，可完全应用于实际的图像匹配中。本专利技术提出的基于Triplet深度神经网络结构的特征匹配方法，设计了一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，可得到性能优异的特征描述。该方法用高斯分布描述匹配特征对和不匹配特征对的距离分布，根据减小特征匹配误差等价于减小两个匹配特征对距离分布重叠面积这一原则，得出对训练样本均值和方差做约束的新型损失函数。实验结果表明，与传统SIFT及基于深度学习的TFeat、HardNet等特征描述方法相比，所提出的基于Triplet深度神经网络结构的特征描述方法，在匹配性能上得到了提升，在实际的图像匹配上具有一定的应用价值。经测试，本专利技术训练的基于Triplet结构本文档来自技高网...

【技术保护点】
1.一种基于Triplet深度神经网络结构的特征匹配方法，其特征在于，所述方法包括如下步骤：步骤一：训练基于Triplet结构的深度神经网络Triplet结构的深度神经网络输入为三元组，该三元组由三个样本构成：一个是从训练数据集中随机选一个样本，该样本称为参考样本，然后再随机选取一个和参考样本属于同一类的样本和不同类的样本，这两个样本分别称为同类样本和异类样本；三个样本构成一个三元组，通过损失函数来训练整个网络；基于Triplet结构的深度神经网络训练过程如下：从训练数据库中生成三元组，其中

【技术特征摘要】
1.一种基于Triplet深度神经网络结构的特征匹配方法，其特征在于，所述方法包括如下步骤：步骤一：训练基于Triplet结构的深度神经网络Triplet结构的深度神经网络输入为三元组，该三元组由三个样本构成：一个是从训练数据集中随机选一个样本，该样本称为参考样本，然后再随机选取一个和参考样本属于同一类的样本和不同类的样本，这两个样本分别称为同类样本和异类样本；三个样本构成一个三元组，通过损失函数来训练整个网络；基于Triplet结构的深度神经网络训练过程如下：从训练数据库中生成三元组，其中表示参考样本，表示同类样本，表示异类样本，λ表示训练间隔；训练一个深度神经网络，由网络输出得到每组样本相应的特征表达，分别记为：和让和特征表达之间的距离尽可能小，而和的特征表达之间的距离尽可能大，并且要让与之间的距离和与之间的距离之间有一个最小间隔λ；该不等式可表示成下列形式：该不等式定义了同类样本和异类样本之间的距离关系，即：所有同类样本之间的距离加上最小间隔λ，要小于异类样本之间的距离；当距离关系不满足上述不等式时，可通过求解下列损失函数：+表示[]内的值大于零的时候，取该值为误差，小于零的时候，误差为零；根据对正负匹配对距离分布的分析，对正负匹配对的均值和方差做约束以减小重叠区域面积，其中均值采用如下约束：其中m是两分布均值之间的最小距离的间隔因子，μneg表示负匹配对的距离均值，μpos表示正匹配对的距离均值；对分布的方差做如下约束：Lvar＝σpos+σneg(4)其中σpos表示正匹配对的方差，σneg表示负匹配对的方差；将三元组误差函数、均值约束、方差约束结合起来得到最终损失函数：Lloss＝Ltri+Lmean+Lvar(5)利用损失函数Lloss分别对和求偏导，可分别计算出Lloss在和方向的梯度，并根据反向传播算法调节深度神经网络的参数直至网络收敛到稳定状态为止；步骤二：图像的特征点检测对目标图像和待匹配图像分别进行特征点检测，利用FAST算法做图像特征点检测：先通过图像上...

【专利技术属性】
技术研发人员：王滨，王栋，刘宏，赵京东，柳强，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23