基于深度学习的异源图像匹配方法组成比例

本发明专利技术提供的基于深度学习的异源图像匹配方法，首先制作异源图像块数据集；图像预处理；获取图像块特征图；通过特征图得到特征向量；特征图的融合并归一化；训练图像匹配网络；预测匹配概率；本发明专利技术有效克服了现有技术中异源图像块匹配过拟合的问题，极大的提高了网络的性能，提升了网络的训练效率，增强了网络的鲁棒性。本发明专利技术可应用于异源图像配准、图像追踪、多视角重建等领域。

Heterogeneous image matching method based on deep learning

The method of heterologous image matching based on depth learning firstly produces heterologous image block data set; image preprocessing; obtains image block feature map; obtains feature vector through feature map; fuses and normalizes feature map; trains image matching network; predicts matching probability; and effectively overcomes the existing methods. The over-fitting problem of heterogeneous image block matching in the technology greatly improves the performance of the network, improves the training efficiency of the network, and enhances the robustness of the network. The invention can be applied to the fields of heterologous image registration, image tracking, and multi view reconstruction.

【技术实现步骤摘要】
基于深度学习的异源图像匹配方法
本专利技术属于图像处理
，具体涉及基于深度学习的异源图像匹配方法。
技术介绍
由于同一目标的不同设备所获取的图像，不仅可以提供更丰富的信息，还可以克服单一数据源自身固有的缺陷，因此多源图像研究越来越受到人们的欢迎。在本文中，我们重点研究多源数据库的相似性匹配问题，并用可见光和近红外公开数据集验证算法的有效性，部分数据请参见图1。由于可见光和近红外交叉谱图像对在同一目标像素值之间的非线性关系，导致此类问题要比同源可见光图像匹配问题更加复杂。现阶段，基于深度学习的图像匹配问题大致分为两个方向。一种是使用深度卷积神经网络提取patch块的高级特征，再用全连接层对所提取的特征进行分类，判断图像块是否匹配。另一种是利用较浅卷集合提取图像块的轮廓边缘特征得到特征向量，最后通过计算特征向量之间的距离(如欧氏距离)来判断图像块是否匹配。XufengHan等人发表的论文“MatchNet:UnifyingFeatureandMetricLearningforPatch-BasedMatching”(ComputerVisionandPatternRecognition(CVPR),2015IEEEConferenceon.IEEE,2015:3279-3286.)提出了一种基于深度卷积神经网络的图像匹配方法。该方法先由两个共享参数的卷积神经网络分别提取一对图像块的特征，然后将两个特征级联，最后由全连接层对级联后的特征向量进行二分类，进而判断该patch对是否匹配。但由于卷积神经网络提取的特征向量丧失了图像大量的空间信息，导致最终的图像块匹配准确率不高。CristhianA.Aguilera等人发表的论文“Cross-spectrallocaldescriptorsviaquadrupletnetwork”(Sensors,2017,17(4):873.)中提出了四分支共享参数的网络模型。网络每次输入两对不相同的图像块，两两组合可以得到四个负样本和两个正样本。该方法使用两层卷积层提取图像块的低级特征(如边缘、角点等)，将卷积神经网络所提取的特征视为图像块的特征描述子，并通过每对图像块对应特征向量之间的欧氏距离的比率来判断图像块是否匹配。但这种方法无法发挥深度网络的优秀性能，而且使用欧氏距离作为损失函数，会使网络不易收敛到最优解。
技术实现思路
本专利技术提供的基于深度学习的异源图像匹配方法，解决了现有异源图像匹配时存在，使用双分支结构不利于多源数据间的相互融合，此外，级联的特征向量丧失了大量的空间信息，准确率难以提升的问题。为了达到上述目的，本专利技术采用的技术方案是：本专利技术提供的基于深度学习的异源图像匹配方法，包括以下步骤：步骤1)，采用VIS-NIR数据集将所需匹配的异源图像制作数据集，得到一组训练集和八组测试集；步骤2)，将所有需要匹配的异源图像进行预处理，得到预处理后的异源图像；步骤3)，获取图像块特征图：将预处理后的每对异源图像中的图像块A和图像块B进行左右拼接，拼接后采用改进的VGG网络提取特征，得到输入图像的特征图；接着将所得的特征图左右均分，则分别得到与图像块A对应的特征图V和与图像块B对应的特征图N；步骤4)，特征图融合：将步骤3)所得的特征图V和特征图N进行做差运算，并将做差后的特征图进行归一化处理，得到融合后的特征图；步骤5)，训练图像匹配网络：用全连接层和交叉熵损失函数对步骤4)中所得的融合后的特征图进行二分类，得到匹配网络的权重；步骤6)，预测匹配概率：将步骤5)中训练好的匹配网络权重载入到模型中，并依次读取所有测试集数据，得到softmax分类器输出的异源图像匹配和不匹配的预测值。优选地，将步骤3)所得的特征图V和特征图N分别进行全局平均池化，得到与图像A对应的特征向量v和与图像B对应的特征向量n；同时，根据所得的特征向量v和特征向量n，使用对比损失函数来最大化不匹配图像块特征向量的平均欧式距离、以及最小化匹配图像块特征向量的平均欧氏距离。优选地，所述的对比损失的计算过程，包括有如下步骤：(6a1)：记特征图V和特征图N经过全局平均池化后的特征向量分别为v和n；则特征向量的平均欧氏距离D(n,v)为：其中，k表示特征向量的维度；(6a2)：采用对比损失函数式(1)来最大化不匹配图像块特征向量的平均欧式距离以及最小化匹配图像块特征向量的平均欧式距离：其中，y表示输入数据的真实标签(当输入的异源图像块匹配时，y为1；不匹配时，y为0)，Q为一个常数，e的自然常数，L(y,n,v)为对比损失函数。优选地，步骤4)中的特征图融合的方法，具体包括有如下步骤：(4a)记单张图像块A对应的特征图为V，单张图像块B对应的特征图为N，则融合后的特征图为：F＝N-V；其中，V和N尺寸相同，且均为三维矩阵；(4b)将每个批次的特征图β＝{F1...m}进行归一化处理：其中，m表示每个批次输入成对异源图像块的数量，Fi表示第i个输入数据对应的融合后的特征图，γ和λ分别表示缩放尺寸和偏移量，ε为一个常数，μβ和σβ2分别表示每个批次的特征图β＝{F1...m}的均值和方差，表示特征图Fi归一化后的值为了保证特征图的多样性，Ri为每个融合后的特征图Fi的归一化结果。优选地，所述的交叉熵损失的计算方法，按如下步骤进行：(5b1)：记融合后的特征图Ri经过全连接层和softmax分类器后，得到预测输入数据的正样本和负样本，其中，记正样本的概率为则负样本的概率为(5b2)：对于单个样本交叉熵损失为：其中，y为输入数据的真实标签，为网络预测输入数据为匹配样本的概率值。与现有技术相比，本专利技术的有益效果是：本专利技术提供的基于深度学习的异源图像匹配方法，首先将异源图像块拼接起来作为一个整体输入到网络中，这样不仅有利于异源图像块的信息融合进而提高网络的准确率，而且使网络结构更简单；同时，为了保留输入数据更多的特征，本专利技术是对异源图像块的融合后的特征图进行分类，而不是对级联的特征向量进行分类，这样有利于提高网络的性能；本专利技术提出的基于深度学习的异源图像匹配方法不仅在性能上优于其他方法，而且在训练效率上也优于其他方法。进一步的，为了防止网络层数过深导致的过拟合，新增了一个对比损失函数，用于指导网络如何提取特征。进一步的，本专利技术使用两个损失函数交替训练网络，其中对比损失函数用于指导网络如何提取图像特征，交叉熵损失函数用于对每对图像块分类。这样做，不仅能防止由于参数过多而导致的过拟合，而且还加快的网络收敛，提高了训练效率。进一步的，本专利技术将每对异源图像块左右拼接在一起作为网络的输入，而不是使用双分支网络结构，即每个网络分支分别输入一个图像块。这样做不仅有利于异源数据的融合，而且使网络结构更简单。进一步的，本专利技术使用全连接层和softmax分类器对融合后的特征图进行分类，而不是其他方法中级联的特征向量。从而保留了更多的空间信息，使最终网络预测更准确，网络性能更佳。附图说明图1是本专利技术的流程图；图2是本专利技术在仿真实验中使用的标准数据集，其中，图2a、图2c、图2e、图2g为可见光图像块，图2b、图2d、图2f、图2h为近红外图像块，图2a与图2b、图2c与图2d是匹配样本，图2e与图2f、图2g与图2h是不匹配样本本文档来自技高网...

【技术保护点】
1.基于深度学习的异源图像匹配方法，其特征在于，包括以下步骤：步骤1)，采用VIS‑NIR数据集将所需匹配的异源图像制作数据集，得到一组训练集和八组测试集；步骤2)，将所有需要匹配的异源图像进行预处理，得到预处理后的异源图像；步骤3)，获取图像块特征图：将预处理后的每对异源图像中的图像块A和图像块B进行左右拼接，拼接后采用改进的VGG网络提取特征，得到输入图像的特征图；接着将所得的特征图左右均分，则分别得到与图像块A对应的特征图V和与图像块B对应的特征图N；步骤4)，特征图融合：将步骤3)所得的特征图V和特征图N进行做差运算，并将做差后的特征图进行归一化处理，得到融合后的特征图；步骤5)，训练图像匹配网络：用全连接层和交叉熵损失函数对步骤4)中所得的融合后的特征图进行二分类，得到匹配网络的权重；步骤6)，预测匹配概率：将步骤5)中训练好的匹配网络权重载入到模型中，并依次读取所有测试集数据，得到softmax分类器输出的异源图像匹配和不匹配的预测值。

【技术特征摘要】
1.基于深度学习的异源图像匹配方法，其特征在于，包括以下步骤：步骤1)，采用VIS-NIR数据集将所需匹配的异源图像制作数据集，得到一组训练集和八组测试集；步骤2)，将所有需要匹配的异源图像进行预处理，得到预处理后的异源图像；步骤3)，获取图像块特征图：将预处理后的每对异源图像中的图像块A和图像块B进行左右拼接，拼接后采用改进的VGG网络提取特征，得到输入图像的特征图；接着将所得的特征图左右均分，则分别得到与图像块A对应的特征图V和与图像块B对应的特征图N；步骤4)，特征图融合：将步骤3)所得的特征图V和特征图N进行做差运算，并将做差后的特征图进行归一化处理，得到融合后的特征图；步骤5)，训练图像匹配网络：用全连接层和交叉熵损失函数对步骤4)中所得的融合后的特征图进行二分类，得到匹配网络的权重；步骤6)，预测匹配概率：将步骤5)中训练好的匹配网络权重载入到模型中，并依次读取所有测试集数据，得到softmax分类器输出的异源图像匹配和不匹配的预测值。2.根据权利要求1所述的基于深度学习的异源图像匹配方法，其特征在于，将步骤3)所得的特征图V和特征图N分别进行全局平均池化，得到与图像A对应的特征向量v和与图像B对应的特征向量n；同时，根据所得的特征向量v和特征向量n，使用对比损失函数来最大化不匹配图像块特征向量的平均欧式距离、以及最小化匹配图像块特征向量的平均欧氏距离。3.根据权利要求2所述的基于深度学习的异源图像匹配方法，其特征在于，所述的对比损失的计算过程，包括有如下步骤：(6a1)：记特征图...

【专利技术属性】
技术研发人员：王爽，焦李成，方帅，权豆，王若静，梁雪峰，侯彪，刘飞航，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61