基于深度学习的互补特征可靠描述与匹配方法组成比例

本发明专利技术提供了一种基于深度学习的互补特征可靠描述与匹配方法，至少包括步骤：特征描述与匹配训练样本获取，构建基于DNN的特征描述与匹配算法，实行基于预训练网络模型的迁移学习，建立融合同名与非同名区域的目标损失函数模型，基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。本发明专利技术综合运用数字摄影测量与计算机视觉、深度学习、误差理论与分析、数字影像及信号处理等多学科的理论方法和技术，构建基于深度学习的互补特征高区分度描述与匹配策略，以获取大倾角立体影像较为可靠的互补匹配结果，极具前沿性、科学性、综合性及应用性特色。应用性特色。应用性特色。

【技术实现步骤摘要】
基于深度学习的互补特征可靠描述与匹配方法


[0001]本专利技术涉及摄影测量与遥感中数字图像处理相关
，具体的说是一种基于深度学习的互补特征可靠描述与匹配方法。

技术介绍

[0002]近年来，源于计算机视觉界的特征描述及匹配技术的出现，使得大倾角困难立体像对的匹配成为可能。特征描述符是一种数值向量，该向量是影像区域中局部特征的编码，可用于评判不同影像特征间的相似性。目前，基于分布的描述符是应用最为广泛的描述符，以尺度不变特征变换(Scale Invariant Feature Transform,SIFT)描述符为代表，它的基本思想是对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量。在此基础上，研究人员针对SIFT描述符的缺陷进行改进。例如，针对描述符计算过程较为复杂的问题，研究人员提出一种加速鲁棒特征(Speed Up Robust Feature,SURF)描述符，它是利用Haar小波来近似SIFT方法中的梯度操作，同时利用积分图技术进行快速计算，可实现影像特征的快速描述与匹配。DAISY描述符是在影像分块策略上进行的改进，利用高斯卷积来进行梯度方向直方图的分块汇聚，可以快速稠密地进行特征描述符的提取，一定程度上提高SIFT描述符的鲁棒性与区分度。然而，面向视点变化较大、纹理匮乏、视差断裂、阴影以及遮挡等复杂场景影像，以SIFT描述符为代表的各类描述符的匹配效果均不理想。
[0003]由于SIFT或SURF特征描述符占用大量的内存空间，导致匹配效率较低，难以大规模应用。为此，研究人员还提出了许多二进制特征描述符，例如ORB、BRISK和FREAK等。其中，BRIEF是典型二进制描述符，它是利用局部图像邻域内随机点对的灰度大小关系来建立的，不仅匹配速度快，而且存储要求内存低，因此嵌入式应用中具有很好的前景。然而，这些轻量级的描述符虽然匹配速度快、实时性强。但面对复杂影像，尤其是地类复杂，视角变化大的卫星、无人机等遥感影像，匹配效果较差，甚至失效。
[0004]综合考虑上述影像特征描述和匹配中的问题，并考虑到近年来神经网络和深度学习作为强大的非线性系统和技术手段，在处理复杂影像中表现出较大潜力。因此，如何结合深度学习与神经网络的特点，建立能够适应透视几何变形、景深突变及部分遮挡的高可靠互补基元特征描述与匹配方法，以最大限度地获得准稠密同名互补基元特征匹配，是本专利技术解决的关键问题。

技术实现思路

[0005]为了解决上述问题，建立能够适应透视几何变形、景深突变及部分遮挡的可靠互补基元特征描述与匹配方法，从而获得准稠密同名互补基元特征匹配。提出以下技术方案：
[0006]基于深度学习的互补特征可靠描述与匹配方法，至少包括步骤：
[0007](1)特征描述与匹配训练样本获取；
[0008](2)构建基于DNN(深度神经网络)的特征描述与匹配算法；
[0009](3)实行基于预训练网络模型的迁移学习；
[0010](4)建立融合同名与非同名区域的目标损失函数模型；
[0011](5)基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。
[0012]进一步的，上述步骤(1)包括：
[0013]基于随机采样一致性算法的立体像对共轭矩阵估计算法；
[0014]基于准单应几何变换与自适应窗口策略优化同名特征位置及其局部仿射变换邻域；
[0015]采用点线面特征集成描述与匹配策略对所有待匹配特征逐一进行描述与匹配。
[0016]进一步的，上述步骤(2)为面向影像高畸变特征描述与匹配的DNN构建方法，具体为：
[0017]特征描述，运行顾及视差突变及遮挡情况的透视不变卷积描述符生成方法；
[0018]特征匹配，实行高区分度匹配测度构建策略。
[0019]进一步的，特征描述包括步骤：
[0020]构建原始L2
‑
Net核心网络层；
[0021]引入亮度归一化卷积层、视察感知卷积层及透视不变卷积层；
[0022]建立梯度向量连接层；
[0023]归一化描述符。
[0024]进一步的，特征匹配包括：
[0025]构建描述符欧氏空间距离L2范数的极值函数F＝||f(R)
‑
f(P)||2＝min，其中R和P分别为左影像和右影像特征的128维深度描述符，当F取最小且不大于给定阈值F
T
，则输出匹配结果，F
T
取值为0.3。
[0026]进一步的，步骤(4)包括：
[0027]构建加权平均损失函数Loss如下
[0028][0029][0030][0031][0032]m为批(Batch)中的样本数目；R
i
和P
i
代表一对匹配描述符向量；代表一对匹配描述符向量；分别代表最近邻、次近邻及第三近邻非匹配描述符向量；D(R
i
,P
i
)表示匹配描述符欧氏距离；D((R
i
,P
i
),N
i
)则表示非匹配描述符欧氏距离，且D((R
i
,P
i
),N
i
)＝min(D(R
i
,N
i
),D(P
i
,N
i
))，N
i
表示任意非匹配描述符向量；权重参数w1、w2和w3取值分别为2.0、0.6和0.4；
[0033]非匹配相似描述符通过加权参与训练；
[0034]基于训练样本，通过随机梯度下降法和残差后向迭代传播，使加权损失函数Loss最终趋于最小，实现DNN模型的训练与优化。
[0035]本专利技术提出了基于准单应几何变换与自适应窗口的大倾角立体影像同名邻域归
一化算法及匹配策略，以及面向影像高畸变特征描述与匹配的深度神经网络DNN构建方法，建立融合同名与非同名区域的目标损失函数模型增强了DNN模型的描述能力，基于DNN模型的互补基元特征全自动匹配策略能够获得可靠准密集种子匹配。
[0036]因此，本专利技术的有益效果为：基于真三维数字城市建设的需求背景，综合运用数字摄影测量与计算机视觉、深度学习、误差理论与分析、数字影像及信号处理等多学科的理论方法和技术，构建基于深度学习的互补特征可靠描述与匹配方法。具体是基于互补特征描述与匹配样本自动生成、预训练模型引入及迁移学习等基础上，构建基于深度学习的互补特征高区分度描述与匹配策略，以获取大倾角立体影像较为可靠的互补匹配结果，极具前沿性、科学性、综合性及应用性特色。
附图说明
[0037]图1为基于深度学习的互补特征可靠描述与匹配方法流程图；
[0038]图2为基于共轭基本矩阵的立体影像准单应几何映射示意图；
[0039]图3为以点基元为例的同名特征邻域的确定与优化示意图；
[0040]图4为特征描述与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的互补特征可靠描述与匹配方法，其特征在于，至少包括步骤：(1)特征描述与匹配训练样本获取；(2)构建基于DNN的特征描述与匹配算法；(3)实行基于预训练网络模型的迁移学习；(4)建立融合同名与非同名区域的目标损失函数模型；(5)基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。2.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述步骤(1)包括：基于随机采样一致性算法的立体像对共轭矩阵估计算法；基于准单应几何变换与自适应窗口策略优化同名特征位置及其局部仿射变换邻域；采用点线面特征集成描述与匹配策略对所有待匹配特征逐一进行描述与匹配。3.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述步骤(2)为面向影像高畸变特征描述与匹配的DNN构建方法，具体为：特征描述，运行顾及视差突变及遮挡情况的透视不变卷积描述符生成方法；特征匹配，实行高区分度匹配测度构建策略。4.根据权利要求3所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述特征描述包括步骤：构建原始L2
‑
Net核心网络层；引入亮度归一化卷积层、视察感知卷积层及透视不变卷积层；建立梯度向量连接层；归一化描述符。5.根据权利要求3所述的基于深度学习的互补特征可靠描述与匹配方法，其特征在于，所述特征匹配包括：构建描述符欧氏空间距离L2范数的极值函数F＝||f(R)
‑
f(P)||2＝min，其中R和P分别为左影像和右影像中特征的128维深度描述符，当F取最小且不大于给定阈值F
...

【专利技术属性】
技术研发人员：姚国标，张传辉，张力，艾海滨，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：