基于几何约束与卷积神经网络的影像匹配优化方法及系统技术方案

本发明专利技术公开了一种基于几何约束与卷积神经网络的影像匹配优化方法及系统，首先将初始匹配影像三维点分别投影到参考影像和搜索影像，获得初始匹配影像对像点坐标，以初始匹配影像对为中心确定参考影像窗口与匹配搜索范围；然后以初始匹配影像窗口为基准，利用卷积神经网络，在匹配搜索范围内寻找最佳匹配点位；最后将最优匹配像对位置坐标带入前方交会误差方程，计算对应拍摄地物点精确三维坐标。本发明专利技术采用空间几何投影关系约束匹配搜索范围，削弱了重复纹理造成的误匹配；利用卷积神经网络代替传统的基于影像灰度的匹配优化方法，降低了匹配失败与误匹配的概率，提高了匹配优化精度与重建点云完整度。配优化精度与重建点云完整度。配优化精度与重建点云完整度。

【技术实现步骤摘要】
基于几何约束与卷积神经网络的影像匹配优化方法及系统


[0001]本专利技术属于遥感图像处理影像匹配
，涉及一种遥感图像处理中影像匹配优化方法及系统，具体涉及一种基于几何约束与卷积神经网络的影像匹配优化方法及系统。

技术介绍

[0002]利用重叠的倾斜影像的逐像素密集匹配快速恢复对象或场景的三维模型已成为近年来获取城市三维信息的有效手段。然而传统的基于灰度的匹配优化方法对于人工建筑中存在的深度不连续(建筑棱角线、道路分界线)、弱纹理等区域的匹配仍有缺陷。传统的匹配优化方法基于影像窗口灰度的互相关性，其中匹配窗口越大参与匹配过程的像素越多，误匹配的概率越低，重建点云的完整度越高。这是因为丰富的影像信息参与了匹配过程，降低了影像噪声的权重从而提高了影像匹配的鲁棒性。然而，当匹配影像窗口被放大时，重建的点云模型相对于真实地面模型变形更大。这是因为参与匹配优化的像素太多，影像的点、线特征所在像素的权重会变得更小，因此匹配优化后特征就会被模糊得越严重。重建的模型的变形就越大。

技术实现思路

[0003]为了解决上述技术问题，本专利技术提供了一种挖掘影像像素深度信息，提高低空遥感影像中匹配精度与重建点云完整度的优化方法及系统。
[0004]本专利技术的方法采用的技术方案是：一种基于几何约束与卷积神经网络的影像匹配优化方法，包括以下步骤：
[0005]步骤1：将初始匹配影像三维点分别投影到参考影像和搜索影像，获得初始匹配影像对像点坐标p
r
(x
r
,y
>r
)、p
s
(x
s
,y
s
)，以初始匹配影像对为中心确定参考影像窗口与匹配搜索范围；
[0006]步骤2：以初始匹配影像窗口为基准，利用卷积神经网络，在匹配搜索范围内寻找最佳匹配点位；
[0007]步骤3：将最优匹配像对位置坐标带入前方交会误差方程，计算对应拍摄地物点精确三维坐标。
[0008]作为优选，步骤1中，采用如下公式获得初始匹配影像对像点坐标；
[0009][0010]其中，(x
(r/s)
,y
(r/s)
)表示三维点P(X,Y,Z)投影到参考影像I
r
或搜索影像I
s
得到的像点p
r
或p
s
在I
r
或I
s
中的位置坐标，(x0,y0)表示拍摄相机像主点在影像中的位置坐标，f表
示拍摄相机的主距，(X
s(r/s)
,Y
s(r/s)
,Z
s(r/s)
)表示拍摄参考影像I
r
或搜索影像I
s
时拍摄相机光心在三维空间坐标系中的坐标，表示拍摄参考影像I
r
或搜索影像I
s
时拍摄相机的旋转矩阵。
[0011]作为优选，步骤1中，在参考影像中以投影像点为中心选择n
×
n像素的影像窗口作为待匹配影像窗口；在搜索影像中以投影像点为中心m
×
m像素为匹配搜索范围；其中，m、n为预设值，m>n。
[0012]作为优选，步骤2中，在搜索范围内由左至右、自上而下截取(m
‑
n)
×
(m
‑
n)个影像窗口与参考影像窗口，利用卷积神经网络寻找最优匹配。
[0013]作为优选，步骤2中，所述述匹配优化卷积神经网络，包括卷积影像信息提取模块和全连接最优匹配搜索模块；
[0014]所述卷积影像信息提取模块，包括串联设置的16个卷积层，所述第1层至第15层卷积层之和均加入有残差块，所述第16层之后依次加入有归一化层，激活层和残差块；
[0015]所述全连接最优匹配搜索模块，包括一个窗口特征向量描述子模块和最优匹配搜索子模块，特征向量描述子模块由48
×
1000的全连接层组成，输出结果为匹配影像窗口1000维特征向量；最优匹配搜索子模块由1000
×
64的全连接层组成输出结果为参考影像与搜索影像窗口的相似性测度。
[0016]作为优选，步骤3中，采用如下公式获得匹配影像对所对应物点三维坐标：
[0017][0018][0019]其中，P(X,Y,Z)为所求地物点的三维坐标，l1‑
l6为方程的系数；l
x
和l
y
为方程的常数项；f表示拍摄相机的主距，(x0,y0)表示拍摄相机像主点在影像中的位置坐标，p(x,y)表示步骤2中搜索得到的最优匹配像点坐标，(X
s
,Y
s
,Z
s
)表示拍摄相机光心在三维空间中的坐标，表示拍摄相机的旋转矩阵。
[0020]本专利技术的系统采用的技术方案是：一种基于几何约束与卷积神经网络的影像匹配
优化系统，包括：
[0021]一个或多个处理器；
[0022]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于几何约束与卷积神经网络的影像匹配优化方法。
[0023]本专利技术的技术方案通过几何投影关系约束匹配搜索范围在提高匹配效率的同时削弱重复纹理造成的误匹配，然后通过卷积神经网络挖掘影像的深层信息丰富影像像素的信息量以实现匹配优化目的，最后通过匹配像对空间前方交会计算精确的物点三维坐标完成高精度高完整度的三维点云数据获取。
[0024]相对于现有技术，本专利技术的有益效果是：
[0025](1)利用空间几何投影关系将匹配搜索范围由整幅影像约束到同名投影光束很小的范围内，在大幅减少匹配像素搜索时间的基础上削弱了重复纹理造成的误匹配。
[0026](2)以少像素的小影像窗口作为输入数据，并构建不含池化层的匹配优化卷积神经网络以实现兼顾匹配效率与高精度匹配的目的。
[0027](3)利用匹配优化卷积神经网络挖掘影像窗口中的深度信息，代替传统的基于影像灰度的匹配优化方法，丰富了影像像素的信息量，降低了匹配失败与误匹配的概率，提高了匹配优化精度与重建点云完整度。
附图说明
[0028]下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本专利技术的意图。
[0029]图1为本专利技术实施例的流程图。
[0030]图2为本专利技术实施例中建立的匹配优化卷积神经网络的示意图。
具体实施方式
[0031]为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0032]请见图1，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何约束与卷积神经网络的影像匹配优化方法，其特征在于，包括以下步骤：步骤1：将初始匹配影像三维点分别投影到参考影像和搜索影像，获得初始匹配影像对像点坐标p
r
(x
r
,y
r
)、p
s
(x
s
,y
s
)，以初始匹配影像对为中心确定参考影像窗口与匹配搜索范围；步骤2：以初始匹配影像窗口为基准，利用匹配优化卷积神经网络，在匹配搜索范围内寻找最佳匹配点位；步骤3：将最优匹配像对位置坐标带入前方交会误差方程，计算对应拍摄地物点精确三维坐标。2.根据权利要求1所述的基于几何约束与卷积神经网络的影像匹配优化方法，其特征在于：步骤1中，采用如下公式获得初始匹配影像对像点坐标；其中，(x
(r/s)
,y
(r/s)
)表示三维点P(X,Y,Z)投影到参考影像I
r
或搜索影像I
s
得到的像点p
r
或p
s
在I
r
或I
s
中的位置坐标，(x0,y0)表示拍摄相机像主点在影像中的位置坐标，f表示拍摄相机的主距，(X
s(r/s)
,Y
s(r/s)
,Z
s(r/s)
)表示拍摄参考影像I
r
或搜索影像I
s
时拍摄相机光心在三维空间坐标系中的坐标，表示拍摄参考影像I
r
或搜索影像I
s
时拍摄相机的旋转矩阵。3.根据权利要求1所述的基于几何约束与卷积神经网络的影像匹配优化方法，其特征在于：步骤1中，在参考影像中以投影像点为中心选择n
×
n像素的影像窗口作为待匹配影像窗口；在搜索影像中以投影像点为中心m
×
m像素为匹配搜索范围；其中，m、n为预设值，m>n。4.根据...

【专利技术属性】
技术研发人员：陈学业，杨楠，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：