一种月球轨道器影像与巡视器导航相机图像配准方法技术

本发明专利技术涉及一种月球轨道器影像与巡视器导航相机图像配准方法，包括以下步骤：(1)利用巡视器导航相机双目图像重建月面点云模型，计算月面平面方程与投影变换模型参数，实现单张巡视器导航相机图像月面正投影变换。(2)根据所述单张巡视器导航相机月面正投影图像，基于引入预选区域的DFM配准算法，得到巡视器导航相机月面正投影拼接图像。(3)根据月球轨道器影像与所述巡视器导航相机月面正投影拼接图像，基于均值漂移滤波自动提取月面撞击坑，寻找误差最小的仿射变换获取两图月面撞击坑的匹配关系，得到仿射变换矩阵。(4)根据所述仿射变换矩阵，最终实现月球轨道器影像与巡视器导航相机图像配准。定位导航相机并间接评价配准精度。精度。精度。

【技术实现步骤摘要】
一种月球轨道器影像与巡视器导航相机图像配准方法


[0001]本专利技术属于月面条件下的跨尺度、大倾角、点模糊、多源图像配准领域，具体涉及一种月球轨道器影像与巡视器导航相机图像配准方法。

技术介绍

[0002]图像配准被定义为把不同时间不同角度不同传感器拍摄的图像叠加，来将多个图像的信息组合在一起的过程。图像配准研究的主要问题是对于一些有重叠区域的不同图像，利用描述不同图像的特征或图像本身，比较他们之间的相似关系，从而找到重叠区域以及不同图像之间的对应关系，将移动图像的每个像素对应到参考图像上实现对准。图像配准是一项综合性的任务，在不同的问题中有针对当前问题设计出的不同的方法，其包含的共性问题就是要找到一种变换来实现两幅图像或者多幅图像之间的匹配，大多数图像配准流程大致包括了四个步骤：第一步是特征提取，第二步是特征匹配，这两个步骤是图像配准的关键，第三步是估计变换模型的参数，最后进行图像重采样以及变换的操作。
[0003]传统的图像配准方法可以分为两种，其中一种是基于区域来完成配准，另一种是基于特征点，再进一步获取匹配关系。基于区域完成配准的方法总体来说就是在选择基准图像后，把一些相关的指标极大化，从而期望找到最佳的对应位置。归一化互相关算法是比较经典的方法，但运算量大、极大值也不够显著，适用于同源图像配准，相位相关算法适用于异源图像但受噪声影响较大，异源图像配准中应用更为广泛的方法是用互信息度量统计相关性。这些基于区域的匹配算法的实现一般比较简单，但应用范围较小。基于特征点的匹配在实际运用中较之前者更为广泛。目前在特征提取方面有着较多应用的四种算法是基于Harris角点检测的配准算法、基于ORB(Oriented FAST and Rotated BRIEF)的图像配准算法、基于SIFT(Scale Invariant Feature Transform)的图像配准算法以及基于SURF(Speeded Up Robust Features)的图像配准算法。Harris角点算法具有比较良好的光照不变性，对平移和旋转也不敏感，但是它不能很好地去适应尺度变化带来的改变。ORB算法的计算速度在这几种方法中是最快的，但不具备尺度变换性，在实际应用中要求基本保持正对拍摄。SIFT描述符具有较好的鲁棒性，对平移旋转和尺度都是不变的，但由于其本质是尺度空间中的极值点，在弱纹理场景下各特征描述子之间的距离可能都很小，可能会有较多错误匹配。SURF与SIFT算法相比，在仿射变换和噪声条件下二者都具有较好的稳定性，在计算速度、适应光照变化方面优于SIFT特征，但在适应尺度变换、旋转变换以及模糊的条件下SIFT算子的表现更优。特征匹配一般采用的是最近邻匹配的方法，在完成匹配后用RANSAC算法来剔除错误的匹配，紧接着根据匹配关系选择并计算变换模型，最后完成对浮动图像的变换和重采样工作。
[0004]随着深度学习的发展，计算机视觉领域也引入了很多深度学习方法，深度学习在图像配准任务中的应用方式大致有以下两种。第一种方式是用深度学习的方法训练网络，分别以此代替传统配准流程中的特征提取、匹配和变换参数估计几个步骤。例如早期研究中诞生的MatchNet网络，用CNN构成的特征网络生成特征描述符，用三个全连接层构成的度
量网络学习特征描述符之间的距离(相似度)。MC
‑
CNN使用的是数个卷积层和全连接层组成的深度孪生网络，采用这个网络来计算相似度，该方法在当时KITTI双目数据集上表现出了最好的效果，证明引入深度学习的方法，通过卷积神经网络提取特征比以往手工设计的那些传统特征更为有效。此外，引入了新损失函数的PN
‑
Net、由检测器网络和特征描述符网络构成的LF
‑
Net、基于感受野的RF
‑
Net和引入了可变性卷积的ASLFeat等网络也是第一种深度学习与图像配准的结合方式。最近几年立体匹配技术的发展也可以应用在配准中的特征提取与匹配步骤中，具有代表性的就是magicleap公司提出的基于图神经网络和注意力机制的特征点匹配网络SuperPoint+SuperGlue方法。2021年Ufuk等提出了一种受心理旋转范式启发的新型图像匹配方法DFM，该方法在Hpatches数据集上测试的结果超过了此前最先进的方法。用深度学习来模拟特征提取、匹配与参数估计的方式依赖传统基于特征点图像配准的框架，在实际应用中提高了特征提取的速度和匹配的正确率。第二种方式是直接去学习参考图像和移动图像之间的几何关系，以此来对准两幅图像。利用深度学习方法直接估计变换参数，这样的方式被称为基于深度学习的直接配准方法，在此基础上又可以细分为有监督学习的直接配准方法和无监督学习的直接配准方法。HomographyNet回归网络能以端到端的方式学习两幅图像的单应性并同时学习CNN模型参数，但是需要有标记的数据，成本较高；无监督图像配准较之有监督的方法具有更好的适应性。
[0005]由于图像配准问题的综合性以及待配准图像和应用场景的多样性，不可能设计出所有配准任务的通用方法，需要在不同的问题中设计对当前问题更有针对性的系列方法。针对月面场景图像配准问题，与图像配准常用的模拟和真实世界数据集不同，月面场景下，图像本身纹理信息匮乏、重复模式多，配准存在着点模糊下的特征点对应问题。目前，在解决月球车在月面上拍摄的图像之间的配准问题时，常用的解决方案是引入局部仿射不变约束的图匹配，可以在较高的准确率下完成特征的匹配与图像的配准，解决点模糊下的关键点对应问题，对尺度和旋转变化是不变的，而且对异常值更具抵抗力。而关于导航相机图像与轨道器影像配准，在我国月球探测的相关任务中，“玉兔”系列月球车采用的是一种半自动化的遥操作系统，手动配准轨道器影像与导航相机拍摄的月面图像实现定位，国外关于通过配准轨道器拍摄的影像与导航相机拍摄的图像来实现对导航相机定位的方法没有公开的相关参考资料。目前的难点有如下几个方面：(1)如何在跨尺度、大倾角、点模糊、多源的条件下解决配准问题；(2)如何在单张巡视器导航相机视野范围狭小的情况下综合利用多图信息完成配准。

技术实现思路

[0006]为克服现有技术不足，针对两类异源图像跨尺度、大倾角、点模糊的问题以及单张巡视器导航相机图像视野范围限制的问题，本专利技术提供一种月球轨道器影像与巡视器导航相机图像配准方法，实现在特定任务下的图像配准需求。本专利技术属于先进行初始扭曲再综合多图信息提取宏观特征的配准方法，适用于解决常用配准方法在跨尺度、大倾角、点模糊的多源图像配准条件下失效的问题。
[0007]为达到上述目的，本专利技术采用的技术方案为：
[0008]一种月球轨道器影像与巡视器导航相机图像配准方法，包括以下步骤：
[0009]步骤(1)利用巡视器导航相机双目图像，重建月面点云模型，计算月面平面方程与
投影变换模型参数，实现单张巡视器导航相机图像月面正投影变换；
[0010]步骤(2)根据所述单张巡视器导航相机月面正投影图像，基于引入预选区域的DFM配准算法，进行序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种月球轨道器影像与巡视器导航相机图像配准方法，其特征在于，包括以下步骤：步骤(1)利用巡视器导航相机双目图像，重建月面点云模型，计算月面平面方程与投影变换模型参数，实现单张巡视器导航相机图像月面正投影变换；步骤(2)根据所述单张巡视器导航相机月面正投影图像，基于引入预选区域的DFM配准算法，进行序列月面正投影图像拼接，得到巡视器导航相机月面正投影拼接图像；步骤(3)根据月球轨道器影像与所述巡视器导航相机月面正投影拼接图像，通过均值漂移滤波、阈值分割、形态学处理自动提取月面撞击坑，通过寻找误差最小的仿射变换获取月面撞击坑的匹配关系，得到仿射变换矩阵；步骤(4)根据所述仿射变换矩阵，最终实现月球轨道器影像与巡视器导航相机图像配准，定位导航相机，与真实位置对比以间接评价配准精度。2.根据权利要求1所述的一种月球轨道器影像与巡视器导航相机图像配准方法，其特征在于：所述步骤(1)中，实现单张巡视器导航相机图像月面正投影变换的方法包括：首先定义巡视器导航相机左眼相机的坐标系即为世界坐标系，在月面场景没有提供先验相机参数的情况下，利用COLMAP稀疏重建方法初始化相机内参，结合Bundle Adjustment优化过程拟合出最终的相机的内参数；基于相机的内参数和定义的世界坐标系，利用三维重建计算月面平面方程，再计算单张巡视器导航相机图像四个顶点在月面平面坐标系下的坐标，根据单张巡视器导航相机图像四个顶点在单张巡视器导航相机图像坐标系和月面平面坐标系下的坐标对应关系对单张巡视器导航相机图像进行正射投影；对每一组巡视器导航相机双目图像进行三维重建，从稀疏点云中利用RANSAC方法分割出月面平面，月面平面方程表示为：π1x
c
+π2y
c
+π3z
c
+π4w＝0其中，X
c
＝(x
c
,y
c
,z
c
,w)
T
是参考坐标系下空间点的齐次坐标，π＝(π1,π2,π3,π4)
T
为平面的齐次坐标；计算单张巡视器导航相机图像四个顶点在巡视器导航相机左眼相机的坐标系的位置坐标，单张巡视器导航相机图像中的每一点m与相机坐标系下的坐标X
c
转换关系为：其中，z
c
为深度,m＝(u,v，1)
T
是图像坐标系下像素点的齐次坐标，是相机内参数；f
x
与f
y
是CCD摄像机在u轴和v轴方向上的尺度因子，(u
o
，v
o
)
T
是CCD摄像机的主点，记作P；由月面平面方程和点在单张巡视器导航相机图像中的图像坐标建立对应关系，联立得到如下方程：
将z
c
移至方程左边，移项后的方程的右边都是已知量，计算得到：最终求得在巡视器导航左眼相机坐标系下的点X＝(x,y,z)
T
的坐标为：其中，w为齐次坐标的参数；在求得单张巡视器导航相机图像四个顶点对应在月面平面上的位置...

【专利技术属性】
技术研发人员：尹继豪，赵欣语，崔林艳，魏晓东，薛斌党，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：