一种倾斜航空影像与机载LiDAR点云特征匹配方法组成比例

本发明专利技术属于摄影测量与计算机视觉技术领域，其目的在于提供一种倾斜航空影像与机载LiDAR点云特征匹配方法。本发明专利技术可解决航空倾斜影像与机载LiDAR点云特征匹配问题，避免了因将机载LiDAR点云或者航空倾斜影像进行维度变化，而造成匹配精度损失，特征匹配结果的可靠性得以提升，适用于具有大量数据的复杂场景和精度要求较高的应用场景。和精度要求较高的应用场景。和精度要求较高的应用场景。

【技术实现步骤摘要】
一种倾斜航空影像与机载LiDAR点云特征匹配方法


[0001]本专利技术属于摄影测量与计算机视觉
，具体涉及一种倾斜航空影像与机载LiDAR点云特征匹配方法。

技术介绍

[0002]航空倾斜影像与机载LiDAR(Laser Radar，激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统)点云两种数据融合的前提和关键是LiDAR点云与影像的配准。其中，配准工作中的核心步骤为特征匹配，根据最终的配准维度，可将点云与影像特征匹配分为以下三类：
[0003]第一类3D
‑
3D匹配方法，首先对序列影像进行特征匹配，然后用SFM(Structure From Motion，运动结构法则，一种三维重建的算法)恢复稀疏的三维点云，再用MVS(Mulit
‑
View Steros，多视图立体三维重建算法)生成密集的影像点云，最后按照ICP(Iterative Closest Point，迭代最近点算法)算法或其他点云配准方法进行3D
‑
3D模型配准，从而建立密集点云与机载LiDAR点云的关系，以便用与密集点云中影像点匹配的LiDAR点云中激光点的坐标来优化光学影像的内外方位元素。这类方法间接地构建了三维与二维特征点之间的匹配关系，但是，这类方法无法进行LiDAR点云与单张影像的特征匹配，计算量较大，生成密集点云的过程中会产生误差，而导致最终的配准精度降低，且ICP算法对初值选取有较高的精度要求。
[0004]第二类2D
‑
2D匹配方法，利用LiDAR激光点数据的高程信息或者强度信息等将点云数据转换成二维影像，再利用传统的影像匹配方法进行特征匹配，最后将匹配的二维影像特征反算至三维点云坐标，从而间接地构建三维特征与二维特征的匹配关系。其中，传统的影像特征匹配方法从匹配特征的几何特征分类可以分为点匹配、线匹配及面匹配三类。为了增强匹配结果的可靠性，一些研究人员通过结合不同几何基元(如点线特征或点面特征)来实现影像间的特征匹配。这类2D
‑
2D匹配方法充分利用了原有的成熟影像特征匹配算法，自动化程度高，然而，该方法存在规则化过程中的误差、匹配误差，以及坐标反算过程中的误差，这些误差都会降低点云特征与影像特征匹配的精度。
[0005]第三类3D
‑
3D匹配方法，直接在激光点云和影像上提取特征，寻找二者的同名特征，进而实现航空影像与机载LiDAR点云之间的特征匹配。然而，由于二维特征描述符与三维特征描述符存在维度不统一的问题，传统方法的特征描述符相似性计算方法在跨维匹配中并不适用。因此，一些研究人员检测影像灭点和点云线特征，利用灭点坐标变换与平移无关的属性，通过可匹配灭点与对应的三维方向，直接求解相机和模型之间的旋转关系。
[0006]随着人工智能浪潮的兴起，越来越多的研究人员将基于深度学习的方法引入到影像与点云的匹配。在深度学习的方法中可将其大致分为特征描述符网络，联合特征描述符与相似性度量统一网络，以及联合描述与检测局部特征的网络。特征描述符网络通过构建深度神经网络来学习特征描述符，该类网络方法不仅保证了匹配效果，且具有较大的灵活性，可嵌套在其他网络中使用。目前，该类网络采用双分支的模式分别对点云和影像进行特
征编码，利用三重损失函数获取匹配结果。但这类网络学习的特征描述子鲁棒性不够，且简单地使用欧氏距离来度量描述符相似性，导致二维图像补丁与三维点云体积匹配精度较低。
[0007]针对上述单一特征描述符网络存在的问题，一些研究人员提出了描述联合特征描述符与相似性度量统一网络，该类网络方法同时学习特征描述符与相似性度量，最终输出二维影像补丁与三维点云体积的匹配关系。但是，该类网络方法并没有建立点云与图像像素之间的匹配关系。
[0008]特征描述符网络，联合特征描述符与相似性度量统一网络的输入层都是二维影像补丁与三维点云体积，不同之处在于特征描述符网络的输出层是二维影像补丁与三维点云体积分别的描述符，联合特征描述符与相似性度量统一网络的输出层是二维影像补丁与三维点云体积之间的匹配关系。联合描述与检测局部特征的网络的输入输出与前两类网络都不相同，其输入层是二维影像与三维点云，在特征空间中联合检测影像特征点与三维点云特征点，并直接建立二维与三维特征点之间的对应关系。但是，2D
‑
3D方法的自动化程度依赖于同名特征的提取和匹配的自动化程度，仍需要进一步的研究。
[0009]综上所述，虽然研究人员提出了多种建立三维与二维关系的方法，但是，在使用现有技术过程中，专利技术人发现采用现有方法应用于点云与影像特征匹配时仍存在如下问题：
[0010](1)现有基于影像生成密集点云和将点云转换为影像的间接匹配方法难以适用于具有大量数据的复杂场景和精度要求较高的应用场景；
[0011](2)虽然直接建立2D
‑
3D对应关系的方法直观有效，且减少传统方法中存在的误差积累，但这类方法目前仍存在特征提取与特征匹配问题，尤其是地形复杂的室外场景。

技术实现思路

[0012]本专利技术旨在至少在一定程度上解决上述技术问题，本专利技术提供了一种倾斜航空影像与机载LiDAR点云特征匹配方法。
[0013]为了实现上述目的，本专利技术采用以下技术方案：
[0014]第一方面，本专利技术提供了一种倾斜航空影像与机载LiDAR点云特征匹配方法，包括：
[0015]分别获取机载LiDAR点云的点云关键点信息和倾斜航空影像的影像关键点信息，并将所述机载LiDAR点云的点云关键点信息保存至点云关键点集合Info
C
中，将所述倾斜航空影像的影像关键点信息保存至影像关键点信息集合Info
I
中；
[0016]分别对所述影像关键点信息集合Info
I
中的影像关键点信息和所述点云关键点集合Info
C
中的点云关键点信息进行编码处理，得到编码后影像特征信息集合和编码后点云特征信息集合
[0017]基于注意力聚合机制分别对所述编码后影像特征信息集合中的编码后影像特征信息和所述编码后点云特征信息集合中的编码后点云特征信息进行更新，得到更新后影像特征信息集合
(L)
X
2D
和更新后点云特征信息集合
(L)
X
3D
，并分别根据所述更新后影像特征信息集合
(L)
X
2D
和所述更新后点云特征信息集合
(L)
X
3D
得到最终影像关键点描述符信息集合Dec
2D
和最终点云关键点描述符信息集合Dec
3D
；
[0018]根据所述最终影像关键点描述符信息集合Dec
2D
和所述最终点云关键点描述符信息集合Dec
3D
，得到所述机载LiDAR点云和倾斜航空影像的匹配矩阵。
[0019]本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种倾斜航空影像与机载LiDAR点云特征匹配方法，其特征在于：包括：分别获取机载LiDAR点云的点云关键点信息和倾斜航空影像的影像关键点信息，并将所述机载LiDAR点云的点云关键点信息保存至点云关键点集合InfO
C
中，将所述倾斜航空影像的影像关键点信息保存至影像关键点信息集合Info
I
中；分别对所述影像关键点信息集合Info
I
中的影像关键点信息和所述点云关键点集合Info
C
中的点云关键点信息进行编码处理，得到编码后影像特征信息集合和编码后点云特征信息集合基于注意力聚合机制分别对所述编码后影像特征信息集合中的编码后影像特征信息和所述编码后点云特征信息集合中的编码后点云特征信息进行更新，得到更新后影像特征信息集合
()
X
2D
和更新后点云特征信息集合
()
X
3D
，并分别根据所述更新后影像特征信息集合
()
X
2D
和所述更新后点云特征信息集合
()
X
3D
得到最终影像关键点描述符信息集合Dec
2D
和最终点云关键点描述符信息集合Dec
3D
；根据所述最终影像关键点描述符信息集合Dec
2D
和所述最终点云关键点描述符信息集合Dec
3D
，得到所述机载LiDAR点云和倾斜航空影像的匹配矩阵。2.根据权利要求1所述的一种倾斜航空影像与机载LiDAR点云特征匹配方法，其特征在于：获取机载LiDAR点云的点云关键点信息，包括：使用最远距离采样，在所述机载LiDAR点云中随机采样M个结点S1,
…
,
M
，并将M个结点存储在结点集合S中；其中，结点集合S＝{S1,
…
,
M
}；遍历所述机载LiDAR点云，对所述机载LiDAR点云中的每个三维点从所述结点集合S中选择与其最近的结点，得到M个结点的聚类结果；其中，结点S
k
的聚类结果为S
k
表示结点集合S中的第k个结点，k∈{1,
…
,M}，n
k
表示所述机载LiDAR点云中与结点S
k
对应的三维点的数量；获取所有聚类结果的均值坐标，并根据每个结点的聚类结果中三维点的原始坐标与其对应聚类结果的均值坐标，得到每个结点对应的三维点云的正则化坐标；其中，任一结点对应的三维点云的正则化坐标为当前结点对应的三维点云中所有三维点的正则化坐标；根据每个结点对应的三维点云的正则化坐标，得到每个结点的局部特征，再对每个结点的局部特征进行向量聚合操作，得到M个结点特征G
(M
×
C)
；其中，结点S
k
的局部特征为F
k
|
k
；根据所述结点特征G
(M
×
C)
得到每个结点的K个邻近结点特征信息；其中，结点S
k
的K个邻近结点特征信息为近结点特征信息为表示结点S
k
的第1个邻近点，表示结点S
k
的第1个邻近点的特征信息，表示结点S
k
的第K个邻近点，表示结点S
k
的第K个邻近点的特征信息；对每个结点的K个邻近结点特征信息进行正则化，得到每个结点的K个邻近结点正则化特征信息；其中，结点S
k
的K个邻近结点正则化特征信息为的K个邻近结点正则化特征信息为的K个邻近结点正则化特征信息为表示结点S
k
的第m个邻近值的正则化坐标，是结点S
k
的第m个邻近值的原始坐标；根据每个结点的K个邻近结点正则化特征信息得到所述机载LiDAR点云的点云关键点
信息。3.根据权利要求2所述的一种倾斜航空影像与机载LiDAR点云特征匹配方法，其特征在于：每个结点对应的三维点云的正则化坐标为每个结点的聚类结果中三维点的原始坐标与其对应聚类结果的均值坐标之差；其中，与结点S
k
对应的第i个三维点的正则化坐标为：对应的第i个三维点的正则化坐标为：是与结点S
k
对应的第i个三维点的原始坐标，是结点S
k
的聚类结果的均值坐标。4.根据权利要求2所述的一种倾斜航空影像与机载LiDAR点云特征匹配方法，其特征在于：根据每个结点的K个邻近结点正则化特征信息得到所述机载LiDAR点云的点云关键点信息，包括：根据每个结点的K个邻近结点正则化特征信息得到卷积后特征向量集合{H1,
…
,
M
}；根据所述卷积后特征向量集合{H1,
…
,
M
}得到每个结点的关键点坐标矩阵根据所述关键点坐标矩阵中每个结点的正则化坐标和对应聚类结果的均值坐标，得到所述机载LiDAR点云的点云关键点信息。5.根据权利要求4所述的一种倾斜航空影像与机载LiDAR点云特征匹配方法，其特征在于：所述机载LiDAR点云的点云关键点信息包括所述机载LiDAR点云的关键点位置信息；所述机载LiDAR点云的关键点位置信息为所述关键点坐标矩阵每个结点的正则化坐标与对应聚类结果的均值坐标之和；其中，结点S
k
对应的关键点位置信息为对应的关键点位置信息为是关键点坐标矩阵中结点S
k
的正则化坐标，6.根据权利要求1所述的一种倾斜航空影像与机载LiDAR点云特征匹配方法，其特征在于：所述倾斜航空影像的影像关键点信息包括所述倾斜航空影像的关键点位置信息和关键点描述符信息；其中，...

【专利技术属性】
技术研发人员：武瑞宏，黎雯，陈敏，张卫龙，方通，葛旭明，
申请(专利权)人：中铁第一勘察设计院集团有限公司西南交通大学，
类型：发明
国别省市：