LiDAR点云和影像线特征引导的立体匹配方法及系统技术方案

本发明专利技术公开了一种LiDAR点云和影像线特征引导的立体匹配方法及系统，属于数字摄影测量技术领域。其中所述方法包括如下步骤：步骤S1，获取位于同一地区的立体影像和LiDAR点云，并基于LiDAR点云和影像线特征提取深度不连续线；步骤S2，基于空间域、强度域和深度不连续线，识别LiDAR投影点周围的同质像素，并利用高斯函数更新同质像素的匹配代价；步骤S3，在立体匹配的代价聚合过程中，利用深度不连续线感知的半全局匹配方法实现高精度的立体影像密集匹配。本发明专利技术提出并应用代价矩阵的三边更新策略和深度不连续线感知的半全局匹配方法，以将LiDAR数据和深度不连续线整合到密集匹配算法中。法中。法中。

【技术实现步骤摘要】
LiDAR点云和影像线特征引导的立体匹配方法及系统


[0001]本专利技术属于数字摄影测量
，具体涉及LiDAR点云和影像线特征引导的立体匹配方法及系统。

技术介绍

[0002]立体匹配也称作视差估计，其输入是一对在同一时刻捕捉到的，经过核线纠正的两张影像。而它的输出是由参考影像中每个像素对应的视差值所构成的视差图。立体匹配在摄影测量和计算机视觉中有着许多有影响力的应用。然而，由于纹理敏感，传统的密集匹配方法在低纹理、深度不连续区域的分辨能力很弱。相比之下，LiDAR点云具有较高的几何精度，且不受特征光谱的影响。然而，与相机的逐像素测量不同，LiDAR数据在大多数情况下是稀疏的，这可能导致深度不连续区域不能被很好地重建。因此，LiDAR数据和影像数据的互补融合是产生准确的、精细结构的三维点云的一个有前途的解决方案。
[0003]LiDAR数据约束的密集影像匹配是将LiDAR数据整合到一个先进的密集匹配框架中。它是融合LiDAR数据和影像的可靠方法。LiDAR数据可用于密集匹配的许多方面，如减少视差搜索范围、优化匹配代价和调整惩罚参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.LiDAR点云和影像线特征引导的立体匹配方法，其特征在于：包括如下步骤：步骤S1，获取位于同一地区的立体影像和LiDAR点云，并基于LiDAR点云和影像线特征提取深度不连续线；步骤S2，基于空间域、强度域和深度不连续线，识别LiDAR投影点周围的同质像素，并利用高斯函数更新同质像素的匹配代价；步骤S3，在立体匹配的代价聚合过程中，利用深度不连续线感知的半全局匹配方法实现高精度的立体影像密集匹配。2.根据权利要求1所述的方法，其特征在于：步骤S1的具体实现方式如下；步骤S1.1，首先进行LiDAR点云与立体影像之间的精确配准，然后，立体影像经过核线纠正生成基准核线影像和待匹配核线影像，LiDAR的离群点通过位置不确定性过滤掉；步骤S1.2，将LiDAR点云生成三角网模型，然后将来自LiDAR的三角网模型投影到基准核线影像上，以生成初始视差图和LiDAR投影点，LiDAR投影点在影像网格中呈现出具有已知深度或视差的稀疏激光点，在将LiDAR三角网模型反投影到原始影像影像上时，被遮挡的LiDAR点被排除；步骤S1.3，使用现有的直线特征检测算法提取基准核线影像上的线特征；步骤S1.4，在直线两侧建立缓冲矩形，两个缓冲矩形与影像中的直线对称，其长度与直线平行，其宽度与直线垂直，首先计算出初始视差图中两个缓冲矩形的视差中值，具有明显视差变化，即视差变化值大于1像素的直线被选为深度不连续线，其中视差中值是指缓冲矩形内有效视差值的中间值。3.根据权利要求1所述的方法，其特征在于：步骤S2中同质像素是指在LiDAR投影点的空间邻域内没有明显强度或颜色变化的像素，基于空间域、强度域和深度不连续线的三边滤波方法以确定LiDAR投影点周围的同质像素，该方法定义了中心像素q和周围每个像素p之间的相似度测量，计算相似度的公式如下：其中I
p
和I
q
分别为当前和中心像素的强度；加权函数f(
‑
)和g(
‑
)是基于高斯分布的函数，分别对应于空间域和强度域；p是否是q的同质像素可以通过固定的阈值截断来确定；T{
‑
}是验证中心像素和当前像素之间的线是否穿过深度不连续线的指示函数；M表示中心像素和当前像素之间的线在图像空间中的二值化集合；DL表示图像空间中深度不连续线的二值化集合；基于三边的像素相似性保证了深度不连续线两侧的像素不会被判断为同质像素。4.根据权利要求1所述的方法，其特征在于：步骤S2中利用高斯函数更新同质像素的匹配代价，匹配代价是指匹配点和待匹配点之间的特征描述距离，考虑到深度不连续线附近的像素的匹配成本的模糊性，将深度不连续线附近的像素的匹配代价设置为不等于0的最小值，最后，使用高斯函数更新这些同质像素的匹配代价，高斯函数更新匹配代价是指靠近正确视差的匹配代价减少，远离正确视差的匹配代价按高斯函数形式增加。5.根据权利要求1所述的方法，其特征在于：步骤S3中深度不连续线感知的半全局匹配
方法的具体实现方式如下；步骤S3.1，半全局匹配方法是沿一维路径L
r
在八个方向上穿过影像，使全局能量函数最小，沿着每条路径L
r
，递归地计算到达路径上一个像素p的所有视差的最小代价；其中，C(p,d)表示像素p在视差d处的匹配代价，L
r
(p,d)表示像素p沿路径r的匹配代价，k和i是匹配过程中用于计数的符号，无实际含义，P1和P2分别是当前像素p和路径r方向上前一个像素的视差差异为1的惩罚参数和视差差异大于1的惩罚参数；最后将代价路径累加到每个像素上的所有路径上：S(p,d)表示根据多路径聚合匹配代价得到最优视差，因此，每个像素的视差对应于最小的多路径聚合匹配代价；步骤S3.2，深度不连续线感知的半全局匹配方法是在深度不连续线处使用较小的惩罚参数P2，以允许相邻像素的视差发生显著变化；根据成本聚合路径上的相邻像素是否位于深度不连续线上更新惩罚参数，如果聚合方向上的当前像素p和前一个像素p
–
r中至少有一个有深度不连续线，那么传递给当前像素的视差信息就不再可靠，应该选择一个较小的惩罚参数以允许出现视差突变，如果p和p
–
r都没有深度不连续线，则不调整惩罚参数，具体公式如下：其中，DL表示图像空间中深度不连续线的二值化集合。6.LiDAR点云和影像线特征引导的立...

【专利技术属性】
技术研发人员：张永军，邹思远，刘欣怡，
申请(专利权)人：武汉大学，
类型：发明
国别省市：