一种面向空地影像数据融合的建筑目标点云快速生成方法技术

本发明专利技术公开了一种面向空地影像数据融合的建筑目标点云快速生成方法，属于点云数据处理领域。本发明专利技术以城市场景中丰富的建筑平面特征为约束，研究并提出面向空地影像融合的高效可靠的密集匹配方法，引入边缘检测算子提升初始种子点数量、优化种子点分布，加入平面过滤方法滤除非平面种子点，并通过平面拟合纠正种子点的初始法方向，通过归一化互相关系数约束快速生成面片以提升建筑物平面区域密集点云生成效率，加速密集匹配过程提高空地影像数据融合的时间效率。融合的时间效率。融合的时间效率。

【技术实现步骤摘要】
一种面向空地影像数据融合的建筑目标点云快速生成方法


[0001]本专利技术属于点云数据处理领域，特别是涉及一种面向空地影像数据融合的建筑目标点云快速生成方法。

技术介绍

[0002]城市地理信息数字化产物作为地理信息载体在智慧城市和数字城市建设中起着非常重要的作用，三维重建技术因此发展迅速。然而仅利用单一的从空中获取的数据进行三维重建时，由于遮挡和拍摄倾角过大等问题，靠近地面的部分容易出现扭曲和孔洞等几何缺陷以及纹理模糊，特别是在对建筑目标的立面进行重建时，这些问题尤为突出。而利用单一的地面数据进行三维重建，虽然可以获得纹理清晰，几何变形较小的近地面数据，然而其问题在于测量距离有限，无法获得目标的完整测量数据，例如无法获得建筑物的屋顶面数据等。由于航空数据与地面数据互为补充，联合空地数据进行三维重建将成为解决目前仅仅利用单一数据源进行三维重建时导致的目标不完整、细节信息缺失等问题的一种可行方法。
[0003]现有的多视密集匹配方法可以分为四类：基于体素的方法需要已知场景的包围盒，并且重建精度受体素网格的分辨率限制；基于深度图的方法需要估计所有图像的深度图，然后将它们融合成一个统一的三维场景表示，精度稍低；基于深度学习的方法需要使用大量数据训练深度神经网络的参数，然后直接基于影像预测出深度信息。该方法在弱纹理区域能够得到较好的结果，但极度依赖训练数据，当训练数据不足时重建质量会快速下降，并且该方法对硬件要求较高，目前仅适合用于处理较小分辨率的数据；基于面片的方法通过收集场景的面片来表示场景表面，重建模型完整性依赖关键点匹配情况。前三类方法都需要获取先验知识，这对大规模城市场景来说可行性较低，而最后基于面片的方法不依赖任何先验信息，且对异常点有一定的过滤能力，鲁棒性较好。根据middlebury基准数据集定性评价结果，基于面片的多视密集匹配算法(Patch
‑
based Multi
‑
View Stereo,PMVS)对于所有的六组数据均获得了较好的精度和完整性重建结果，算法性能出色。不足的是，使用PMVS算法进行重建耗时较长，这在一定程度上不利于其投入实际应用。针对PMVS算法这一不足，部分学者提出了改进办法，虽然时间效率取得不同程度提高，然而效率提升幅度有限，最高仅为10％左右，且并未对算法性能进行定量评价。
[0004]空地影像数据融合的关键在于获取空地影像在统一坐标系统下的位姿参数，利用影像特征匹配的方式可以获取，然而现有的特征匹配算法适用的视角差异有限，不足以直接用于空地影像上的大视角特征匹配。利用影像生成的密集点云获得空地影像之间的位姿转换关系的方法实现空地影像的位姿参数统一是实现自动化空地影像数据融合的有效可行路径，但现有密集匹配点云生成方法效率较低，不利于实现快速的自动融合。
[0005]PMVS算法包含三个过程：初始特征匹配，面片扩展和面片过滤。首先通过Harris和DoG(difference
‑
of
‑
Gaussians)算子提取特征点进行特征匹配得到稀疏种子点，也称为初始面片。然后在初始面片周围扩展得到密集面片，在此阶段需要对新生成的每一个面片的
位置和法方向进行优化。最后，过滤掉密集面片中的错误面片。然而该方法存在以下缺点：
[0006]1)DoG算子需要构建影像金字塔，主要提取斑点特征用于生成种子点，耗时较长，且生成的种子点多位于树叶、地面等非典型目标区域，意义不大。
[0007]2)现有的密集匹配方法采用逐点优化的方式生成点云，通过最小化影像光度差异值来得到最优种子点位置和法方向，该方法耗时且优化后的法方向容易陷入局部最优，并非真正的法线方向。

技术实现思路

[0008]针对现有技术的不足，本专利技术在PMVS的基础上做出改进，通过引入边缘检测算子提升建筑区域的特征显著性，利用角点算子提取角点特征，提升时间效率，且所获得的种子点基本位于建筑区域。在面片扩展之前，引入法方向纠正步骤，为后续法方向优化步骤提供相对正确的初值，同时通过平面约束减少位于平面上种子点的优化计算，减少算法的计算时间。
[0009]本专利技术以城市场景中丰富的建筑平面特征为约束，研究并提出面向空地影像融合的高效可靠的密集匹配方法，引入边缘检测算子提升初始种子点数量、优化种子点分布，加入平面过滤方法滤除非平面种子点，并通过平面拟合纠正种子点的初始法方向，通过归一化互相关系数约束快速生成面片以提升建筑物平面区域密集点云生成效率，加速密集匹配过程提高空地影像数据融合的时间效率。
[0010]为了达到上述目的，本专利技术提供的技术方案是，一种面向空地影像数据融合的建筑目标点云快速生成方法，包括以下步骤：
[0011]步骤1，首先将影像二值化，并提取角点特征，进而获得初始种子点；
[0012]步骤2，通过最大化种子面片对应影像窗口的归一化互相关系数平均值NCC来优化和调整初始种子点的位置和法方向，并采用平面拟合方式将初始种子点法方向纠正到垂直于平面的方向上，得到位于平面上的种子点集合，种子面片即为经过种子点且垂直于种子点法方向的平面；
[0013]步骤3，对于种子点集合中满足平面约束条件的种子点，在平面上扩展种子点时通过种子点所在的种子面片计算出相邻的扩展种子点的位置，将种子点的法方向赋值给新扩展的相邻种子点；对于不满足平面约束条件的种子点，按照PMVS方法扩展生成新的种子点，并将新扩展成功的种子点加入到种子点集合中，由此快速生成平面点云。
[0014]进一步的，步骤1中引入Canny边缘检测算子对原始影像进行二值化处理，并使用Harris算子提取角点特征，获得角点特征后，在每张影像的固定大小尺寸像素区域中选择多个响应值最大的Harris角点，所述像素区域即格网；
[0015]依次将每一张影像当做参考影像，将剩下的影像按照视角和距离进行优先级排序，选择优先级靠前的多张影像作为待匹配影像；
[0016]将参考影像格网中的每个特征点通过对极几何约束找到其在待匹配影像上的同名特征，通过三角测量计算这个特征点对应的空间三维点坐标，一旦该格网中有一个特征点的三维点坐标计算成功或者该格网中所有的特征点都计算完毕，则进入影像上的下一个格网，开始新的三维点坐标计算，直到影像上所有的格网都计算完毕；
[0017]所有影像都按照上述步骤操作，得到三维点云模型的初始种子点。
[0018]进一步的，步骤2中，NCC的具体计算方式如下；
[0019]初始种子点的位置通过对极几何约束下的三角化获得，种子面片的初始法线方向由种子点指向参考影像的光心，通过最大化种子面片对应影像窗口的归一化互相关系数平均值NCC来优化和调整初始种子点的位置和法方向，优化函数见公式(1)；
[0020][0021]式中：NCC表示种子点投影到可见影像上对应的相关窗口归一化互相关系数的平均值；V(p)表示种子点的可见影像集合；|V(p)|表示种子点的可见影像数目；R(p)表示种子点对应的参考影像；I...

【技术保护点】

【技术特征摘要】
1.一种面向空地影像数据融合的建筑目标点云快速生成方法，其特征在于，包括如下步骤：步骤1，首先将影像二值化，并提取角点特征，进而获得初始种子点；步骤2，通过最大化种子面片对应影像窗口的归一化互相关系数平均值NCC来优化和调整初始种子点的位置和法方向，并采用平面拟合方式将初始种子点法方向纠正到垂直于平面的方向上，得到位于平面上的种子点集合，种子面片即为经过种子点且垂直于种子点法方向的平面；步骤3，对于种子点集合中满足平面约束条件的种子点，在平面上扩展种子点时通过种子点所在的种子面片计算出相邻的扩展种子点的位置，将种子点的法方向赋值给新扩展的相邻种子点；对于不满足平面约束条件的种子点，按照PMVS方法扩展生成新的种子点，并将新扩展成功的种子点加入到种子点集合中，由此快速生成平面点云。2.如权利要求1所述的一种面向空地影像数据融合的建筑目标点云快速生成方法，其特征在于：步骤1中引入Canny边缘检测算子对原始影像进行二值化处理，并使用Harris算子提取角点特征，获得角点特征后，在每张影像的固定大小尺寸像素区域中选择多个响应值最大的Harris角点，所述像素区域即格网；依次将每一张影像当做参考影像，将剩下的影像按照视角和距离进行优先级排序，选择优先级靠前的多张影像作为待匹配影像；将参考影像格网中的每个特征点通过对极几何约束找到其在待匹配影像上的同名特征，通过三角测量计算这个特征点对应的空间三维点坐标，一旦该格网中有一个特征点的三维点坐标计算成功或者该格网中所有的特征点都计算完毕，则进入影像上的下一个格网，开始新的三维点坐标计算，直到影像上所有的格网都计算完毕；所有影像都按照上述步骤操作，得到三维点云模型的初始种子点。3.如权利要求1所述的一种面向空地影像数据融合的建筑目标点云快速生成方法，其特征在于：步骤2中，NCC的具体计算方式如下；初始种子点的位置通过对极几何约束下的三角化获得，种子面片的初始法线方向由种子点指向参考影像的光心，通过最大化种子面片对应影像窗口的归一化互相关系数平均值NCC来优化和调整初始种子点的位置和法方向，优化函数见公式(1)；式中：NCC表示种子点投影到可见影像上对应的相关窗口归一化互相关系数的平均值；V(p)表示种子点的可见影像集合；|V(p)|表示种子点的可见影像数目；R(p)表示种子点对应的参考影像；I
j
表示种子点的可见影像；ncc(
·
)表示种子点的归一化互相关系数计算函数，见公式(2)；式中：f和g分别表示面片对应的影像窗口像素灰度值；和表示窗口内的像素灰度平均值；δ
f
和δ
g
表示窗口的像素灰度值标准差。4.如权利要求1所述的一种面向空地影像数据融合的建筑目标点云快速生成方法，其
特征在于：步骤2中，将初始种子点法方向纠正到垂直于平面的方向上的具体实现方式如下，对所有种子点构建kd树，首先，对每一个种子点q
i
在其较大邻域范围内搜索邻居点并设置严苛的平面拟合条件threshold1，|planar point|≥max(0.7*|neighbors|,5)，得到种子点所在平面参数和新的法方向，对所有的邻域点进行平面拟合，所有的邻域点中会有一部分点位于平面上，这部分点用planar point表示，neighbors表示邻域点，||表示取数量；根据新的法方向构建面片，计算面片的NCC，如果NCC大于一...

【专利技术属性】
技术研发人员：闫利，谢洪，娄紫璇，韦朋成，
申请(专利权)人：武汉大学，
类型：发明
国别省市：