融合航拍图像和地面扫描的三维重建方法、装置和设备制造方法及图纸

本申请提供一种融合航拍图像和地面扫描的三维重建方法、装置和设备，涉及图像处理技术领域。该方法包括：获取航拍图像的稠密点云和地面扫描点云之间的对应关系；根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并进行滤波处理，得到第三融合点云；根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。本申请的方法可以提升三维重建的精准度。可以提升三维重建的精准度。可以提升三维重建的精准度。

【技术实现步骤摘要】
融合航拍图像和地面扫描的三维重建方法、装置和设备


[0001]本申请涉及图像处理
，尤其涉及一种融合航拍图像和地面扫描的三维重建方法、装置和设备。

技术介绍

[0002]航拍影像与地面激光扫描数据融合的三维重建方法是一种用于创建城市或地区的三维模型的技术，其结合了两种不同类型的数据源：一种是通过航拍获取的空中影像，另一种是通过地面激光扫描仪获取的地面数据；这两种数据源都用于捕捉同一区域的信息，但它们从不同的角度和高度提供了不同的视角和精度，可提供更丰富的点云数据。
[0003]要融合航拍影像和地面激光扫描数据两种数据，自然需要考虑融合过程是否会对三维重建结果产生影响，导致精准度不足；目前常用的对点云进行配准的方法包括最近点迭代算法（Iterative Closest Point，ICP），为了保证ICP算法的精确性，一般要先进行粗配准，然后再通过ICP算法进行精配准，但是在航拍影像和地面激光扫描数据融合的实际应用中，现有的粗配准方式一般为手动取点，虽然确实在一定程度上保证了ICP算法的精确性，但是手动取点的操作难度大，且准确率也并不高。
[0004]因此，本申请提出一种更加精准的融合航拍图像和地面扫描的三维重建方法。

技术实现思路

[0005]本申请提供一种融合航拍图像和地面扫描的三维重建方法、装置和设备，用以解决现有技术中三维重建的精准度不足的问题。
[0006]第一方面，本申请提供融合航拍图像和地面扫描的三维重建方法，包括：根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云；根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。
[0007]在一种可能的实现方式中，所述根据第一图像对中的航拍图像和地面图像，获取多个第一内点，包括：
获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离；若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对；将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。
[0008]在一种可能的实现方式中，所述根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，包括：获取所述第一内点中空间点之间的初始对应关系，其中，所述初始对应关系包括所述第一旋转矩阵的旋转初始值和所述第一平移向量的平移初始值；根据所述初始对应关系，确认外点之间的匹配性，将匹配性超过匹配性阈值的外点划分为第二内点，其中，所述外点为未被选为第一内点的匹配点；根据所述第一内点和所述第二内点更新所述初始对应关系，得到更新的对应关系，并重复外点划分，直到不再出现新的划分或者划分次数超过预设次数时，将最后一次更新的对应关系作为所述航拍图像的稠密点云和地面扫描点云之间的对应关系。
[0009]在一种可能的实现方式中，所述根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云，包括：通过所述对应关系对所述航拍图像的稠密点云和所述地面扫描点云中其中一种点云进行变换，得到变换点云和非变换点云，并将所述变换点云和所述非变换点云组合为所述第一融合点云；通过所述数据配准算法对所述第一融合点云进行精配准，得到所述第一融合点云的第二旋转矩阵和第二平移向量；通过所述第二旋转矩阵和所述第二平移向量对所述第一融合点云进行处理，得到所述第二融合点云。
[0010]在一种可能的实现方式中，所述根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，包括：获取所述第二融合点云中各个选取点与其他点之间的第三距离，并选取预设距离范围内的其他点作为所述选取点的邻域点集，其中，每个所述第二融合点云中的点均包括空间坐标和颜色值；获取所述选取点和所述邻域点集中的点之间的第四距离，以及获取所述选取点和所述邻域点集中的点的距离向量在法向上的投影；根据所述第四距离获取空间距离权重，根据所述投影获取特征保持权重，根据所述颜色值获取颜色权重；根据所述空间距离权重、所述特征保持权重和所述颜色权重，获取联合权重；根据所述联合权重，获取所述第二融合点云的双边滤波因子。
[0011]在一种可能的实现方式中，所述根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，包括：通过初始体素边长对所述第三融合点云进行体素化，得到第二体素；通过三维网格圈定所述第二体素，并获取每个网格中的点云密度，其中，每个所述
网格包括多个第二体素；根据所述第二体素和所述点云密度，获取所述第三融合点云的第一体素边长。
[0012]在一种可能的实现方式中，所述根据第一图像对中的航拍图像和地面图像，获取多个第一内点之前，所述方法还包括：根据图像集中各个图像之间的相关性，获取第一候选图像对，其中，所述图像集中包括航拍图像和地面图像，所述第一候选图像对包括多个第二图像对，且每个所述第二图像对按照类别区分；获取类别概率超过预设类别阈值的所述第二图像对，得到第二候选图像对，其中，所述类别概率为所述第二图像对与自身所分配的类别匹配的概率；在同一类别中，若确认所述航拍图像的数量和所述地面图像的数量均超过第二预设数量，则选出所述第二预设数量的所述航拍图像和所述第二预设数量的所述地面图像；在同一类别中，若确认所述航拍图像的数量和/或所述地面图像的数量未超过所述第二预设数量，则将所述航拍图像的数量和所述地面图像的数量相比更少的一种作为选择标准，得到相等数量的所述航拍图像和所述地面图像；将同一类别中的所述航拍图像和所述地面图像一一匹配，得到所述第一图像对。
[0013]第二方面，本申请提供一种融合航拍图像和地面扫描的三维重建装置，包括：第一配准模块，用于根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；第二配准模块，用于根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；融合模块，用于根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合航拍图像和地面扫描的三维重建方法，其特征在于，包括：根据第一图像对中的航拍图像和地面图像，获取多个第一内点，其中，每个所述第一内点包括相互对应的一个航拍图像空间点和一个地面图像空间点，每个所述第一图像对中包括一张航拍图像和一张地面图像；根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，其中，所述对应关系包括第一旋转矩阵和第一平移向量；根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云；根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，并通过所述双边滤波因子对所述第二融合点云进行滤波处理，得到第三融合点云；根据所述第三融合点云的点云密度，获取所述第三融合点云的第一体素边长，并根据所述第一体素边长圈定第一体素，在每个所述第一体素中选出一个点，重新构建所述第三融合点云。2.根据权利要求1所述的方法，其特征在于，所述根据第一图像对中的航拍图像和地面图像，获取多个第一内点，包括：获取所述第一图像对中其中一张图像的第一特征点，并确认所述第一特征点与另一张图像的最近特征点之间的第一距离，以及次近特征点的第二距离；若所述第一距离与所述第二距离的比值小于预设比例阈值，则确认所述第一特征点与所述最近特征点为一个特征匹配点对；将所述特征匹配点对进行坐标系转换，得到空间匹配点对，从多个所述空间匹配点对中选取第一预设数量的空间匹配点对作为第一内点。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一内点，获取所述航拍图像的稠密点云和地面扫描点云之间的对应关系，包括：获取所述第一内点中空间点之间的初始对应关系，其中，所述初始对应关系包括所述第一旋转矩阵的旋转初始值和所述第一平移向量的平移初始值；根据所述初始对应关系，确认外点之间的匹配性，将匹配性超过匹配性阈值的外点划分为第二内点，其中，所述外点为未被选为第一内点的空间匹配点；根据所述第一内点和所述第二内点更新所述初始对应关系，得到更新的对应关系，并重复外点划分，直到不再出现新的划分或者划分次数超过预设次数时，将最后一次更新的对应关系作为所述航拍图像的稠密点云和地面扫描点云之间的对应关系。4.根据权利要求1所述的方法，其特征在于，所述根据所述对应关系获取第一融合点云，并通过数据配准算法对所述第一融合点云进行优化，得到第二融合点云，包括：通过所述对应关系对所述航拍图像的稠密点云和所述地面扫描点云中其中一种点云进行变换，得到变换点云和非变换点云，并将所述变换点云和所述非变换点云组合为所述第一融合点云；通过所述数据配准算法对所述第一融合点云进行精配准，得到所述第一融合点云的第二旋转矩阵和第二平移向量；通过所述第二旋转矩阵和所述第二平移向量对所述第一融合点云进行处理，得到所述
第二融合点云。5.根据权利要求1所述的方法，其特征在于，所述根据所述第二融合点云中各个点的空间坐标和颜色值，获取所述第二融合点云的双边滤波因子，包括：获取所述第二融合点云中各个选取点与其他点之间的第三距离，并选取预设距离范围内的其他点作为所述选取点的邻域点集，其中，每个所述第二融合点云中的点均包括空间坐标和颜色值；获取所述选取点和所述邻域点集中的点之间的第四距离，以及获取所述选取点和所述邻域点集中的点的距离向量在法向上的投影；根据所述第四距离获取空间距离权重，根据所述投影获取特征保持权重，根据所述颜色值获取颜色权重；根据所述空间距离权...

【专利技术属性】
技术研发人员：刘继超，詹慧媚，杜秀瑞，冯谨强，甘琳，陈康，宋峰，王玮，金岩，
申请(专利权)人：青岛海纳云智能系统有限公司青岛海纳云数字科技有限公司，
类型：发明
国别省市：