一种基于无人机的城市三维测绘方法和系统技术方案

一种基于无人机的城市三维测绘方法和系统，该方法包括：规划第一航线，沿第一航线进行图像采集，构建第一三维地图；通过快速稠密重建方式恢复第一三维地图的稠密面片，形成第二三维地图；对第二三维地图计算不完整和质量较差区域，并计算能拍摄到该区域的下一最优视点，根据下一最优视点，生成无碰撞路径；在下一最优视点采集图像生成第二三维地图，重复上述步骤，直到构建成区域完整的第二三维地图，即得到第三三维地图。本发明专利技术可以自主进行三维测绘，实时构建地图，最终形成完整且带有纹理信息的三维地图。相对于现有技术，本发明专利技术能够自动找到不完整区域并补全，实时形成三维地图。

【技术实现步骤摘要】
一种基于无人机的城市三维测绘方法和系统
本专利技术涉及地图测绘领域，具体的，涉及一种基于无人机的城市三维测绘方法和系统。
技术介绍
传统三维测绘方法主要依靠人工手段，工期时间长，成本较高且成果形式单一。近年来，随着小型无人机与摄像机产品性能的提高，基于航空摄影图像的摄影测量技术得以广泛的应用。它以小型无人机拍摄到的图像为输入，对图像进行分析，通过计算机视觉的方法计算出城市的三维信息。包括倾斜摄影在内的基于无人机的三维测绘技术简化了测绘的操作复杂度、节约了人力成本。但是，仍然存在以下问题，第一，测绘的过程往往需要手动遥控或目标航向设定等人工参与，需通过人为判断来确定三维测绘的质量并进行后续操作，这些因素大大制约了三维测绘的效率和成本；第二，测绘模型的生成往往是通过对无人机拍摄的大量图像，尤其是对城市级场景来说，数据量很多，通过离线处理得到三维地图，其耗时相对较长。因此，如何能够使得无人机能够自主进行三维测绘，实时构建地图，从而减少人工干预，提高测绘效率，成为现有技术亟需解决的技术问题。
技术实现思路
本专利技术的目的在于提出一种基于无人机的城市三维测绘方法和系统，能够使得无人机能够自主进行三维测绘，实时构建地图，最终形成完整且带有纹理信息的三维地图。为达此目的，本专利技术采用以下技术方案：一种基于无人机的城市三维测绘方法，所述无人机包括无人机本体、云台、图像采集模块、导航定位模块、和惯性测量单元；其特征在于，包括如下步骤：第一航线规划步骤S110：接收使用者的标记信号，对无人机规划出第一航线，第一航线为相同高度的飞行线路，将第一航线传送至无人机；图像采集步骤S120：无人机沿第一航线飞行，通过图像采集模块采集的图像信号，并收集与所采集的图像信号对应的导航定位和惯性测量数据；第一三维地图生成步骤S130：通过同时定位与地图构建技术，并融合导航定位数据和惯性测量数据计算无人机当前位置和姿态，构建第一三维地图，其中所述第一三维地图为稀疏点云；第二三维地图生成步骤S140：通过快速稠密重建方式恢复第一三维地图的稠密面片，形成第二三维地图；下一最优视点计算步骤S150：对第二三维地图计算不完整和质量较差区域，并计算能拍摄到该区域的视点，称为下一最优视点，所述下一最优视点的高度不再局限于第一航线的高度；无碰撞路径生成步骤S160：根据从无人机当前位姿运动到下一最优视点，规划生成无碰撞路径，所述无碰撞路径为第二航线，并使得无人机沿第二航线飞行；第二三维地图更新步骤S170：在下一最优视点采集图像，通过快速稠密重建的方法，恢复稠密面片，并添加到第二三维地图中，得到更新的第二三维地图。第三三维地图构建步骤S180：重复步骤S150-S170，直到构建成区域完整的第二三维地图，即得到第三三维地图。可选的，在所述第一航线规划步骤S110中，所述第一航线为相同高度的飞行线路，且该飞行路线为折线型。可选的，在所述第一三维地图生成步骤S130中，所述同时定位与地图构建技术为ORB-SLAM。可选的，所述第二三维地图生成步骤S140具体为：将用来形成第一三维地图的图像通过简单线性迭代簇超像素分割划分为不同多边形子区域，每个多边形再通过Delaunay三角化分割为三角形；对这些三角形进行选取，选取第一三维地图中的点的投影在其中的三角形，每个三角形可认为是平面，对其进行深度估计，此过程构成线性方程并求解，从而进行快速稠密重建。可选的，所述第二三维地图生成步骤S140具体为：单幅图像中单个三角形的三维重建能量函数构建子步骤S141：对于图像中选取的三角形v1，v2，v3，三维重建该三角形等价于计算v1、v2和v3点处的深度，假设p是第一三维地图的一个点，且p在当前图像的投影落在三角形{v1,v2,v3}内，将p点的深度表示为dp＝α1d1+α2d2+α3d3，其中，dp和dk分别是p和vk(1≤k≤3)的深度，权重(α1,α2,α3)为p在三角形{v1,v2,v3}内的重心坐标，重建该三角形即求解dk(1≤k≤3)，通过最小化如下三维重建能量函数，保证与第一三维地图点的一致性：Eslam(i)＝(dp-α1d1-α2d2-α3d3)2其中i表示输入图像的索引；单幅图像三维重建的局部连续性约束能量函数构建子步骤S142：对于两个相邻的三角形，进行参数化，另外一个为三角形v4，v5，v6，局部连续性可通过最小化如下函数实现：Econtinuity(i)＝wc((d3-d5)2+(d2-d6)2)其中，权重wc表示通过两个三角形的差异来控制平滑的强度；多视点约束能量函数构建子步骤S143：对于相邻视点i和j，假设在视点j中的三角形{v′1,v′2,v′3}在视点i中的投影覆盖顶点v1，它们的深度分别表示为d′1、d′2和d′3，此时v1的深度应该与d′1、d′2和d′3的插值相一致，即应最小化如下多视点约束能量函数：Efusion(i,j)＝(d1-γ1d′1-γ2d′2-γ3d′3)2其中(γ1,γ2,γ3)是v1在三角形{v′1,v′2,v′3}内的重心坐标；总能量函数三维重建子步骤S144：建立总能量函数，将该总能量函数表示为矩阵的形式进行线性求解，从而得到第二三维地图。可选的，所述下一最优视点计算步骤S150具体包括：不完整和质量较差区域计算步骤S151：计算第二三维地图的泊松信号值，对于泊松信号值较差的点进一步对采样点进行评估，其中采样点p对应的小圆盘区域为AP，ap(v)是采样点p在图像中的投影，定义此采样点的投影比率为γp(v)＝ap(v)/Ap；对于每个采样点，将某个大投影比率的视点记作好视点，如果一个采样点在不足两个好视点中可见，记作“不完整”，最后，如果两个好视点之间的夹角在(2-30)范围内，该点标记为“完整”，否则标记为“不完整”，从而获得不完整和质量较差区域；重建不完整或质量较差的区域对应的下一最优视点求解子步骤S152：分别计算遮挡项、聚焦项、视差项和入射项，具体地，选择K＝10个距离较近的“不完整”采样点，其对应的泊松圆盘采样区域记作集合令为中的面的顶点的集合，其惩罚参数记作为了得到正向能量，选择来增强能量函数中的所有项，遮挡项：用来促进从相机的位姿P处，可以看见该区域，定义该项为：聚焦项：用来表示周围区域倾向于投影在图像的中心，对以图像为中心的顶点进行二维高斯分布加权，具体为：其中，vxP和vyP是v投影到相机P的坐标，(x0,y0)是图像中心，令W和H是图像的宽和高；视差项：用来表示倾向于拍摄与其他图像相比视差较大的表面，视差项表示为：其中，B是基线，即两个位姿的距离；H表示待求位姿与v的距离，即无人机的高度，δ是固定阈值；入射项：表示相机倾向于观察入射角为40°到70°的本文档来自技高网...

【技术保护点】
1.一种基于无人机的城市三维测绘方法，/n所述无人机包括无人机本体、云台、图像采集模块、导航定位模块、和惯性测量单元；/n其特征在于，包括如下步骤：/n第一航线规划步骤S110：接收使用者的标记信号，对无人机规划出第一航线，第一航线为相同高度的飞行线路，将第一航线传送至无人机；/n图像采集步骤S120：无人机沿第一航线飞行，通过图像采集模块采集的图像信号，并收集与所采集的图像信号对应的导航定位和惯性测量数据；/n第一三维地图生成步骤S130：通过同时定位与地图构建技术，并融合导航定位数据和惯性测量数据计算无人机当前位置和姿态，构建第一三维地图，其中所述第一三维地图为稀疏点云；/n第二三维地图生成步骤S140：通过快速稠密重建方式恢复第一三维地图的稠密面片，形成第二三维地图；/n下一最优视点计算步骤S150：对第二三维地图计算不完整和质量较差区域，并计算能拍摄到该区域的视点，称为下一最优视点，所述下一最优视点的高度不再局限于第一航线的高度；/n无碰撞路径生成步骤S160：根据从无人机当前位姿运动到下一最优视点，规划生成无碰撞路径，所述无碰撞路径为第二航线，并使得无人机沿第二航线飞行；/n第二三维地图更新步骤S170：在下一最优视点采集图像，通过快速稠密重建的方法，恢复稠密面片，并添加到第二三维地图中，得到更新的第二三维地图。/n第三三维地图构建步骤S180：重复步骤S150-S170，直到构建成区域完整的第二三维地图，即得到第三三维地图。/n...

【技术特征摘要】
1.一种基于无人机的城市三维测绘方法，
所述无人机包括无人机本体、云台、图像采集模块、导航定位模块、和惯性测量单元；
其特征在于，包括如下步骤：
第一航线规划步骤S110：接收使用者的标记信号，对无人机规划出第一航线，第一航线为相同高度的飞行线路，将第一航线传送至无人机；
图像采集步骤S120：无人机沿第一航线飞行，通过图像采集模块采集的图像信号，并收集与所采集的图像信号对应的导航定位和惯性测量数据；
第一三维地图生成步骤S130：通过同时定位与地图构建技术，并融合导航定位数据和惯性测量数据计算无人机当前位置和姿态，构建第一三维地图，其中所述第一三维地图为稀疏点云；
第二三维地图生成步骤S140：通过快速稠密重建方式恢复第一三维地图的稠密面片，形成第二三维地图；
下一最优视点计算步骤S150：对第二三维地图计算不完整和质量较差区域，并计算能拍摄到该区域的视点，称为下一最优视点，所述下一最优视点的高度不再局限于第一航线的高度；
无碰撞路径生成步骤S160：根据从无人机当前位姿运动到下一最优视点，规划生成无碰撞路径，所述无碰撞路径为第二航线，并使得无人机沿第二航线飞行；
第二三维地图更新步骤S170：在下一最优视点采集图像，通过快速稠密重建的方法，恢复稠密面片，并添加到第二三维地图中，得到更新的第二三维地图。
第三三维地图构建步骤S180：重复步骤S150-S170，直到构建成区域完整的第二三维地图，即得到第三三维地图。


2.根据权利要求1所述的城市三维测绘方法，其特征在于：
在所述第一航线规划步骤S110中，所述第一航线为相同高度的飞行线路，且该飞行路线为折线型。


3.根据权利要求1所述的城市三维测绘方法，其特征在于：
在所述第一三维地图生成步骤S130中，所述同时定位与地图构建技术为ORB-SLAM。


4.根据权利要求1所述的城市三维测绘方法，其特征在于：
所述第二三维地图生成步骤S140具体为：将用来形成第一三维地图的图像通过简单线性迭代簇超像素分割划分为不同多边形子区域，每个多边形再通过Delaunay三角化分割为三角形；对这些三角形进行选取，选取第一三维地图中的点的投影在其中的三角形，每个三角形可认为是平面，对其进行深度估计，此过程构成线性方程并求解，从而进行快速稠密重建。


5.根据权利要求4所述的城市三维测绘方法，其特征在于：
所述第二三维地图生成步骤S140具体为：
单幅图像中单个三角形的三维重建能量函数构建子步骤S141：
对于图像中选取的三角形{v1，v2，v3}，三维重建该三角形等价于计算v1、v2和v3点处的深度，假设p是第一三维地图的一个点，且p在当前图像的投影落在三角形{v1,v2,v3}内，将p点的深度表示为dp＝α1d1+α2d2+α3d3，其中，dp和dk分别是p和vk(1≤k≤3)的深度，权重(α1,α2,α3)为p在三角形{v1,v2,v3}内的重心坐标，重建该三角形即求解dk(1≤k≤3)，通过最小化如下三维重建能量函数，保证与第一三维地图点的一致性：
Eslam(i)＝(dp-α1d1-α2d2-α3d3)2
其中i表示输入图像的索引；
单幅图像三维重建的局部连续性约束能量函数构建子步骤S142：
对于两个相邻的三角形，进行参数化，另外一个为三角形{v4，v5，v6}，局部连续性可通过最小化如下函数实现：
Econtinuity(i)＝wc((d3-d5)2+(d2-d6)2)
其中，权重wc表示通过两个三角形的差异来控制平滑的强度；
多视点约束能量函数构建子步骤S143：
对于相邻视点i和j，假设在视点j中的三角形{v′1,v′2,v′3}在视点i中的投影覆盖顶点v1，它们的深度分别表示为...

【专利技术属性】
技术研发人员：孟繁乐，王蓉，查文中，孟祥瑞，
申请(专利权)人：中国电子科技集团公司信息科学研究院，
类型：发明
国别省市：北京;11