用于城市场景重建的无人机实时路径规划方法技术

本发明专利技术提供了一种用于城市场景重建的无人机实时路径规划方法，利用场景俯视图作为先验信息生成无人机初始路径，在飞行过程中对初始路径实时优化，实现对城市场景的三维重建。主要包括四大步骤，步骤一：解析场景俯视图，得到场景布局，生成无人机初始路径；步骤二：在按照初始路径飞行过程中重建出建筑的稀疏点云并估计建筑高度，结合场景布局生成粗略场景模型，调整初始路径高度；步骤三：借助粗略场景模型和稀疏点云以及无人机飞行轨迹，得到场景覆盖置信图和需要特写的细节部分，对飞行路径实时优化；步骤四：得到高分辨率图像，重建得到场景的三维模型。本发明专利技术具有可行性、准确性和通用性，可用于城市的三维重建、自动测绘等应用中。

【技术实现步骤摘要】
用于城市场景重建的无人机实时路径规划方法
本专利技术涉及一种用于城市场景重建的无人机实时路径规划方法，利用场景的俯视图作为先验信息生成无人机初始飞行轨迹，在飞行过程中对初始轨迹进行实时优化，最终实现对城市场景的图像采集和三维建模，具有一定的有效性和通用性，属于机器人路径规划和计算机图形学领域。
技术介绍
随着“数字城市”的兴起，城市场景的三维重建正在成为当前研究的热点，构建城市场景三维模型，可以广泛应用于城市规划、城市监管、城市形象推广、房地产开发等领域。而由于城市场景环境较为复杂，尺度较大，因此三维重建也存在不小的难度。无人机因为能够在空中采集数据，视角也很丰富，因此成为城市三维重建的理想采集工具之一。为了能够得到令人满意的重建结果，无人机需要采集到足够多的图像，能够覆盖住整个场景，才能完整地将场景重建出来。目前大多数无人机都是通过人们手动操控的，但由于缺少直观的重建结果，在采集数据过程中不能知晓采集的数据是否全面，只能在重建出三维模型后判断，整个过程需要不止一次的飞行采集，耗时耗力。由于无人机在空中的航时较短，因此需要高效地采集到有用数据。同时，为了使重建结果质量较好，许多复杂的细节部分需要近距离拍摄，比如镂空部分、雨棚、花坛等。随着城市建模和无人机智能路径规划的需求增加，近些年来，一些科研工作者在相关技术上开展了研究。目前的工作大多数是基于视角选择问题对无人机路径进行规划，在重建出粗略场景模型的基础上，通过计算粗略模型的完整度计算最优的观测视角，再生成经过所有最优视角的飞行路径，最后无人机按照设定好的最优路径在场景中采集得到高分辨率图像，通过三维重建算法重建出精细的城市三维模型。但是这种方法需要事先重建出粗略的模型作为先验信息，因此需要无人机先采集到少量的数据进行重建，这大大增加了复杂度和完成时间。
技术实现思路
本专利技术技术解决问题：克服现有技术的不足，提供一种用于城市场景重建的无人机实时路径规划方法，利用场景的俯视图作为先验信息生成无人机初始飞行轨迹，在飞行过程中对初始轨迹进行实时优化，最终实现对城市场景的图像采集和三维建模。本专利技术鲁棒性强，解决了现有技术需要以粗略模型作为先验进行路径规划从而耗时耗力的难题，并且克服了当前技术难以生成具有细节的城市三维模型的限制。本专利技术采用的技术方案是：一种用于城市场景重建的无人机实时路径规划方法，包括以下步骤：(1)解析场景俯视图，得到场景的布局，根据场景布局确定无人机安全飞行区域，在安全飞行区域中生成高度固定且遍历建筑每个面的无人机初始飞行路径，同时给每个建筑赋相同的初始高度值，根据几何约束为无人机初始飞行路径添加镜头的朝向，使拍摄的建筑在画面中央；(2)在按照初始飞行路径飞行过程中重建出建筑的稀疏点云，借助稀疏点云估计出建筑的高度，然后结合步骤(1)得到的场景布局生成粗略场景模型，同时根据建筑的高度优化初始飞行路径，生成高度变化的飞行路径；(3)借助步骤(2)生成的粗略场景模型，并根据稀疏点云以及无人机的飞行轨迹，对场景采集信息完整度预测和对建筑细节部分判断，得到场景覆盖的置信图和需要特写的细节部分，并对飞行路径进行实时优化，得到能够实时补全场景采集信息并特写建筑细节的无人机飞行路径；(4)在按照优化的无人机飞行路径飞行过程中得到超过1900万像素的高分辨率图像(何为“高”，请给出范围)，利用多视角立体几何技术通过高分辨率图像重建得到完整并带有建筑细节部分的城市场景三维模型。所述步骤(1)具体实现如下：(2.1)在场景俯视图中分割出建筑，利用MaskR-CNN实例分割神经网络，分割出每个建筑，得到场景的布局，根据场景布局确定无人机安全飞行区域，即除建筑上方以外的区域。此时建筑之间是不连通的，为不连通图；(2.2)为生成连贯的无人机飞行路径，需要将步骤(2.1)中的不连通图转换为连通图，将每个建筑看作一个点，建筑与建筑之间的路径看作边，建筑与建筑之间的距离作为边的权重，通过Dijkstra算法求出经过每个点的最短路径，此路径即为通过每个建筑的最短路径，此时将场景中每个建筑用几何形状表示，建筑的任意两点均有路径相连，构建连通图；(2.3)经过步骤(2.2)得到连通图，此时为节省飞行时间需要得到遍历建筑每个面的最短路径，通过添加重复边使连通图成为欧拉图，再利用Fleury算法求出最优欧拉环游，此时得到的最优欧拉环游为在安全飞行区域中高度固定且遍历建筑每个面的无人机初始飞行路径；(2.4)给每个建筑一个初始高度，根据几何约束计算镜头的朝向，在步骤(2.3)的基础上为无人机初始飞行路径添加镜头朝向，使得能够同时拍摄到建筑的顶面和侧面，拍摄的建筑在画面中央，完成路径的初始化。所述步骤(2)具体实现如下：(3.1)无人机在按照步骤(1)中生成的初始飞行路径飞行过程中，在拍摄当前建筑时，拍摄到的图像与步骤(1)中的场景俯视图进行图像匹配，提取尺度不变特征变换(SIFT)特征确定当前拍摄画面中建筑的区域；(3.2)通过SLAM重建出建筑的稀疏点云，在步骤(3.1)中确定的区域搜索点，根据区域中的点在z轴上的最大值和最小值来确定点的高度；(3.3)在确定点的高度后，根据建筑顶部区域的大小以及实际建筑顶部的大小确定缩放比例，将点的高度与缩放比例相乘，使重建的稀疏点云尺度统一，恢复建筑的真实高度；(3.4)在得到的场景布局的基础上，结合步骤(3.3)中已经得到的建筑的真实高度，生成场景的粗略模型，并根据建筑的真实高度优化初始飞行路径，重新调整初始飞行路径的高度，计算镜头的朝向。所述步骤(3)具体实现如下：(4.1)结合步骤(3.4)的粗略场景模型对场景采集信息完整度预测，根据SLAM恢复的稀疏点云确定无人机已经覆盖的区域，根据恢复的无人机飞行轨迹确定可能覆盖的区域，生成场景覆盖置信图；(4.2)对于剩下的未覆盖的区域，计算需要添加到路径的点以及机载相机镜头朝向，实时优化无人机飞行路径，使无人机能实时补全场景采集信息；(4.3)在重建稀疏点云的同时对建筑细节部分判断，计算稀疏点云密度，确定稀疏点云密度较大，即每立方米点的数量超过10个的区域，优化飞行路径使得无人机能够特写建筑的阳台、水箱、消防梯结构复杂的部分。本专利技术与现有技术相比，其有益的特点是：(1)当前用于城市场景重建的无人机路径规划方法不能达到实时规划，需要已重建的粗略模型作为先验信息，因此需要事先重建出粗略模型，耗时长，本专利技术克服了当前方法的限制，利用场景俯视图作为先验信息，在飞行过程中实时对飞行路径优化，不需要无人机多次飞行，极大减少总时长。(2)目前城市人工建模需要专业设计人员手工设计、建模，耗时耗力，本专利技术提出的方法简单有效，相比于目前城市人工建模方法不需要用户手工操作，而且也不需要用户具备任何专业的技能，通过规划无人机飞行路径使无人机能自动对城市场景进行图像采集，然后利用立体视觉技术完成城市场景的自动重建。(3)人工遥控无人机测绘方法需要用户控制无本文档来自技高网...

【技术保护点】
1.一种用于城市场景重建的无人机实时路径规划方法，其特征在于，包括以下步骤：/n(1)解析场景俯视图，得到场景的布局，根据场景布局确定无人机安全飞行区域，在安全飞行区域中生成高度固定且遍历建筑每个面的无人机初始飞行路径，同时给每个建筑赋相同的初始高度值，根据几何约束为无人机初始飞行路径添加镜头的朝向，使拍摄的建筑在画面中央；/n(2)在按照初始飞行路径飞行过程中重建出建筑的稀疏点云，借助稀疏点云估计出建筑的高度，然后结合步骤(1)得到的场景布局生成粗略场景模型，同时根据建筑的高度优化初始飞行路径，生成高度变化的飞行路径；/n(3)借助步骤(2)生成的粗略场景模型，并根据稀疏点云以及无人机的飞行轨迹，对场景采集信息完整度预测和对建筑细节部分判断，得到场景覆盖的置信图和需要特写的细节部分，并对飞行路径进行实时优化，得到能够实时补全场景采集信息并特写建筑细节的无人机飞行路径；/n(4)在按照优化的无人机飞行路径飞行过程中得到超过1900万像素的高分辨率图像，利用多视角立体几何技术通过高分辨率图像重建得到完整并带有建筑细节部分的城市场景三维模型。/n

【技术特征摘要】
1.一种用于城市场景重建的无人机实时路径规划方法，其特征在于，包括以下步骤：
(1)解析场景俯视图，得到场景的布局，根据场景布局确定无人机安全飞行区域，在安全飞行区域中生成高度固定且遍历建筑每个面的无人机初始飞行路径，同时给每个建筑赋相同的初始高度值，根据几何约束为无人机初始飞行路径添加镜头的朝向，使拍摄的建筑在画面中央；
(2)在按照初始飞行路径飞行过程中重建出建筑的稀疏点云，借助稀疏点云估计出建筑的高度，然后结合步骤(1)得到的场景布局生成粗略场景模型，同时根据建筑的高度优化初始飞行路径，生成高度变化的飞行路径；
(3)借助步骤(2)生成的粗略场景模型，并根据稀疏点云以及无人机的飞行轨迹，对场景采集信息完整度预测和对建筑细节部分判断，得到场景覆盖的置信图和需要特写的细节部分，并对飞行路径进行实时优化，得到能够实时补全场景采集信息并特写建筑细节的无人机飞行路径；
(4)在按照优化的无人机飞行路径飞行过程中得到超过1900万像素的高分辨率图像，利用多视角立体几何技术通过高分辨率图像重建得到完整并带有建筑细节部分的城市场景三维模型。


2.根据权利要求1所述的用于城市场景重建的无人机实时路径规划方法，其特征在于：所述步骤(1)具体实现如下：
(2.1)在场景俯视图中分割出建筑，利用MaskR-CNN实例分割神经网络，分割出每个建筑，得到场景的布局，根据场景布局确定无人机安全飞行区域，即除建筑上方以外的区域。此时建筑之间是不连通的，为不连通图；
(2.2)为生成连贯的无人机飞行路径，需要将步骤(2.1)中的不连通图转换为连通图，将每个建筑看作一个点，建筑与建筑之间的路径看作边，建筑与建筑之间的距离作为边的权重，通过Dijkstra算法求出经过每个点的最短路径，此路径即为通过每个建筑的最短路径，此时将场景中每个建筑用几何形状表示，建筑的任意两点均有路径相连，构建连通图；
(2.3)经过步骤(2.2)得到连通图，此时为节省飞行时间需要得到遍历建筑每个面的最短路径，通过添加重复边使连通图成为欧拉图，再利用Fleury算法求出最优欧拉环游，此时得到的最优欧拉环游为在安全飞...

【专利技术属性】
技术研发人员：周彬，匡麒，吴进波，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11