基于无人机航摄数据的正射影像实时生成方法及系统技术方案

本发明专利技术公开了基于无人机航摄数据的正射影像实时生成方法及系统，其可对由无人机采集的视频流数据分解所得单帧影像序列中单帧影像做如下处理来获得数字正射影像，包括：(1)去除单帧影像的相机畸变并提取特征点；(2)基于单帧影像序列构建全局地图；(3)在全局地图点点云构建的地图点三角网中找出新产生的三角面片，对新产生的三角面片找到对应的关键帧纹理进行纹理映射，最终获得数字正射影像。在该过程中，同时还可利用全局地图点点云生成数字表面模型和数字高程模型。本发明专利技术不依赖于高精度定位定姿系统即可实现高精度正射影像产品的实时生成，采用本发明专利技术在无人机航飞过程中即能同步完成航摄数据处理，可满足实时性与高精度的需求。

Real time generation method and system of Orthophoto based on UAV aerial data

【技术实现步骤摘要】
基于无人机航摄数据的正射影像实时生成方法及系统
本专利技术涉及无人机摄影测量领域，具体涉及一种基于无人机航摄数据的正射影像实时生成方法及系统。
技术介绍
近年来无人机因其高效、灵活、低成本等特性，已被广泛应用于测绘、勘探、应急、救灾等领域。无人机航空摄影测量技术大大降低了传统航空摄影测量技术的成本投入，使得航空摄影测量技术从贵族化走向平民化，具有更加普遍的现实意义和应用价值。但从另一方面来讲无人机影像处理的传统实施方法是待航摄飞行任务完成后将无人机航拍影像通过USB接口传输到电脑或服务器进行事后处理，一般还需要采集地面控制点和在图像上刺控制点，之后离线处理生成航测区域的正射影像。该方案工作仍需外业、内业配合完成，导致工作周期偏长，无法满足抢险救灾、应急处突、监控侦查等领域的航测工作的紧急、快速需求。公开号为CN107507132A的中国专利申请公开了一种无人机航摄影像的实时拼接方法，该实时拼接方法包括步骤：根据相邻待拼接航摄影像的重叠率，实时调整提取关键航摄影像的帧间间隔；并根据相邻两帧同名点的匹配关系得到相邻两帧的变换矩阵，将序列航摄影像变换到参考影像的坐标系；根据设置的参考帧调整判决条件，实时调整参考帧，以将航摄影像变换到参考帧坐标系过程中产生的累积误差分散到各帧影像，避免误差累积导致后续影像的严重扭曲变形。该方法只是对航摄影像简单的进行拼接处理，一旦无人机在飞行过程中连续出现倾角较大的情况，拼接图像会出现扭曲，且该方法最终无法生成数字高程模型(DEM)、正射影像(DOM)以及粗略的三维三角网模型(Mesh)等数据成果。公告号CN105627991A的中国专利公开了一种无人机影像实时全景拼接方法及系统，该方法包括步骤：相机对航摄区域进行拍摄获取每个曝光点的影像；分别从GPS和姿态仪中获取对应的GPS数据和姿态仪数据；对获取的GPS数据和姿态仪数据进行同步和实时解算，并算出相机在预设曝光时刻拍摄的影像的外方位元素；根据相机在预设曝光时刻的外方位元素将对应曝光点获取的且经过预处理的影像映射到全景图中，得到实时的影像全景图。该方法依赖高精度的POS系统(定位定姿系统)，没有明确给出当地平均高程的计算方法，且该方法仅利用相机外方位元素的角元素组成的旋转矩阵将倾斜影像变换为水平影像，纠正生成的正射影像精度不够高，该方法最终也无法生成DEM、Mesh等模型。另外，该方法根据预先划分的航摄区域信息和全景影像图的比例尺计算出拼接图的大小，这种直接固定全景影像图的像幅大小的做法，优点是思路简单，存在的缺点是：适用性不强，难以应对航线规划信息未知或不准确的情况；一般只能大概估算或饱和性估算全景影像图的像幅大小，而无法精准计算出全景影像图的像幅大小；在生成全景影像图的处理过程中占用内存资源较大。郑顺义等人在科技论文《一种ARM+DSP架构的机载影像实时拼接方法》[1]中提出，利用POS数据和该区域已有的DEM数据或全球公开的DEM数据SRTM3，进行数字微分纠正。不过这种方法存在的问题是：依赖高精度的POS系统，或需要已知高精度POS数据；适合于较低精度(米级)的大范围正射影像生成，例如使用大幅面数码航摄影像或卫星影像生成米级精度的DOM，同样也不能生成Mesh模型和较高精度的DEM数据。文中涉及如下参考文献：[1]郑顺义,马电,桂力,王晓南.一种ARM+DSP架构的机载影像实时拼接方法[J].武汉大学学报(信息科学版),2014,39(1):1-7.
技术实现思路
本专利技术的目的是提供一种基于无人机航摄数据的高精度正射影像实时生成方法及系统。本专利技术不依赖于高精度POS系统即可实现高精度DOM数据产品的实时生成，还可实时生成较高精度的DEM数据产品、粗略的Mesh模型以及DSM成果等。采用本专利技术方法，在无人机航飞过程中即能同步完成数据处理，可满足抗震救灾、应急响应等紧急情形下对数据实时性与高精度的需求。为达到上述目的，本专利技术提供了基于无人机航摄数据的正射影像实时生成方法，包括：对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像做如下处理：(1)去除单帧影像的相机畸变并提取特征点；(2)基于去除畸变的单帧影像序列构建全局地图，本步骤进一步包括：(2a)基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；(2b)将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；(2c)基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；(2d)对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后执行步骤(3)；否则执行步骤(2e)；(2e)周期性进行局部和全局的GPS辅助光束法平差，之后执行步骤(3)；对R2后的每一新单帧影像，依次执行步骤(2b)～(2d)，直至所有单帧影像处理完毕；(3)在全局地图点点云构建的地图点三角网中找出新产生的三角面片，将距离三角面片最近的关键帧纹理映射到三角面片，三角面片组合成数字正射影像。进一步的，步骤(2a)中构建相对坐标系下的初始地图，进一步包括：对初始帧L1和参考帧R2进行特征点匹配，获得匹配特征点对；利用特征点匹配结果，利用四点法计算R2相对于L1的单应矩阵，利用八点法计算相应的基础矩阵；利用单应矩阵和基础矩阵估计R2相对L1的位姿关系；基于位姿关系，对匹配特征点对进行三角化，生成地图点，并构建以L1为基础的相对坐标系下的初始地图。进一步的，步骤(2b)中利用关键帧序列追踪当前帧位姿，具体为：将当前帧与关键帧序列中距离最近的一关键帧进行特征点匹配，若匹配点对数量不超过m，丢弃当前帧，将下一新的单帧影像作为当前帧进行位姿追踪；若匹配点对数量超过m，基于匹配结果，利用EPnP算法追踪该当前帧的位姿，并获得姿态旋转矩阵R；m为经验值。进一步的，步骤(2c)进一步包括：新关键帧插入局部地图；将新关键帧与其在关键帧序列中相邻的关键帧进行特征点匹配，经三角化生成新地图点；在局部地图中删除冗余的地图点以及关键帧；利用局部光束法平差优化对新关键帧位姿及其上地图点的绝对坐标进行平差优化。进一步的，步骤(2d)中所述的对新关键帧进行回环检测，具体为：通过新关键帧的绝本文档来自技高网...

【技术保护点】
1.基于无人机航摄数据的正射影像实时生成方法，其特征是，包括：/n对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像做如下处理：/n(1)去除单帧影像的相机畸变并提取特征点；/n(2)基于去除畸变的单帧影像序列构建全局地图，本步骤进一步包括：/n(2a)基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；/n(2b)将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；/n(2c)基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；/n冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；/n(2d)对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后执行步骤(3)；否则执行步骤(2e)；/n(2e)周期性进行局部和全局的GPS辅助光束法平差，之后执行步骤(3)；/n对R2后的每一新单帧影像，依次执行步骤(2b)～(2d)，直至所有单帧影像处理完毕；/n(3)在全局地图点点云构建的地图点三角网中找出新产生的三角面片，将距离三角面片最近的关键帧纹理映射到三角面片，三角面片组合成数字正射影像。/n...

【技术特征摘要】
20190807 CN 20191072668121.基于无人机航摄数据的正射影像实时生成方法，其特征是，包括：
对由无人机采集的视频流数据分解所得单帧影像序列中各单帧影像做如下处理：
(1)去除单帧影像的相机畸变并提取特征点；
(2)基于去除畸变的单帧影像序列构建全局地图，本步骤进一步包括：
(2a)基于所选取的初始帧L1与参考帧R2，以L1为基础构建相对坐标系下的初始地图；L1与R2为单帧影像序列中相邻两影像帧且R2为后一帧，利用L1与R2初始化关键帧序列；
(2b)将新的单帧影像记为当前帧，利用关键帧序列追踪当前帧位姿，得当前帧的姿态旋转矩阵；判断最近t时内关键帧序列内是否有新关键帧加入，若无，将当前帧作为新关键帧加入，执行步骤(2c)；否则，继续对下一新的单帧影像执行本步骤；t为经验值；
(2c)基于新关键帧和其相邻关键帧生成新地图点，在局部地图中删除冗余的地图点及关键帧，利用局部地图平差优化新关键帧位姿及其地图点三维坐标；
冗余的地图点指：当一新地图点在其他关键帧上出现次数超过预设的次数阈值，则该地图点为冗余的地图点；冗余的关键帧指：当一关键帧上p％以上的地图点都能在其他关键帧上找到，则该关键帧为冗余的关键帧；次数阈值为经验值和百分比阈值p％均为经验值；
(2d)对新关键帧进行回环检测，当存在回环候选帧，利用新关键帧和回环候选帧优化全局地图，之后执行步骤(3)；否则执行步骤(2e)；
(2e)周期性进行局部和全局的GPS辅助光束法平差，之后执行步骤(3)；
对R2后的每一新单帧影像，依次执行步骤(2b)～(2d)，直至所有单帧影像处理完毕；
(3)在全局地图点点云构建的地图点三角网中找出新产生的三角面片，将距离三角面片最近的关键帧纹理映射到三角面片，三角面片组合成数字正射影像。


2.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(2b)中利用关键帧序列追踪当前帧位姿，具体为：
将当前帧与关键帧序列中距离最近的一关键帧进行特征点匹配，若匹配点对数量不超过m，丢弃当前帧，将下一新的单帧影像作为当前帧进行位姿追踪；若匹配点对数量超过m，基于匹配结果，利用EPnP算法追踪该当前帧的位姿，并获得姿态旋转矩阵R；m为经验值。


3.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(2d)中所述的对新关键帧进行回环检测，具体为：
通过新关键帧的绝对坐标位置以及姿态旋转矩阵，通过地图点高程计算新关键帧在地图点平均高程面的投影范围；通过判断新关键帧投影范围与关键帧序列的其他关键帧投影范围是否存在重叠区且重叠区范围是否大于预设的重叠阈值，来初始回环检测序列，利用视觉词袋算法DBow3在回环检测序列内找到回环候选帧；所述重叠阈值为经验值；
当存在回环候选帧时，优化全局地图，具体为：
将新关键帧与回环候选帧进行特征点匹配，基于匹配结果进行三维相似变换，之后利用关键帧相邻关系传播回环误差，再利用光束法平差优化全局地图。


4.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(2e)中所述的周期性进行局部和全局的GPS辅助光束法平差，具体为：
当关键帧序列中存在k帧未进行局部GPS辅助光束法平差的新关键帧时，利用关键帧序列中最新的i×k张关键帧对应的GPS坐标获取该i×k张关键帧摄影中心的绝对坐标，之后进行一次局部的GPS辅助光束法平差；
所述关键帧对应的GPS坐标指该关键帧获取时刻，无人机上GPS设备中心所在位置的坐标[B,L,H]，其中，B为大地纬度，L为大地经度，H为大地高程；
当每执行完j次局部的GPS辅助光束法平差后，对全局地图进行一次全局的GPS辅助光束法平差；i、j、k均为预设值。


5.如权利要求4所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
所述摄影中心的绝对坐标采用如下方法获得：
通过将GPS数据与影像数据的高精度融合来获取当前帧时刻对应的GPS坐标，将GPS坐标转换为空间直角坐标，将该时刻GPS设备的空间直角坐标值再加上相机摄影中心位置与GPS设备中心位置之间在同一空间直角坐标系下的相对位置，即可得到当前帧的摄影中心绝对坐标。


6.如权利要求1所述的基于无人机航摄数据的正射影像实时生成方法，其特征是：
步骤(3)中所采用的全局地图点点云为由当前所有稳定的地图点构成的点云；
所述稳定的地图点指：经过连续若干帧关键帧均出现、且每次出现时绝对坐标相对前一次出现时的变化幅度均小于预设幅度阈值的地图点。<...

【专利技术属性】
技术研发人员：肖雄武，季博文，
申请(专利权)人：武汉九州位讯科技有限公司，
类型：发明
国别省市：湖北;42