目标场景三维重建方法、系统及无人机技术方案

一种目标场景三维重建方法、系统及无人机，通过获取目标场景的图像序列，所述图像序列包含在时序上连续的多个图像帧(S201)；根据所述图像序列获得关键帧，并基于所述图像序列获得所述关键帧的三维点云(S202)；融合所述关键帧的三维点云，获得所述目标场景的三维模型(S203)。该方法既无需依赖价格高昂的双目视觉系统，也不受深度传感器的深度限制，能够满足无人机航拍场景下，对目标场景的三维重建需求。

【技术实现步骤摘要】
【国外来华专利技术】目标场景三维重建方法、系统及无人机
本专利技术实施例涉及无人机
，尤其涉及一种目标场景三维重建方法、系统及无人机。
技术介绍
随着图像处理技术的不断发展，利用图像序列进行场景的三维重建已经成为计算机视觉领域和摄影测量学领域的热点问题。同步定位与地图构建(SimultaneousLocalizationandMapping，SLAM)描述了从未知环境的未知位置出发，在运动过程中重复观测环境，根据传感器感知的环境特征定位自身位置和姿态，再根据自身位置增量式的构建地图。由于无人机航拍的特殊性，现有三维重建方法在无人机航拍场景下，三维重建误差大。综上所述，亟需一种能够满足无人机航拍场景需求的目标场景三维重建方法。
技术实现思路
本专利技术实施例提供一种目标场景三维重建方法、系统及无人机，用以解决现有方法无法满足无人机航拍场景下目标场景三维重建的需求。第一方面，本专利技术实施例提供一种目标场景三维重建方法，包括：获取目标场景的图像序列，所述图像序列包含在时序上连续的多个图像帧；根据所述图像序列获得关键帧，并基于所本文档来自技高网...

【技术保护点】
一种目标场景三维重建方法，其特征在于，包括：/n获取目标场景的图像序列，所述图像序列包含在时序上连续的多个图像帧；/n根据所述图像序列获得关键帧，并基于所述图像序列获得所述关键帧的三维点云；/n融合所述关键帧的三维点云，获得所述目标场景的三维模型。/n

【技术特征摘要】
【国外来华专利技术】一种目标场景三维重建方法，其特征在于，包括：
获取目标场景的图像序列，所述图像序列包含在时序上连续的多个图像帧；
根据所述图像序列获得关键帧，并基于所述图像序列获得所述关键帧的三维点云；
融合所述关键帧的三维点云，获得所述目标场景的三维模型。


根据权利要求1所述的方法，其特征在于，所述根据所述图像序列获得关键帧之前，所述方法还包括：
对所述图像序列的三维信息进行初始化。


根据权利要求2所述的方法，其特征在于，所述对所述图像序列的三维信息进行初始化，包括：
根据第一帧图像帧对应的云台角信息，获取视觉坐标系到世界坐标系的初始旋转变换矩阵；
根据N个图像帧对应的实时动态RTK信息和相机中心信息，对所述初始旋转变换矩阵进行校正，获取视觉坐标系到世界坐标系的旋转矩阵、平移矩阵和尺度信息；
根据所述旋转矩阵、平移矩阵和尺度信息对所述图像序列的三维信息进行初始化。


根据权利要求1所述的方法，其特征在于，所述基于所述图像序列获得所述关键帧的三维点云，包括：
获取所述图像序列的特征信息；
根据所述特征信息，进行特征点的跟踪；
根据所述特征点的跟踪结果，确定所述关键帧的三维点云。


根据权利要求4所述的方法，其特征在于，所述根据所述特征信息，进行特征点的跟踪，包括：
获取第一图像帧在世界坐标系中的第一位姿信息，所述第一位姿信息包括：第一实时动态RTK信息和第一云台角信息；
根据所述第一位姿信息，估计第二图像帧在世界坐标系中的第二位姿信息，所述第二位姿信息包括：第二RTK信息和第二云台角信息；
根据所述第一位姿信息和所述第二位姿信息对所述第一图像帧的特征信息和所述第二图像帧的特征信息进行特征匹配；
根据特征匹配结果，进行特征点的跟踪；
其中，所述第一图像帧和所述第二图像帧为所述图像序列中相邻的两帧。


根据权利要求1所述的方法，其特征在于，所述融合所述关键帧的三维点云之前，所述方法还包括：
根据所述关键帧对应的RTK信息和云台角信息，采用非线性优化的方式对所述关键帧的位姿信息及三维点云的位置进行优化。


根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述图像序列获得所述关键帧的三维点云，包括：
根据所述图像序列，获得所述关键帧的深度图；
根据所述关键帧的深度图，获得所述关键帧的三维点云。


根据权利要求7所述的方法，其特征在于，所述根据所述图像序列，获得所述关键帧的深度图，包括：
根据所述图像序列，确定所述关键帧对应的匹配代价；
根据所述关键帧对应的匹配代价，确定所述关键帧的深度图。


根据权利要求8所述的方法，其特征在于，所述根据所述图像序列，确定所述关键帧对应的匹配代价，包括：
根据所述图像序列，确定所述关键帧对应的第一类型匹配代价和第二类型匹配代价；
确定所述关键帧对应的匹配代价等于所述第一类型匹配代价和第二类型匹配代价的加权和；
其中，所述第一类型匹配代价基于零均值归一化互相关确定，所述第二类型匹配代价基于光照不变特征确定。


根据权利要求8所述的方法，其特征在于，所述根据所述关键帧对应的匹配代价，确定所述关键帧的深度图，包括：
将所述关键帧划分成多个图像块；
根据所述图像序列，确定每一个图像块对应的匹配代价；
根据每一个所述图像块对应的匹配代价，确定所述关键帧对应的匹配代价。


根据权利要求10所述的方法，其特征在于，所述将所述关键帧划分成多个图像块，包括：
采用聚类的方式，将所述关键帧划分成多个图像块；
或者，
将所述关键帧均匀划分成多个图像块。


根据权利要求10所述的方法，其特征在于，所述根据所述图像序列，确定每一个图像块对应的匹配代价，包括：
根据所述图像序列，并行确定每一个图像块对应的匹配代价。


根据权利要求10所述的方法，其特征在于，所述根据所述图像序列，确定每一个图像块对应的匹配代价，包括：
根据每一个所述图像块中的稀疏点确定该图像块的深度采样次数；
根据所述图像序列以及每一个所述图像块的深度采样次数，确定每一个所述图像块对应的匹配代价。


根据权利要求7所述的方法，其特征在于，所述根据所述图像序列，获得所述关键帧的深度图之后，还包括：
对所述关键帧的深度图进行滤波处理。


根据权利要求14所述的方法，其特征在于，所述对所述关键帧的深度图进行滤波处理，包括：
对所述关键帧的深度图进行三边滤波处理。


根据权利要求1所述的方法，其特征在于，所述融合所述关键帧的三维点云，获得所述目标场景的三维模型，包括：
将所述关键帧对应的三维点云融合至所述目标场景对应的体素中；
根据所述目标场景对应的体素，获得所述目标场景的三维模型。


一种目标场景三维重建方法，其特征在于，包括：
根据第M帧图像帧对应的云台角信息，获取视觉坐标系到世界坐标系的初始旋转变换矩阵，M为大于等于1的自然数；
根据P个图像帧对应的实时动态RTK信息和相机中心信息，对所述初始旋转变换矩阵进行校正，获取视觉坐标系到世界坐标系的旋转矩阵、平移矩阵和尺度信息，所述P个图像帧在时序上位于所述第M帧图像帧之后，P为大于等于1的自然数；
根据所述旋转矩阵、平移矩阵和尺度信息以及目标场景的图像序列，获取所述图像序列在世界坐标系下对应的位姿信息；
根据所述图像序列在世界坐标系下对应的位姿信息，进行特征点的跟踪；
根据所述特征点的跟踪结果，获得所述目标场景的三维模型。


根据权利要求17所述的方法，其特征在于，所述根据所述图像序列在世界坐标系下对应的位姿信息，进行特征点的跟踪，包括：
获取第一图像帧在世界坐标系中的第一位姿信息，所述第一位姿信息包括：第一实时动态RTK信息和第一云台角信息；
根据所述第一位姿信息，估计第二图像帧在世界坐标系中的第二位姿信息，所述第二位姿信息包括：第二RTK信息和第二云台角信息；
根据所述第一位姿信息和所述第二位姿信息对所述第一图像帧的特征信息和所述第二图像帧的特征信息进行特征匹配；
根据特征匹配结果，进行特征点的跟踪；
其中，所述第一图像帧和所述第二图像帧为所述图像序列中相邻的两帧。


根据权利要求17所述的方法，其特征在于，所述根据所述特征点的跟踪结果，获得所述目标场景的三维模型，包括：
根据所述特征点的跟踪结果，确定关键帧的三维点云；
根据所述关键帧对应的RTK信息和云台角信息，采用非线性优化的方式对所述关键帧的位姿信息及三维点云的位置进行优化；
根据优化后的关键帧的位姿信息及三维点云的位置，获得所述目标场景的三维模型。


一种目标场景三维重建系统，其特征在于，包括：处理器和存储器；
所述存储器，用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取目标场景的图像序列，所述图像序列包含在时序上连续的多个图像帧；
根据所述图像序列获得关键帧，并基于所述图像序列获得所述关键帧的三维点云；
融合所述关键帧的三维点云，获得所述目标场景的三维模型。


根据权利要求20所述的系统，其特征在于，所述处理器还用于：
在所述根据所述图像序列获得关键帧之前，对所述图像序列的三维信息进行初始化。


根据权利要求21所述的系统，其特征在于，所述处理器，用于对所述图像序列的三维信息进行初始化，具体包括：
根据第一帧图像帧对应的云台角信息，获取视觉坐标系到世界坐标系的初始旋转变换矩阵；
根据N个图像帧对应的实时动态RTK信息和相机中心信息，对所述初始旋转变换矩阵进行校正，获取视觉坐标系到世界坐标系的旋转矩阵、平移矩阵和尺度信息；
根据所述旋转矩阵、平移矩阵和尺度信息对所述图像序列的三维信息进行初始化。


根据权利要求20所述的系统，其特征在于，所述处理器，用于基于所述图像序列获得所述关键帧的三维点云，具体包括：
获取所述图像序列的特征信息；
根据所述特征信息，进行特征点的跟踪；
根据所述特征点的跟踪结果，确定所述关键帧的三维点云。


根据权利要求23所述的系统，其特征在于，所述处理器，用于根据所述特征信息，进行特征点的跟踪，具体包括：
获取第一图像帧在世界坐标系中的第一位姿信息，所述第一位姿信息包括：第一实时动态RTK信息和第一云台角信息；
根据所述第一位姿信息，估计第二图像帧在世界坐标系中的第二位姿信息，所述第二位姿信息包括：第二RTK信息和第二云台角信息；
根据所述第一位姿信息和所述第二位姿信息对所述第一图像帧的特征信息和所述第二图像帧的特征信息进行特征匹配；
根据特征匹配结果，进行特征点的跟踪；
其中，所述第一图像帧和所述第二图像帧为所述图像序列中相邻的两帧。


根据权利要求20所述的系统，其特征在于，所述处理器，还用于在所述融合所述关键帧的三维点云之前，根据所述关键帧对应的RTK信息和云台角信息，采用非线性优化的方式对所述关键帧的位姿信息及三维点云的位置进行优化。


根据权利要求20-25任一项所述的系统，其特征在于，所述处理器，用于基于所述图像序列获得所述关键帧的三维点云，具体包括：
根据所述图像序列，获得所述关键帧的深度图；
根据所述关键帧的深度图，获得所述关键帧的三维点云。


根据权利要求26所述的系统，其特征在于，所述处理器，用于根据所述图像序列，获得所述关键帧的深度图，具体包括：
根据所述图像序列，确定所述关键帧对应的匹配代价；
根据所述关键帧对应的匹配代价，确定所述关键帧的深度图。


根据权利要求27所述的系统，其特征在于，所述处理器，用于根据所述图像序列，确定所述关键帧对应的匹配代价，具体包括：
根据所述图像序列，确定所述关键帧对应的第一类型匹配代价和第二类型匹配代价；
确定所述关键帧对应的匹配代价等于所述第一类型匹配代价和第二类型匹配代价的加权和；
其中，所述第一类型匹配代价基于零均值归一化互相关确定，所述第二类型匹配代价基于光照不变特征确定。


根据权利要求27所述的系统，其特征在于，所述处理器，用于根据所述关键帧对应的匹配代价，确定所述关键帧的深度图，具体包括：
将所述关键帧划分成多个图像块；
根据所述图像序列，确定每一个图像块对应的匹配代价；
根据每一个所述图像块对应的匹配代价，确定所述关键帧对应的匹配代价。


根据权利要求29所述的系统，其特征在于，所述处理器，用于将所述关键帧划分成多个图像块，具体包括：
采用聚类的方式...

【专利技术属性】
技术研发人员：朱晏辰，马东东，石进桥，薛唐立，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44