基于机载采集设备的高精度三维建图与建模系统技术方案

本发明专利技术涉及一种基于机载采集设备的高精度三维建图与建模系统。本发明专利技术基于无人机和深度采集设备进行室内扫描获取数据，通过无人机和其上搭载的RGBD相机、预处理设备与通信模块，采集图像与深度数据并回传至计算设备，计算设备使用并行计算方式实时构建三维模型与三维地图。更进一步地，本发明专利技术通过算法进行后期处理，对模型和地图进行优化。本发明专利技术相比现有技术有以下优点：1)可远程控制无人机在复杂环境下进行建图；2)可实时三维建模和建图，并且可进行后期处理，建图与模型精度高；3)通信占用带宽小。

High Precision 3D Mapping and Modeling System Based on Airborne Acquisition Equipment

【技术实现步骤摘要】
基于机载采集设备的高精度三维建图与建模系统
本专利技术涉及一种三维地图及三维模型构建系统，用于即时定位与地图构建，属于三维建图、三维建模

技术介绍
三维建图指通过采集硬件和地图生成算法建立一个区域的三维地图，通常以点云方式表示。即时定位与地图构建(SLAM)指在未知环境三维建图的过程中，因为机器人的自身位置不确定，需要实时构建地图，并同时利用建立的地图进行定位。三维建模指通过三维地图的点云生成三维模型网格(Mesh)，通常以多边形组成。然后根据彩色图像进行贴图，使得模型具有纹理。现有三维建图和三维建模算法主要分为两种。一种方法以激光雷达作为传感器。激光雷达高速旋转且每秒发射大量激光点，然后通过测量这些激光反射回来的时间来获得周围障碍物的距离信息。另一种以RGBD相机为传感器，通过红外飞行时间测距法或红外特征获得深度图像，同时采集彩色图像。主要运算设备为传统计算机，一般在地面机器人上使用，因运算能力限制较少在无人机上使用。
技术实现思路
本专利技术的目的是：利用无人机进行三维建图和三维建模。为了达到上述目的，本专利技术的技术方案是提供了一种基于机载采集设备的高精度三维建图与建模系统，其特征在于，包括：搭载有深度数据获取设备、图像数据获取设备、预处理设备及通信设备的无人机，其中：深度数据获取设备及图像数据获取设备分别同步采集可见范围内物体带有标定信息的深度数据及图像数据；预处理设备，用于获取深度数据及图像数据标定信息后，使用标定信息校正深度数据及图像数据，随后对校正后的深度数据及图像数据进行配准；通信设备，用于将配准后的深度数据及图像数据发送给计算设备；计算设备接收到无人机发送过来的深度数据及图像数据后分别通过建图模块及建模模块实时构建三维模型与三维地图，其中：建图模块根据已配准的深度数据和图像数据，将深度数据中的每个数据点赋予图像数据上对应的颜色，形成三维空间中的彩色点云结构，提取彩色点云结构的结构特征，将从当前数据帧中提取的结构特征与从上一数据帧中提取的结构特征相匹配，通过匹配的结构特征点使用位姿解算方法计算当前数据帧与上一数据帧之间的位姿变换，通过位姿将当前数据帧的彩色点云结构与上一数据帧的彩色点云结构对齐拼接生成建图部分的结果点云；建模模块根据建图模块生成的结果点云形成体素，体素为空间立方体的最小单位，利用体素重建三维表面，将三维表面叠加建立三维网格模型，并根据体素对应颜色进行白平衡归一化生成彩色贴图，最终建立彩色三维模型。优选地，所述深度数据获取设备为深度相机，所述建图模块根据深度相机的内参以相机光心建立坐标系，通过变换矩阵将所述深度数据中的每个数据点变为该坐标系下的坐标，随后根据已配准的深度数据和图像数据，将深度数据中的每个数据点赋予图像数据上对应的颜色，形成三维空间中的彩色点云结构。优选地，所述建图模块将从当前数据帧中提取的结构特征与从上一数据帧中提取的结构特征相匹配时，依照最小化误差范数作匹配。优选地，所述建模模块建立彩色三维模型具体包括以下步骤：步骤1、以原点和三个垂直的坐标平面将总空间立方体划分为八个子空间立方体，对于每个子空间立方体递归重复这一方法，直到子空间立方体达到设定大小，将总空间立方体作为根节点，各子空间立方体作为叶节点得到一颗八叉树；步骤2、将建图系统中得到的结果点云根据其中每个数据点的位置放入空间立方体，转换为八叉树存储，空间立方体的最小单位为体素，体素大小即为步骤1中所述设定大小，根据建图系统中得到的结果点云和对应位姿，全部加入八叉树，形成体素；步骤3、根据体素的重合数和质量增加体素的权重，将权重不足的体素进行剪枝减小八叉树体积，将剩余体素计算平面法向量重建三维表面；步骤4、将三维表面叠加建立三维网格模型，并根据体素对应颜色进行白平衡归一化生成彩色贴图，最终建立所述彩色三维模型。优选地，所述建图模块将位姿、结果点云、建立的三维图像和匹配的结构特征点进行关联存储。优选地，所述计算设备上还运行后处理模块，处理模块通过回环检测、光束平差法和位姿图优化算法对三维模型与三维地图进行后期处理优化。优选地，所述回环检测通过所述建图系统中存储的三维图像和位姿，根据相应的结构特征点相似度和位姿距离判断当前数据帧是否与之前数据帧在同一或附近的位置，从而消除由之前数据帧与当前数据帧连续匹配造成的累计误差，将数据帧的对应关系作为约束存储进位姿图中；所述光束平差法通过在邻近多数据帧根据结构特征点相似度寻找对应匹配点，根据相机投影矩阵进行重投影验证位姿准确度，并将约束存进位姿图中；所述位姿图优化算法将建图过程中的数据帧作为位姿图顶点，将建图过程中的位姿变换作为位姿图的边，根据所述回环检测及所述光束平差法添加的约束构造稀疏矩阵，通过非线性稀疏优化手段优化位姿图的误差，优化完成后，根据优化位姿重新计算建图系统和建模系统生成的结果点云和彩色三维模型。优选地，所述回环检测处理所有的位姿，将所有相近的数据帧作为约束，重新计算位姿变换，如果新的位姿减少了误差则采用新的位姿，并将数据帧的对应关系作为约束存储进位姿图中。优选地，还包括存储模块，用于将得到的三维地图及三维模型进行压缩存储。优选地，还包括可视化模块，用于查看和管理得到的三维地图及三维模型。本专利技术基于无人机和深度采集设备进行室内扫描获取数据，通过无人机和其上搭载的RGBD相机、预处理设备与通信模块，采集图像与深度数据并回传至计算设备，计算设备使用并行计算方式实时构建三维模型与三维地图。更进一步地，本专利技术通过算法进行后期处理，对模型和地图进行优化。本专利技术相比现有技术有以下优点：1)可远程控制无人机在复杂环境下进行建图；2)可实时三维建模和建图，并且可进行后期处理，建图与模型精度高；3)通信占用带宽小。附图说明图1为本专利技术的流程图；图2为本专利技术的硬件描述图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术提供的一种基于机载采集设备的高精度三维建图与建模系统进行室内扫描获取数据。本专利技术通过无人机和其上搭载的RGBD相机、预处理设备与通信设备，采集图像数据与深度数据并回传至计算设备，计算设备使用并行计算方式实时构建三维模型与三维地图，并通过算法进行后期处理对模型和地图进行优化。具体而言，本专利技术提供的系统包括：无人机，为多旋翼的可编程和远程控制的无人驾驶航空器。无人机可搭载电池、RGBD相机、预处理设备与通信设备，进行受控飞行。RGBD相机：通过飞行时间测距法采集相机与可见范围内所有物体的距离形成深度数据，并通过可见光与红外摄像头获取图像数据，提供给预处理设备。预处理设备：对从RGBD相机获取的深度数据与图像数据进行预处理，包括：将读取的深度数据与图像数据解压；获取深度数据与图像数据的标定信息；使用标定信息进行深度数据与图像数据的校正；将校正后的深度数据与图像数据进行配准，即将深度数据与图像数据进行变换并对齐在同一坐标系。通信设备：通过无线电将配准后的深度数据与图像数据编码并发送至计算设备。计算设备：从通信设备接收到配准后的深度数据与图像数据，通过并本文档来自技高网...

【技术保护点】
1.一种基于机载采集设备的高精度三维建图与建模系统，其特征在于，包括：搭载有深度数据获取设备、图像数据获取设备、预处理设备及通信设备的无人机，其中：深度数据获取设备及图像数据获取设备分别同步采集可见范围内物体带有标定信息的深度数据及图像数据；预处理设备，用于获取深度数据及图像数据标定信息后，使用标定信息校正深度数据及图像数据，随后对校正后的深度数据及图像数据进行配准；通信设备，用于将配准后的深度数据及图像数据发送给计算设备；计算设备接收到无人机发送过来的深度数据及图像数据后分别通过建图模块及建模模块实时构建三维模型与三维地图，其中：建图模块根据已配准的深度数据和图像数据，将深度数据中的每个数据点赋予图像数据上对应的颜色，形成三维空间中的彩色点云结构，提取彩色点云结构的结构特征，将从当前数据帧中提取的结构特征与从上一数据帧中提取的结构特征相匹配，通过匹配的结构特征点使用位姿解算方法计算当前数据帧与上一数据帧之间的位姿变换，通过位姿将当前数据帧的彩色点云结构与上一数据帧的彩色点云结构对齐拼接生成建图部分的结果点云；建模模块根据建图模块生成的结果点云形成体素，体素为空间立方体的最小单位，利用体素重建三维表面，将三维表面叠加建立三维网格模型，并根据体素对应颜色进行白平衡归一化生成彩色贴图，最终建立彩色三维模型。...

【技术特征摘要】
1.一种基于机载采集设备的高精度三维建图与建模系统，其特征在于，包括：搭载有深度数据获取设备、图像数据获取设备、预处理设备及通信设备的无人机，其中：深度数据获取设备及图像数据获取设备分别同步采集可见范围内物体带有标定信息的深度数据及图像数据；预处理设备，用于获取深度数据及图像数据标定信息后，使用标定信息校正深度数据及图像数据，随后对校正后的深度数据及图像数据进行配准；通信设备，用于将配准后的深度数据及图像数据发送给计算设备；计算设备接收到无人机发送过来的深度数据及图像数据后分别通过建图模块及建模模块实时构建三维模型与三维地图，其中：建图模块根据已配准的深度数据和图像数据，将深度数据中的每个数据点赋予图像数据上对应的颜色，形成三维空间中的彩色点云结构，提取彩色点云结构的结构特征，将从当前数据帧中提取的结构特征与从上一数据帧中提取的结构特征相匹配，通过匹配的结构特征点使用位姿解算方法计算当前数据帧与上一数据帧之间的位姿变换，通过位姿将当前数据帧的彩色点云结构与上一数据帧的彩色点云结构对齐拼接生成建图部分的结果点云；建模模块根据建图模块生成的结果点云形成体素，体素为空间立方体的最小单位，利用体素重建三维表面，将三维表面叠加建立三维网格模型，并根据体素对应颜色进行白平衡归一化生成彩色贴图，最终建立彩色三维模型。2.如权利要求1所述的一种基于机载采集设备的高精度三维建图与建模系统，其特征在于，所述深度数据获取设备为深度相机，所述建图模块根据深度相机的内参以相机光心建立坐标系，通过变换矩阵将所述深度数据中的每个数据点变为该坐标系下的坐标，随后根据已配准的深度数据和图像数据，将深度数据中的每个数据点赋予图像数据上对应的颜色，形成三维空间中的彩色点云结构。3.如权利要求1所述的一种基于机载采集设备的高精度三维建图与建模系统，其特征在于，所述建图模块将从当前数据帧中提取的结构特征与从上一数据帧中提取的结构特征相匹配时，依照最小化误差范数作匹配。4.如权利要求1所述的一种基于机载采集设备的高精度三维建图与建模系统，其特征在于，所述建模模块建立彩色三维模型具体包括以下步骤：步骤1、以原点和三个垂直的坐标平面将总空间立方体划分为八个子空间立方体，对于每个子空间立方体递归重复这一方法，直到子空间立方体达到设定大小，将总空间立方体作为根节点，各子空间立方体作为叶节点得到一颗八叉树；步骤2、将建图系统中得到的结果点云...

【专利技术属性】
技术研发人员：虞晶怡，吕文涛，赵希亭，罗剑文，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：上海,31