三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品制造方法及图纸

三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品，所述方法包括获取视觉定位装置的位姿信息，并标定视觉定位装置与单线激光雷达之间的位姿关系，根据视觉定位装置的位姿信息和位姿关系，计算出单线激光雷达的位姿信息，根据单线激光雷达的位姿信息，将单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到有序三维点云。方案通过视觉定位方式准确获取位置信息，并结合单线激光雷达获取点云数据的方式，能够获取到准确的三维地图。另外还提供了渲染和网格化处理，得到带有颜色及可平面化的三维地图。

Three dimensional mapping methods, devices, systems, cloud platforms, electronic devices and computer program products.

Three-dimensional mapping method, device, system, cloud platform, electronic equipment and computer program products, the method includes acquiring the position and attitude information of the visual positioning device, calibrating the position and attitude relationship between the visual positioning device and the single-line lidar, and calculating the single-line position and attitude information of the visual positioning device. According to the position and attitude information of the single-line lidar, the three-dimensional point clouds collected by the single-line lidar in different positions are mapped to the same reference coordinate system to obtain the ordered three-dimensional point clouds. The scheme obtains the position information accurately through the visual positioning method, and combines with the single-line lidar to obtain the point cloud data to obtain the accurate three-dimensional map. Rendering and gridding are also provided to get 3D maps with color and planarization.

【技术实现步骤摘要】
【国外来华专利技术】三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
本申请涉及地图重建
，特别涉及三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品。
技术介绍
三维地图重建是将三维场景处理成适于计算机表示和理解的数学模型，它是计算机对三维空间环境进行处理、操作和分析的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。移动平台首先需要对本身所处的位置进行定位，然后将不同位置处获取的三维地图模型拼接起来，达到实时三维建图的目的。因此，实时定位和三维场景重建是三维建图的两个关键技术。目前，高精度移动定位和三维重构有两种主要方式，基于激光雷达和基于视觉的定位重建。基于机器视觉的三维重建方法，可用于机器人实时建图、三维地图重建、地形地貌构建等产品中。目前基于视觉的三维重建方法有三种：基于单/双目视觉三维重建，基于深度相机的三维重建，基于激光雷达的三维重建。基于单/双目视觉三维重建方法，利用视差进行三维重建，单目重建利用单个摄像头运动过程中，不同位置拍摄相同场景产生的视差进行重建，双目视觉重建则是提前标定双目摄像头位置关系，利用双目视差进行重建。单/双目三维重建需要对不同位置的图像进行匹配，该方法计算较为复杂，需要使用GPU等计算设备，在CPU或者移动平台上难以满足实时重建需求。另外，该方法受现实场景现实纹理光亮影响较大，三维重建质量较差。基于深度相机的三维重建方法，利用结构光编码、TOF(TimeofFlight，是深度摄像头的一种)等原理直接获取三维信息，但是该方法适应能力较差，在室外环境下无法达到满意效果，而且基于深度传感器的三维建图大多需要处理大量的点云信息，造成资源的过度利用。基于激光雷达的三维重建方法，目前大多使用多线三维激光雷达，设备较为昂贵，成本高，而基于单线激光雷达的三维重建，大多使用一个自旋转装置，不停转动单线逐点扫描的激光获取三维空间点云，这种方式对环境适应较差。
技术实现思路
本实施例提供了一种三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品，将视觉定位方法和单线激光雷达运动重建结合起来，利用视觉定位的灵活性，使用单线激光雷达运动产生稳定三维点云的特性，有效实现室内外场景的在线实时重建。本实施例环境适应性强，且计算复杂度不高，有效提高了三维场景重建的实用性和鲁棒性。第一方面，本实施例提供了一种三维建图方法，所述方法包括：利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；标定所述视觉定位装置与单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出所述单线激光雷达的位姿信息；根据所述单线激光雷达的位姿信息，将所述单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。第二方面，本实施例提供了一种三维建图装置，所述装置包括：定位单元、计算单元和三维重建单元；所述定位单元，用于利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；所述计算单元，用于标定所述视觉定位装置与单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出所述单线激光雷达的位姿信息；所述三维重建单元，用于根据所述单线激光雷达的位姿信息，将所述单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。第三方面，本实施例提供了一种三维建图系统，所述系统包括：视觉定位装置和至少两个单线激光雷达；所述视觉定位装置位于所述系统中心，生成位姿信息；所述单线激光雷达位于所述视觉定位装置的两侧，处于同一水平面上，通过向四周扫描，在不同位置采集激光三维点云，并根据标定与所述视觉定位装置之间的位姿变化关系，将所述激光三维点云映射到同一基准坐标系下，得到三维地图。第四方面，本公开文本实施例提供了一种云端平台，所述云端平台包括上述三维建图装置，存储三维建图装置上传的三维地图。第五方面，本实施例提供了一种电子设备，所述电子设备包括：通信设备，存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行任一上述三维建图方法中各个步骤的指令。第六方面，本实施例提供了一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序，所述计算机程序包括用于使所述电子设备执行任一上述三维建图方法中的各个步骤的指令。有益效果如下：本实施例将视觉定位的灵活性，结合单线激光雷达运动产生稳定三维点云的特性，进行三维建图，能够应用在运动环境中，对环境要求不高，该方法可以应用于机器人领域、虚拟现实领域、增强现实领域三维环境地图的构建。本公开文本利用单线激光雷达运动产生地图三维轮廓，可适用于室内外各种复杂不确定的场景，对光线强度和环境纹理性无关，且单线激光雷达获取三维空间场景的点云的方式成本较低；另外方案可在CPU上实现实时的三维场景重建，计算复杂度低；利用视觉定位原理实时对运动位置进行定位的方式，三维建图系统不止可以安装在运动小车上，也可以安装于背包或使用手持式扫描，操作非常灵活方便。附图说明下面将参照附图描述本申请的具体实施例，其中：图1为本实施例中的三维建图系统结构示意图；图2为本实施例中的三维建图系统的另一结构示意图；图3为本实施例中的单线激光雷达扫描示意图；图4为本实施例中的三维建图方法流程图；图5为本实施例中的三维建图装置结构示意图；图6为本实施例中的一种电子设备的结构示意图。具体实施方式为了使本公开文本中的技术方案及优点更加清楚明白，以下结合附图对本公开文本的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本公开文本的一部分实施例，而不是所有实施例的穷举。并且，在不冲突的情况下，本公开文本中的实施例及实施例中的特征可以互相结合。专利技术人在专利技术过程中注意到：基于单线激光雷达的三维重建，使用单线激光雷达进行定位的方式，对环境适应较差，无法应用在凹凸不平的环境中，使用自旋转装置不停转动单线逐点扫描的激光获取三维空间点云的方式，在装置快速运动时造成重建误差。基于此，本公开文本提供了一种三维建图方法，基于视觉定位装置进行定位，结合单线激光雷达运动产生稳定三维点云的特点，进行三维建图，能够应用在室内外场景中。本公开文本提供的一种三维建图方法，该方法应用于图1所示的三维建图系统中，该系统包括一个视觉定位装置和至少两个单线激光雷达；视觉定位装置位于系统中心，生成视觉定位装置的位姿信息；单线激光雷达位于视觉定位装置的两侧，处于同一水平面上，通过向四周扫描，在不同位置采集激光三维点云，并根据标定与所述视觉定位装置之间的位姿变化关系，将所述多片激光三维点云映射到同一基准坐标系下，得到三维地图。另外，为了对系统产生的三维地图增加颜色，本系统还包括至少两个全景相机，全景相机位于视觉定位装置的两侧，处于同一水平面上，获取环境图像的颜色信息，根据标定全景相机与单线激光雷达之间的位姿关系，对所述三维地图进行颜色渲染。本公开文本提供的一种具体实现方式，如图2所示，该单线激光雷达包括第一单线激光雷达102和第二单线激光雷达103，全景相机包括第一全景相机104和第二全景相机105；第一单线激光雷达102与第一全景相本文档来自技高网...

【技术保护点】
1.一种三维建图方法，其特征在于，所述方法包括：利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；标定所述视觉定位装置与单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出所述单线激光雷达的位姿信息；根据所述单线激光雷达的位姿信息，将所述单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。

【技术特征摘要】
【国外来华专利技术】1.一种三维建图方法，其特征在于，所述方法包括：利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；标定所述视觉定位装置与单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出所述单线激光雷达的位姿信息；根据所述单线激光雷达的位姿信息，将所述单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。2.根据权利要求1所述的方法，其特征在于，所述得到三维地图之后，所述方法还包括：使用全景相机获取环境图像的颜色信息；标定所述全景相机与所述单线激光雷达之间的位姿关系，将所述全景相机的颜色信息映射到所述三维地图，对所述三维地图的颜色进行渲染，得到真彩三维地图。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：对所述三维地图或对所述真彩三维地图进行网格化处理，得到网格化的三维地图。4.根据权利要求1-3任一所述的方法，其特征在于，所述获取视觉定位装置的位姿信息，具体包括：提取采集的环境图像中的局部特征点，基于所述局部特征点得到所述视觉定位装置的位姿信息，或，获取所述视觉定位装置当前帧图像及初始位姿信息，将所述当前帧图像与上一帧图像建立光度误差函数，对所述光度误差函数进行非线性优化求解，得到优化后的位姿信息，为所述视觉定位装置的位姿信息，或，获取视觉定位单元采集的环境图像中的图像特征，及惯性导航单元得到的所述视觉定位单元的位姿信息和速度信息，将所述图像特征与所述位姿信息和速度信息进行非线性优化，得到优化后的位姿信息，为所述视觉定位装置的位姿信息，或，利用惯性导航单元动态计算所述视觉定位装置的运动增量，利用视觉定位单元定位得到所述视觉定位装置的第一位姿信息，将所述第一位姿信息和所述运动增量进行融合，得到所述视觉定位装置的位姿信息。5.根据权利要求4所述的方法，其特征在于，所述基于所述局部特征点得到所述视觉定位装置的位姿信息，具体包括：确定环境图像的当前帧中目标的搜索区域，提取所述搜索区域的局部特征点；将所述搜索区域的局部特征点与上一帧中目标的局部特征点进行匹配，得到匹配成功的特征点；对所述匹配成功的特征点进行自适应跟踪，得到所述视觉定位装置的位姿信息。6.根据权利要求4所述的方法，其特征在于，所述将所述第一位姿信息和所述运动增量进行融合，得到所述视觉定位装置的位姿信息，具体包括：计算所述第一位姿信息的多信息融合滤波的第一增益矩阵，及所述运动增量的多信息融合滤波的第二增益矩阵，利用多信息融合滤波对所述第一增益矩阵和所述第二增益矩阵进行融合，得到所述视觉定位装置的位姿信息。7.一种三维建图装置，其特征在于，所述装置包括：定位单元、计算单元和三维重建单元；所述定位单元，用于利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；所述计算单元，用于标定所述视觉定位装置与单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出所述单线激光雷达的位姿信息；所述三维重建单元，用于根据所述单线激光雷达的位姿信息，将所述单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。8.根据权利要求7所述的装置，其特征在于，所述装置包括渲染单元，使用全景相机获取环境图像的颜色信息，标定所述全景相机与所述单线激光雷达之间的位姿关系，将所述全景相机的颜色信息映射到所述三维地图，渲染所述三维地图的颜色，得到真彩三维地图。9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括网格化单元，用于对所述三维地图或所述真彩三维地图进行网格化处理，得到网格化的三维地图。10.根据权利要求7-9任一权利要求所述的装置，其特征在于，所述定位单元包括第一定位单元、第二定位单元、第三定位单元或第四定位单元：所述第一定位单元，提取采集的环境图像中的局部特征点，基于所...

【专利技术属性】
技术研发人员：高军强，廉士国，林义闽，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44