一种多RGB-D传感器的空间三维扫描方法及装置制造方法及图纸

本发明专利技术提供的一种多RGB‑D传感器的空间三维扫描方法及装置，通过选取多个RGB‑D传感器搭建多RGB‑D传感器测图系统；所述多RGB‑D传感器测图系统获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB‑D传感器姿态更新方程，利用所述多RGB‑D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，并优化传感器轨迹；通过闭环检测与全局优化解决了多RGB‑D传感器SLAM的关键难点，提高了鲁棒性；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。

A Space Three-Dimensional Scanning Method and Device for Multi-RGB-D Sensors

【技术实现步骤摘要】
一种多RGB-D传感器的空间三维扫描方法及装置
本专利技术涉及计算机视觉领域，尤其涉及的是一种多RGB-D传感器的空间三维扫描方法及装置。
技术介绍
目前，在视觉领域中，单一传感器的视觉SLAM扩展到多传感器协同SLAM是提升传感器追踪鲁棒性的重要技术手段，在多RGB-D传感器联合SLAM方面，提出采用双Kinect2联合的方式来实现室内三维测图，研究结果表明，双RGB-D传感器联合测图可有效提升传感器追踪精度，并可获取更精细的室内三维信息，但是目前的多RGB-D传感器系统存在问题，首先忽略了SLAM累积误差，其次该双RGB-D传感器测图系统未集成闭环检测方案，且忽略了传感器同步不准确造成的误差累积问题。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足，本专利技术提供了一种多RGB-D传感器的空间三维扫描方法及装置，旨在构建多RGB-D传感器联合测图系统，探究混合多视角下二三维视觉特征与三维几何特征的传感器姿态更新模型构建方法，突破多RGB-D传感器SLAM关键技术难点，力争破解传统单RGB-D传感器SLAM技术低鲁棒性困境。本专利技术的技术方案如下：一种多RGB-D传感器的空间三维扫描方法，所述方法包括以下步骤：A、选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；B、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；C、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；D、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。可选的，所述步骤A还包括：A1、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图系统的参数。可选的，所述无重叠视角多RGB-D传感器测图系统外方位半自动校正方法包括：预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；根据所述多RGB-D传感器测图系统中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将所述三维控制点集转换到各RGB-D传感器坐标系下实现校正。可选的，所述特征匹配点包括二三维视觉特征匹配点以及三维几何特征匹配点。可选的，所述步骤B包括：B1、提取所述图像数据帧序列的关键帧；B2、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；B3、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；B4、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。可选的，所述步骤C中根据所述传感器轨迹建立回环概率模型的步骤包括：C11、采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；C12、采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；C13、对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。可选的，所述步骤C中所述基于所述回环概率模型对传感器轨迹进行全局优化的步骤包括：C21、构建用于降低传感器追踪误差累积的全局实时平差网得到全局优化的传感器轨迹；所述全局实时平差网，包括：回环运动矩阵优化、全局平差网构建、运动模型自由度定权和实时平差。一种多RGB-D传感器的空间三维扫描装置，包括：由多个RGB-D传感器搭建的多RGB-D传感器测图系统和与所述RGB-D测图系统相连接的数据处理系统；所述多RGB-D传感器测图系统，用于获取图像数据帧序列；所述数据处理系统包括：获取传感器轨迹模块、优化传感器轨迹模块、三维点云或Octomap多尺度地图生成模块；所述获取传感器轨迹模块，用于获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；所述优化传感器轨迹模块，用于根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；所述三维点云或Octomap多尺度地图生成模块，用于联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。可选的，所述获取传感器轨迹模块包括多RGB-D传感器姿态更新单元；所述多RGB-D传感器姿态更新单元，用于提取所述图像数据帧序列的关键帧；通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。可选的，所述优化传感器轨迹模块包括回环概率模型构建单元；所述回环概率模型构建单元，用于采用运动度量的方法，比较关键帧之间的位置和朝向筛选出阈值内的候选关键帧；采用词袋模型对所述候选关键帧与当前关键帧进行闭环检测，获取闭环概率；对多次检测的闭环概率归一化处理，构建多次检测结果的回环概率模型。本专利技术提供的一种多RGB-D传感器的空间三维扫描方法及装置，所述方法包括：选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图，解决了多RGB-D传感器SLAM的关键难点，提高了鲁棒性。附图说明图1为本专利技术所述多RGB-D传感器的空间三维扫描方法的步骤流程图；图2为本专利技术所述无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法示意图；图3为本专利技术所述多RGB-D传感器测图系统的姿态更新的示意图；图4为本专利技术所述建立回环概率模型的方法步骤流程图；图5是本专利技术一个实施例的步骤流程图；图6是本专利技术所述多RGB-D传感器的空间三维扫描装置的结构框图。具体实施方式本专利技术提供一种多RGB-D传感器的空间三维扫描方法及装置，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。一种多RGB-D传感本文档来自技高网...

【技术保护点】
1.一种多RGB‑D传感器的空间三维扫描方法，其特征在于，所述方法包括以下步骤：A、选取多个RGB‑D传感器搭建多RGB‑D传感器测图系统；所述多RGB‑D传感器测图系统获取图像数据帧序列；B、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB‑D传感器姿态更新方程，利用所述多RGB‑D传感器姿态更新方程得到传感器轨迹；C、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；D、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。

【技术特征摘要】
1.一种多RGB-D传感器的空间三维扫描方法，其特征在于，所述方法包括以下步骤：A、选取多个RGB-D传感器搭建多RGB-D传感器测图系统；所述多RGB-D传感器测图系统获取图像数据帧序列；B、获取所述图像数据帧序列中含有的特征匹配点，根据所述特征匹配点构建多RGB-D传感器姿态更新方程，利用所述多RGB-D传感器姿态更新方程得到传感器轨迹；C、根据所述传感器轨迹建立回环概率模型，基于所述回环概率模型对传感器轨迹进行全局优化，得到优化后的传感器轨迹；D、联合图像数据帧序列与所述优化后的传感器轨迹构建室内三角网模型，所述三角网模型通过Octomap算法优化得到三维点云或Octomap多尺度地图。2.根据权利要求1所述的方法，其特征在于，所述步骤A还包括：A1、通过RGB-D传感器内外方位校正方法、无重叠视角的多RGB-D传感器测图系统外方位半自动校正方法和深度传感器测量误差校正方法联合校正所述测图系统的参数。3.根据权利要求2所述的方法，其特征在于，所述无重叠视角多RGB-D传感器测图系统外方位半自动校正方法包括：预先通过全站仪获取的棋盘角点三维点集、全站仪所在坐标系和各RGB-D传感器坐标系；根据所述多RGB-D传感器测图系统中的传感器布局，在多个RGB-D传感器视角及测量范围内的三维结构上附着棋盘图案；所述多个RGB-D传感器同步采集单帧图像，自动提取对应的棋盘角点序列，并映射到深度图像中获取对应的三维点集；根据最小二乘原理，依次进行全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换，得到全站仪坐标系与各RGB-D传感器坐标系之间的坐标变换关系，根据所述坐标变换关系将所述三维控制点集转换到各RGB-D传感器坐标系下实现校正。4.根据权利要求1所述的方法，其特征在于，所述特征匹配点包括二三维视觉特征匹配点以及三维几何特征匹配点。5.根据权利要求1所述的方法，其特征在于，所述步骤B包括：B1、提取所述图像数据帧序列的关键帧；B2、通过所述关键帧的点特征匹配得到二三维视觉特征匹配点；B3、通过局部三维空间块的描述子建立局部3D数据的对应关系，获取三维几何特征匹配点；B4、通过最小化二三维视觉特征匹配点的重投影误差与三维几何特征匹配点的距离误差构建多RGB-D传感器姿态更新方程。6.根据权利要求1所述的方法，其特征在于，所述步骤C中根据所述传感器轨迹建立回环概率模型的步骤包括：C11、采用运动度量的方法，比较关键...

【专利技术属性】
技术研发人员：汤圣君，李游，李晓明，黄正东，王伟玺，贺彪，赵志刚，郭仁忠，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44