多帧深度图像定位的关键帧融合控制方法及视觉机器人技术

本发明专利技术公开多帧深度图像定位的关键帧融合控制方法及视觉机器人，所述关键帧融合控制方法包括：步骤1、分别计算移动机器人的3d

【技术实现步骤摘要】
多帧深度图像定位的关键帧融合控制方法及视觉机器人


[0001]本专利技术涉及视觉SLAM
，特别是一种基于多帧深度图像融合的关键帧融合控制方法及视觉机器人。

技术介绍

[0002]3d-tof摄像头技术可以在有效范围内进行三维点云地图还原，因此，局部地图的构建和导航定位常使用到单目导航及双目视觉导航。然而使用3d-tof摄像头的过程中尚存的问题是：3d-tof摄像头的可视范围固定，在机器人转弯过程中往往很难识别定位出贴近机体边缘位置的障碍物或距离机体过近的障碍物（视为与机体的位置相同），即：现有技术中，在移动机器人沿着弓字形规划路径行走的过程中，实际工作环境存在障碍物距离移动机器人的机体很近，但在移动机器人转弯90度后，这个移动机器人基于实时采集的单帧深度数据进行定位时，无法探测到这个障碍物，容易产生定位盲点问题。
[0003]此外，中国专利CN110782494A使用深度图像的帧间时序性关系去提取匹配出更为完整的特征线段，以构建起三维地图，帧间连续性较好和位姿精度得到提升，没有考虑到过近的障碍物和过远的障碍物都会出现明显的定位误差问题，也没有解决机器人难以识别定位出贴近机体边缘位置的障碍物或距离机体过近的障碍物（视为与机体的位置相同）的问题。

技术实现思路

[0004]为了解决上述技术问题，本专利技术公开一种多帧深度图像融合的关键帧融合控制方法及视觉机器人，所述的关键帧融合控制方法实施于视觉机器人上，视觉机器人使用3d-tof摄像头采集的当前帧深度图像与关键帧的深度图像进行采集位姿的融合运算，求取视觉机器人在目标障碍物周围的位姿变化量，用于判断更新记录关键帧，从而通过更新的关键帧序列获得一个反映视觉机器人前方的障碍物状况的可供参考的地图点云数据，这样视觉机器人在经过转弯之后，即使是完全贴住车身的障碍物也能通过融合过去记录的关键帧的深度数据来进行识别定位。具体的技术方案包括：一种多帧深度图像定位的关键帧融合控制方法，包括：步骤1、分别计算移动机器人的3d-tof摄像头采集到的当前帧深度图像与预先采集到的关键帧序列内的每一关键帧之间的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的深度图像的序列；步骤2、当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的位置关系。本技术方案利用3d-tof摄像头采集的当前帧深度图像的实时位姿与采集到关键帧序列内的所有深度图像对应的实时位姿进行融合运算，以求取表征移动机器人位置变化情况的相对位姿，再根据预设的显著位姿变化条件选择出反映清晰和广域的机器人周边信息的关键帧，与现有技术相比，移动机器人利用这些关键帧建立能够大范围覆盖到移动机器人前方的障碍物分布
状况的局部点云地图，从而通过融合处理当前帧深度图像的采集位置与这些支持更新的关键帧的采集位置之间的相对位姿，来解决机器人基于实时采集的单帧深度图像难以识别定位出机体边缘位置贴近的障碍物或距离机体过近的障碍物的问题。
[0005]作为一种用于处理视觉特征点的技术方案，所述步骤1包括：分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与经过位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点的相对位姿；这个位姿变换是：所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，构建起局部点云地图；然后利用所述移动机器人的机体中心与3d-tof摄像头的刚体连接关系，在所述当前帧深度图像对应所属的摄像头坐标系下对前述的距离和前述的偏转角度再做一次平移旋转，以在局部点云地图上标记出移动机器人采集所述预设有效特征点所发生的移动轨迹；其中，该局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系；其中，预设有效特征点通过前述的坐标系转换成为所述局部点云地图中的点云；其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。与现有技术相比，本技术方案通过计算当前帧深度图像中的预设有效特征点与每一关键帧中的预设有效特征点之间的相对位姿，以求取出所述移动机器人采集预设有效特征点之间的位置变化量，有利于构建起更加精确的局部点云地图，方便移动机器人的即时定位导航。
[0006]进一步地，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量；当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。
[0007]与现有技术相比，该技术方案根据通过判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）与3d-tof摄像头的距离的变化量是否足够大，并判断两帧深度图像之间的预设有效特征点对应的实际位置点（认为是固定不变的）相对于3d-tof摄像头的偏转角度的变化量是否足够大，来表征机体的位移是否足够大或者机体的旋转角度是否足够大，从而让配置为新的关键帧的深度图像与当前帧深度图像的间隙足够大，可以提供清晰和广域的机器人周边信息，让所属关键帧序列内深度图像的所覆盖的可视范围够大（例如角度，一个从左看，一个从右看，或者位移，近看和远看，其中这些角度位置之间的机器人位姿变换要足够大），使得关键帧序列内深度图像既存在包括障碍物的关键帧，又存在包括障碍物的关键帧。
[0008]进一步地，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到实现插入所述关键帧序列的深度图像时的镜头朝向角
度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。与现有技术相比，便于筛选出：表示移动机器人的相对位姿比较大的多帧关键帧，尤其是在移动机器人的机体发生较大角度的转动或发生较大的位移后，如果3d-tof摄像头不能识别出过近的障碍物时就从预先存储的关键帧序列中相关联的有效特征点（即预先保存的包括障碍物的关键帧）来辅助定位出这个过近障碍物的精确位置。
[0009]作为一种用于处理惯性数据的技术方案，所述步骤1包括：当移动机器人的3d-tof摄像头当前采集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多帧深度图像定位的关键帧融合控制方法，其特征在于，包括：步骤1、分别计算移动机器人的3d-tof摄像头采集到的当前帧深度图像与关键帧序列内的每一关键帧之间的相对位姿；其中，关键帧序列是移动机器人预先存储的连续排列的深度图像的序列；步骤2、当所有计算出的相对位姿都满足预设的显著位姿变化条件时，将3d-tof摄像头当前采集的当前帧深度图像配置为新的关键帧，再将这个新的关键帧插入所述关键帧序列，以使得下一次参与前述的相对位姿计算的关键帧反映移动机器人最新的位置关系。2.根据权利要求1所述关键帧融合控制方法，其特征在于，所述步骤1具体包括：分别计算移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点与经过位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点的相对位姿；其中，这个位姿变换是：所述关键帧序列内的每一关键帧中的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离和偏转角度都通过平移旋转的方式转换到所述当前帧深度图像对应所属的摄像头坐标系下，构建起局部点云地图；其中，该局部点云地图的地图坐标系是当前帧深度图像对应的摄像头坐标系；其中，预设有效特征点通过前述的坐标系转换成为所述局部点云地图中的点云；其中，预设有效特征点是所述3d-tof摄像头的视角范围内用于表征移动机器人的前方的障碍物的分布位置特征，障碍物的分布位置特征包括存在障碍物和/或不存在障碍物。3.根据权利要求2所述关键帧融合控制方法，其特征在于，所述所有计算出的相对位姿都满足预设的显著位姿变化条件具体为：计算出的相对位姿包括：移动机器人的3d-tof摄像头当前采集的当前帧深度图像中的预设有效特征点分别与发生所述位姿变换后的关键帧序列内的每一关键帧中的相同的预设有效特征点之间的深度距离变化量及其对应的偏转角度变化量；当所有的深度距离变化量都大于预设距离变化阈值、且所有的偏转角度变化量都大于预设角度变化阈值时，确定满足所述预设的显著位姿变化条件。4.根据权利要求3所述关键帧融合控制方法，其特征在于，所述关键帧序列内的每一关键帧中的相同的预设有效特征点与其对应关键帧下的3d-tof摄像头的距离是：所述3d-tof摄像头预先采集并插入所述关键帧序列的深度图像的预设有效特征点对应的实际位置点到3d-tof摄像头的成像平面的深度距离，这个深度距离的变化量用于表示所述移动机器人发生的位移的大小程度；所述关键帧序列内的每一关键帧中的相同的预设有效特征点相对于其对应关键帧下的3d-tof摄像头的偏转角度是：所述3d-tof摄像头在采集到实现插入所述关键帧序列的深度图像时的镜头朝向角度，这个镜头朝向角度的变化量用于表示所述移动机器人转动的角度。5.根据权利要求1所述关键帧融合控制方法，其特征在于，所述步骤1具体包括：当移动机器人的3d-tof摄像头当前采集到当前帧深度图像时，调用移动机器人...

【专利技术属性】
技术研发人员：严勇显，赖钦伟，肖刚军，
申请(专利权)人：珠海市一微半导体有限公司，
类型：发明
国别省市：