一种室内移动机器人视觉导航方法技术

本发明专利技术公开一种室内移动机器人视觉导航方法，包括以下步骤：激光雷达对环境进行扫描得到点云信息，构建出二维平面地图，深度相机对环境中物体进行扫描，获取语义信息；选取语义信息所对应的点云区域，利用RANSAC算法进行分割，得到平面与圆柱面；进行点云信息拟合，对平面进行拟合提取后，进行拟合三维模型，得到三维物体坐标；通过相机坐标系转化到机器人坐标系上，再转化到二维平面地图上，得到增强的语义地图；将目的地发送给移动机器人，进行路径规划。本发明专利技术提供的一种室内移动机器人视觉导航方法，能够准确地构建实时性语义地图，有利于机器人对环境作出更深层次的理解，同时能够降低语义地图时点云信息的数据量，提高对环境中的物体识别准确率。境中的物体识别准确率。境中的物体识别准确率。

【技术实现步骤摘要】
一种室内移动机器人视觉导航方法


[0001]本专利技术涉及一种室内移动机器人视觉导航方法，属于机器人导航领域。

技术介绍

[0002]在机器人技术快速发展的今天，移动机器人在我们的生活中得到了更多的应用。尤其在室内场景下的移动机器人，随着自动化产业的蓬勃发展、人们生活水平的不断提高，工厂、家庭等室内环境下的繁杂工作逐步被移动机器人所代替。例如：在仓库内，移动机器人可以根据指令在充满货物的环境中运输并成功的到达目标点；在学校教学楼里每个楼层有多间教师办公室，教师之间可以借助移动机器人进行传输文件或物品，这样可以为教师们节约时间去处理其他要紧事务。
[0003]当前，各种室内移动机器人建图方式大多为一般性建图，不包含语义信息，机器人无法对环境作出更深层次的理解。另外，在建立语义地图时点云信息的数据量较大，转换为世界坐标系后放置在地图中占用空间较大，使得语义建图算法效率低、地图搜索速度慢，对环境中的物体识别准确率低。最后，在路径规划过程中单纯的使用一种局部路径规划，使得机器人行走出现冗余性，人机互动与自主功能受到限制。

技术实现思路

[0004]本专利技术要解决的技术问题是，克服现有技术的缺陷，提供一种室内移动机器人视觉导航方法，能够准确地构建实时性语义地图，有利于机器人对环境作出更深层次的理解，同时能够降低语义地图时点云信息的数据量，提高对环境中的物体识别准确率。
[0005]为解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种室内移动机器人视觉导航方法，包括以下步骤：
[0007]控制移动机器人运动，通过移动机器人上的激光雷达对环境进行扫描得到点云信息，根据点云信息构建出二维平面地图，以及通过移动机器人上的深度相机对环境中物体进行扫描，获取环境中目标物体的语义信息；
[0008]选取目标物体的语义信息在二维平面地图中所对应的点云区域，利用RANSAC算法对所对应的点云区域进行分割，得到目标物体对应的点云区域的平面与圆柱面；
[0009]将目标物体对应的点云区域的平面与圆柱面进行点云信息拟合，对平面进行拟合提取后，进行拟合三维模型，将目标物体对应的点云区域的二维坐标扩展为三维坐标，得到三维物体坐标；
[0010]将三维物体坐标通过相机坐标系转化到机器人坐标系上，然后通过机器人坐标系转化到二维平面地图上，实现三维物体坐标在二维平面地图上的标定，得到增强的语义地图；
[0011]基于增强的语义地图，将目的地发送给移动机器人，使移动机器人在自身位置与目的地位置之间进行路径规划。
[0012]二维平面地图构建包括：
[0013]将不同时间或不同位置下获得的点云信息进行匹配，以确定点云数据之间的相对位置关系，得到点云匹配结果；
[0014]通过IMU传感器获取移动机器人的姿态信息，并根据姿态信息估计机器人在三维空间中的位置和方向，得到姿态估计结果；
[0015]根据点云匹配结果和姿态估计结果，估计移动机器人在全局坐标系下的位姿；
[0016]将所有已知位姿下获得的点云信息投影到一个全局坐标系中，并使用SLAM算法构建二维平面地图；
[0017]当移动机器人移动时，重新执行上述步骤进行更新二维平面地图。
[0018]环境中目标物体的语义信息获取包括：深度相机对环境中物体进行扫描得到的物体图片通过labelme进行数据集的制作，制作完成后导入yolov5s算法中进行训练，以实现对环境中物体的检测。
[0019]RANSAC算法过程包括：
[0020]从原始数据集中随机选取一组样本作为初始内点集合，并根据这些样本估计出一个初始模型；
[0021]利用选定的样本拟合一个模型，并将其应用于整个数据集上；
[0022]对于每个数据点，根据预设的阈值判断其是否属于内点，如果是，则加入内点集合，否则加入外点集合；
[0023]根据当前内点集合重新估计模型参数，并记录内点数量作为评价指标，如果这个评价指标优于之前任何一次迭代，则更新当前最优模型和内点集合。
[0024]点云信息拟合包括先进行平面拟合，然后进行三维模型拟合，先假设P为输入的点云，输出为最佳的形状参数BS，对于圆柱体{P*,a,r}，P*是圆柱体轴线上的点，a是圆柱体的方向轴线，r是半径，从原始点云中任意选取三个点，根据三点来提取平面，该平面的方程计算如下：
[0025]z＝Ax+By+Cz
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0026]平面拟合包括以下步骤：
[0027]在点云数据集中任意选择三个点
[0028]{P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3)}；
[0029]根据{P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3)}的位置确定一个平面S，由公式(2)确定参数A,B,C，
[0030][0031]统计平面S上的点的个数，设定平面厚度阈值ε为0.2，计算P中任意一点P
i
到平面S的距离d
i
，
[0032][0033]统计d
i
＜ε的点的个数，记为S的得分数；
[0034]步骤d1，将上述步骤重复K次，选择出得分最高的平面S*，其中K的计算公式为：
[0035][0036]上述公式中m指的是点云中点数的总值，n代表点云中特征点数量，由于m和n值相对较大，采用近似进行计算，得到公式如下：
[0037]1‑
(1
‑
(1
‑
τ)3)
k
＝Φ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0038][0039]公式中，τ指的是位于平面S*之外点所占比例的值，Φ代表经过K次采样之后平面被选中的概率；
[0040]三维模型拟合包括以下步骤：
[0041]假设圆柱表面的形状方程，圆柱面上的点到其轴线的距离恒等于半径r0，假设在圆柱面上任意取一点P，假设圆柱轴线上一点用P0(x0,y0,z0)表示，(a,b,c)为圆柱轴线向量，即：
[0042](x
‑
x0)2+(y
‑
y0)2+(z
‑
z0)2‑
[a(x
‑
x0)+b(y
‑
y0)+c(z
‑
z0)]2＝r
02
ꢀꢀꢀꢀ
(7)
[0043]求出x0，y0，z0，a，b，c和r0这七个参数；
[0044]随机搜索圆柱面上一点的若干临近点拟成平面，计算圆柱面上的每个点的单位法向量；
[0045]将每个点的单位法向量当作点，再把这些点拟合成平面，得到平面法向量，即圆柱轴线向量初始值x0，y0，z0；
[0046]得到轴线后，对圆柱进行坐标转换，使圆柱轴线向量坐标(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内移动机器人视觉导航方法，其特征在于：包括以下步骤：控制移动机器人运动，通过移动机器人上的激光雷达对环境进行扫描得到点云信息，根据点云信息构建出二维平面地图，以及通过移动机器人上的深度相机对环境中物体进行扫描，获取环境中目标物体的语义信息；选取目标物体的语义信息在二维平面地图中所对应的点云区域，利用RANSAC算法对所对应的点云区域进行分割，得到目标物体对应的点云区域的平面与圆柱面；将目标物体对应的点云区域的平面与圆柱面进行点云信息拟合，对平面进行拟合提取后，进行拟合三维模型，将目标物体对应的点云区域的二维坐标扩展为三维坐标，得到三维物体坐标；将三维物体坐标通过相机坐标系转化到机器人坐标系上，然后通过机器人坐标系转化到二维平面地图上，实现三维物体坐标在二维平面地图上的标定，得到增强的语义地图；基于增强的语义地图，将目的地发送给移动机器人，使移动机器人在自身位置与目的地位置之间进行路径规划。2.根据权利要求1所述的一种室内移动机器人视觉导航方法，其特征在于：二维平面地图构建包括：将不同时间或不同位置下获得的点云信息进行匹配，以确定点云数据之间的相对位置关系，得到点云匹配结果；通过IMU传感器获取移动机器人的姿态信息，并根据姿态信息估计机器人在三维空间中的位置和方向，得到姿态估计结果；根据点云匹配结果和姿态估计结果，估计移动机器人在全局坐标系下的位姿；将所有已知位姿下获得的点云信息投影到一个全局坐标系中，并使用SLAM算法构建二维平面地图；当移动机器人移动时，重新执行上述步骤进行更新二维平面地图。3.根据权利要求1所述的一种室内移动机器人视觉导航方法，其特征在于：环境中目标物体的语义信息获取包括：深度相机对环境中物体进行扫描得到的物体图片通过labelme进行数据集的制作，制作完成后导入yolov5s算法中进行训练，以实现对环境中物体的检测。4.根据权利要求1所述的一种室内移动机器人视觉导航方法，其特征在于：RANSAC算法过程包括：从原始数据集中随机选取一组样本作为初始内点集合，并根据这些样本估计出一个初始模型；利用选定的样本拟合一个模型，并将其应用于整个数据集上；对于每个数据点，根据预设的阈值判断其是否属于内点，如果是，则加入内点集合，否则加入外点集合；根据当前内点集合重新估计模型参数，并记录内点数量作为评价指标，如果这个评价指标优于之前任何一次迭代，则更新当前最优模型和内点集合。5.根据权利要求1所述的一种室内移动机器人视觉导航方法，其特征在于：点云信息拟合包括先进行平面拟合，然后进行三维模型拟合，先假设P为输入的点云，输出为最佳的形状参数BS，对于圆柱体{P*,a,r}，P*是圆柱体轴线上的点，a是圆柱体的方向轴线，r是半径，
从原始点云中任意选取三个点，根据三点来提取平面，该平面的方程计算如下：z＝Ax+By+Cz
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)平面拟合包括以下步骤：在点云数据集中任意选择三个点{P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3)}；根据{P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3)}的位置确定一个平面S，由公式(2)确定参数A,B,C，统计平面S上的点的个数，设定平面厚度阈值ε为0.2，计算P中任意一点P
i
到平面S的距离d
i
，统计d
i
＜ε的点的个数，记为S的得分数；步骤d1，将上述步骤重复K次，选择出得分最高的平面S*，其中K的计算公式为：上述公式中m指的是点云中点数的总值，n代表点云中特征点数量，由于m和n值相对较大，采用近似进行计算，得到公式如下：1
‑
(1
‑
(1
‑
τ)3)
k
＝Φ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)公式中，τ指的是位于平面S*之外点所占比例的值，Φ代表经过K次采样之后平面被选中的概率；三维模型拟合包括以下步骤：假设圆柱表面的形状方程，圆柱面上的点到其轴线的距离恒等于半径r0，假设在圆柱面上任意取一点P，假设圆柱轴线上一点用P0(x0,y0,z0)表示，(a,b,c)为圆柱轴线向量，即：求出x0，y0，z0，a，b，c和r0这七个参数；随机搜索圆柱面上一点的若干临近点拟成平面，计算圆柱面上的每个点的单位法向量...

【专利技术属性】
技术研发人员：李材祥，张自嘉，刘奇，彭子文，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：