一种基于人工势场法与实例分割的机器人智能避障方法技术

一种基于人工势场法与实例分割算法融合的智能避障方法，包括：通过采集现实场景障碍物图片数据，使用Python脚本制作实例分割数据集；将数据集导入至Yolact算法进行训练，并制作ROS包；利用ZED2相机提取障碍物的深度信息，将实例分割的结果融合深度信息便可得到障碍物的世界坐标、类别CLASS以及MASK(遮罩)，将上述三个结果融合至改进的人工势场法中，定义目标点世界坐标，便可以实现在抢险救灾场景中有选择性的避障。本发明专利技术解决在抢险救灾场景中遇到障碍物耽误最佳抢险时间的问题，使之最快到达救援点。达救援点。达救援点。

【技术实现步骤摘要】
一种基于人工势场法与实例分割的机器人智能避障方法


[0001]本专利技术涉及一种机器人智能避障方法，属于计算机视觉避障


技术介绍

[0002]利用机器人抢险救灾涉及多方面的技术，而如何快速准确的避开所有障碍物，找到通往救援点的最佳路径，是亟待解决的问题，现在主流的基于视觉的避障算法只会机械性的避开所有障碍物，比如人工势场法、A*算法等，这都极大的浪费了救援时间。现在，随着深度学习在图像识别、语音识别上的广泛应用，许多技术人员将深度学习模型广泛应用在机器人领域，在许多场景取得了不错的效果，但是就目前而言，还很少有人将深度学习方法运用到避障救援场景上来。
[0003]人工势场法是一种机器人路径规划算法。该算法将目标和障碍物分别看做对机器人有引力和斥力的物体，机器人沿引力与斥力的合力来进行运动，该算法结构简单，便于低层的实时控制，在实时避障和平滑的轨迹控制方面，得到了广泛应用。
[0004]实例分割是计算机视觉中的一个领域，相比于传统的目标检测，它是像素级分割，可以得到图像中所有物体的类别以及他们的像素级遮罩，基于这一特点，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工势场法与实例分割的机器人智能避障方法，其特征在于，包括以下步骤：步骤1：采集实验所需的障碍物各个视角的RGB信息，并通过剪裁、旋转进行数据增强，对数据集进行预处理：步骤1
‑
1：采集室内障碍物样本图像数据并进行标注；步骤1
‑
2：对标注后的样本数据集进行特征增强，获得COCO数据集；步骤1
‑
3：构建Yolact模型；步骤1
‑
4：利用COCO数据集对所述的Yolact模型进行训练，得到障碍物样本的目标参数与目标权重，并将所述的目标参数和目标权重作为训练好的Yolact模型的参数和权重；步骤1
‑
5：使用训练好的Yolact模型对经标准化处理的障碍物样本图像进行检测，输出对应障碍物样本的类别Class与MASK矩阵M
w
×
h
，(w，h)代表RGB图片的输入维度，定义Class
safe
为安全类别，Class
danger
为危险类别；步骤2：通过ZED2相机获取障碍物的深度信息矩阵D
w
×
h
，并通过相机的旋转矩阵R3×3与平移矩阵T3×1获取障碍物相对于相机的3D位姿信息，并建立小车世界坐标系base_link与相机的世界坐标系zed2_link之间的转换关系矩阵H3×1：步骤2
‑
1：根据等距采样算法，获取障碍物样本各个区域像素位置的深度值z以及对应的像素坐标(x，y)；步骤2
‑
3：通过相机标定获取其内参矩阵Q，其Q可以由如下公式表示：其中，f
x
、f
y
分别代表相机坐标系中x，y坐标轴方向上的焦距，u0、v0分别代表像素坐标系中u轴、v轴的像素中心；步骤2
‑
4：通过障碍物的像素坐标(u，v)以及其对应的深度值z将其转换为相机的世界坐标(X
ω
，Y
ω
，Z
ω
)，其转换公式如下：其中R，T分别为旋转矩阵与平移矩阵；步骤2
‑
5：基于步骤2给出的小车世界坐标系base_link与相机世界坐标系zed2_link的转换关系矩阵H3×1可以得到，障碍物在小车世界坐标系的坐标由如下公式给出：其中，X
offset
，Y
offset
，Z
offset
分别代表空间中相机与小车之间的相对位移。步骤3：确定目标点的坐标，基于人工势场法建立模型，基于步骤1与步骤2，得到障碍物
相对于小车之间的世界坐标以及其对应的类别(X
ω
，Y
ω
，Z
ω
，Class)，不考虑Z
ω
坐标，根据救援点方向确定一个目标点坐标(X
g
，Y
g
)，以此来建立势场模型：步骤3
‑
1：建立人工势场，将小车周围环境中的运动抽象成在引力场中的运动，目标对小车产生引力，障碍物对小车产生斥力，根据叠加原理计算出合力方向，即为小车运动方向；步骤3
‑
2：定义目标点处的引力公式：其中，α是引力增益，d(q，q
goal
)是小车当前位置与目标点q
goal
：(X
g
，Y
g
)之间的距离；步骤3
‑
3：实例分割算法Yolact将会实时计算障碍物类别Class，当障碍物类别属于步骤1
‑
5中的Class
danger
时，该类别障碍物处存在斥力，当障碍物类别属于Class
safe
时，忽略斥力，因此斥力公式分配如下：其中，d(q，q
obs
)是小车当前点与障碍物之间的距离，β是斥力增益，Q是障碍物作用的距离阈值，当前点与障碍物距离大于此阈值时，障碍物对小车不会产生斥力；步骤3
‑
4：根据步骤3
‑
2、3
‑
3便可计算出无人机在任意位置处的引力与斥力，其中引力由如下公式给出：斥力由如下公式给出：则小车当前的合力大小为：F(q)＝F
att
(q)+F
rep(q)
ꢀꢀ
(8)步骤3
‑
5：根据里程计确定小车的实时转向角θ
time
；步骤3
‑
6：根据3
‑
4给出...

【专利技术属性】
技术研发人员：洪榛，周磊强，温震宇，李雄，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：