一种基于深度学习全景相机的机器人避障方法技术

本发明专利技术公开一种基于深度学习全景相机的机器人避障方法。针对传统避障中不能得到全局视场，及精度和实时性的问题，该方法在机器人活动领域内，首先通过激光雷达进行SLAM栅格地图的构建，A*算法运用输出的栅格地图进行全局路径规划；接着通过全景相机以固定帧率进行图像数据采集，将采集的图像数据进行畸变矫正后输入到YOLOV5神经网络模型进行目标检测及定位，机器人通过融合后的特征图像利用DWA动态窗口进行局部动态避障。在实际应用中，无论是成本可行性，结果的精确性及实时性，都具有一定优势。通过深度学习的方法实现仿真环境与真实环境完成自主避障导航至目标的任务。实环境完成自主避障导航至目标的任务。实环境完成自主避障导航至目标的任务。

【技术实现步骤摘要】
一种基于深度学习全景相机的机器人避障方法


[0001]本专利技术涉及机器人及人工智能领域，尤其涉及一种基于深度学习全景相机的机器人避障方法。

技术介绍

[0002]机器人避障技术的研究因使用场景的复杂性，传统的基于SLAM的全局路径规划来躲避障碍物的方法已不再高效，需要识别场景中突然出现的障碍物，且需要较高的识别速度保证实时性同时需要一定水平的准确性，故在如何提高识别速度的基础上能保证较高水平的准确性一直是一个研究难点，为了科学技术的需求，基于深度学习的全景相机避障技术的研究在成为必然选择。
[0003]基于深度学习的机器人避障方法旨在缩短人工智能和人类学习之间的差距，它通过学习有限的监督信息，结合先验知识，提升目标识别在新任务中的效果；而文献3中提出了一种端到端的目标检测框架，使目标检测的速度得到一定的提高，但存在视野不够的问题，目标障碍物识别的精确度却有待提高，传统方法为弥补该问题则需要数量庞大的数据，这将降低机器人的实时性。
[0004]采用全景相机作为目标检测的图像数据传感器，解决了普通相机视野不全面的问题，同时相比于RGB
‑
D深度相机在数据处理以及价格成本方面均有巨大优势。
[0005]综上，需要研究一种基于深度学习全景相机的机器人避障方法，解决了移动机器人在复杂场景内的避障实时性不好以及精确度不高的问题。

技术实现思路

[0006]本专利技术的目的是提出一种基于深度学习全景相机的机器人避障方法：该方法旨在激光雷达进行全局路径规划基础上，运用全景相机作为深度学习目标检测的图像数据采集传感器，同时采用YOLOv5神经网络框架进行局部路径规划，在保证机器人实时性的同时提高避障的精确性。
[0007]为了实现上述目的，本专利技术的技术方案如下：本专利技术提供了一种基于深度学习全景相机的机器人避障方法，包括：在机器人活动范围内，运用激光雷达传感器通过G
‑
Mapping算法对机器人进行SLAM栅格地图的构建，并用启发式的A*算法在栅格地图上进行全局路径规划，其形式为的f(n)＝h(n)+g(n),式中的g(n)为耗散函数，表示起始节点到终止节点的实际代价，h(n)为启发函数，表示节点n到目标节点的估计代价，f(n)为起始节点到目标节点的估计代价。
[0008]在全局路径规划的基础上，采用双曲面折反射全景摄像头作为传感器进行机器人周围环境的数据图像获取。将获取图像数据进行处理。
[0009]图像数据处理分为三部分，第一部分为图像中心点定位部分第二部分为将图像展开部分，第三部分为畸变矫正部分；在第一部分中使用交互式方法获取环形全景图的重要参数，利用该方法计算得出
环形全景图的中心点中心像素坐标以及内径r和外径R；在第二部分中使用计算出展开图的长为W＝2*π*R，也就是外圆环的周长，宽为外径与内径的差，即R
‑
r，设环形全景图与展开的图像径向展开映射为D，θ为环形全景图极坐标下的角度分量，则环形全景图在直角坐标系下的坐标为：x＝D*cos(θ)，y＝D*sin(θ)，运用该极坐标法将环形全景图展开；第三部分中对运用最邻近插值对展开的畸变进行矫正，展开的图像为梯形，为满足人眼的观测需求，以最后一行为基础将每一行插值与最后一行的像素个数相同，最终获取矩形全景图。
[0010]构建YOLOv5神经网络框架，设置融合模型的超参数，运用VOC数据集进行预训练网络，将折反射全景相机获取的全景图进行展开并畸变矫正后，进行标注放入数据集中，从而使网络适用于折反射全景摄像机获取的环状全景图中的目标检测与分割，相关参数设置为：1)数据集采用VOC数据集，训练过程中设定epoch为300；2)为了验证检测与分割的准确性，使用交并比IoU(Intersection over union)作为目标检测是否正确的依据，并且设定IoU的阈值为0.7当IoU≥0.7为检测结果为正确，当IoU＜0.7标记检测结果为错误；3)采用mAP对网络模型的检测与分割进行评价，随着mAP的值越高，其代表了检测与分割的结果越准确。
[0011]将输出的特征图像传入DWA动态窗口，移动机器人根据全景相机在上位机从节点中运行实时目标检测算法，用于检测室内常见的移动型障碍物；全景相机在一定范围内没有检测到动态移动型障碍物，则采取角速度调节的方法控制移动机器人向目标点移动；若检测到动态移动型障碍物则从上位机订阅发布的检测结果话题，并实时获取移动型障碍物的位置信息以及对应种类；DWA算法在融入视觉检测的结果后，可以实时检测当前速度组对应的模拟运动测轨迹上是否存在移动型障碍物，并在评价函数中结合该视觉的检测结果，对轨迹进一步筛选。更改后的评价函数公式为：其中，σ表示对这三项评价函数进行归一化；α、β、γ表示各项评价函数的权重系数；评价角函数，用来评价在当前速度组下到达轨迹末端时与目标之间的夹角，角度差越小，评分越高；评价速度函数，表示当前轨迹对应的线速度值，根据速度曲率的变化对轨迹进行评分。速度曲率变化越小，评分越高。
[0012]其中，评价检测函数为结合视觉检测融合后的评价检测函数，用来评价当前速度组对应的模拟运动轨迹下是否检测到移动型障碍物，以及检测后对应障碍物的位置信息和种类信息，若当前模运动拟轨迹检测到移动型障碍物，则抛弃该轨迹；若无障碍物，则将其设定为一个常数ξ，最后利用结合视觉改进后的评价函数对所有轨迹进行评分，并选取最佳避障轨迹。
[0013]运用激光雷达对机器人与障碍物之间距离进行测量，若大于或者等于预设的阈值时，进行重新规划路径避让障碍物，若小于预设阈值则采取停止指令，对机器人进行保护。
[0014]本专利技术提供了一种基于深度学习全景相机的机器人避障方法，采用全局路径规划融合局部路径规划的整体思想，激光雷达传感器进行全局路径规划，采用折反射双曲面全景摄像头传感器融合YOLOv5深度学习框架进行局部路径规划，在保证机器人避障的实时性的前提下提高了机器人避障的精确性。
附图说明
[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术激光雷达G
‑
Mapping创建的栅格地图；图2为本专利技术双曲面折反射全景摄像头环形全景图；图3为本专利技术双曲面折反射全景摄像头环形全景图像展开图；图4为本专利技术双曲面折反射全景摄像头畸变矫正原理图；图5为本专利技术双曲面折反射全景摄像头畸变矫正效果图；图6为本专利技术对环形双曲面折反射全景图片目标检测图；图7为本专利技术仿真环境下机器人避障效果图。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习全景相机的机器人避障方法，其特征在于，包括：步骤一：通过激光雷达采集数据信息进行SLAM栅格地图构建，并在获得的栅格地图基础上运用A*算法进行全局路径规划；步骤二：通过移动机器人所携带的双曲面折反射全景摄像头获取原始环形全景图图像数据，并对图像数据进行畸变矫正后展开成符合人眼观测的图像数据；步骤三:构建YOLOV5深度学习神经网络，相应数据集输入到YOLOV5深度学习神经网络模型中，设置所述神经网络模型的超参数，通过神经网络模型训练框架训练所述融合神经网络模型，得到训练完成的融合神经网络模型；步骤四：将步骤二中处理过的符合人眼观测的图像数据输入到所述训练完成的融合神经网络模型，输出融合后的特征图像；步骤五：将步骤五输出的特征图像通过DWA动态窗口进行检测，运用上位机进行观测确定机器人前方是否存在全局路径中不存在的障碍物，若不存在则机器人采取步骤一中的全局路径规划向目标点进行行进；若存在以融合所得的特征图像为准，计算距离障碍物的距离，若激光雷达测量机器人距离障碍物的距离大于设定的阈值，则躲避障碍物进行局部路径规划；若机器人距离障碍物的距离小于设定的阈值，则机器人采取停止指令，进行安全保护。2.根据权利要求1所述的基于深度学习全景相机的机器人避障方法，其特征在于，在所述步骤一中...

【专利技术属性】
技术研发人员：朴燕，孟庆宇，谭佳琪，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：