基于地面机器人的协同搜索围堵方法技术

本发明专利技术涉及图像处理、实时建图、路径规划和机器人等技术，为提出地面机器人的协同搜索围堵平台，本发明专利技术，基于地面机器人的协同搜索围堵方法，利用搭载摄像头和处理器的地面机器人进行目标搜索，其中一台机器人额外搭载激光雷达，所述搭载激光雷达的机器人利用激光雷达建立环境地图，并将地图传输给其它机器人，所有机器人通过摄像头获取周围环境的图像信息并进行处理，利用事先训练好的检测和跟踪算法，在多个物体中识别出指定目标物体，对其进行长时间跟踪，机器人之间通过无线网络进行数据传输；某个机器人检测到目标会对其进行跟踪，并将目标位置信息实时发送给其它地面机器人，进行实时路径规划、围捕。本发明专利技术主要应用于机器人设计场合。

【技术实现步骤摘要】
基于地面机器人的协同搜索围堵方法
本专利技术涉及计算机视觉、图像处理、实时建图、路径规划等领域，解决了在未知环境中多机器人如何搜索围堵特定目标。
技术介绍
随着机器人技术的发展，人们对机器人的要求不再局限于单个机器人。近年来，随着机器人生产线的出现及柔性制造系统的应用，研究人员对由多个机器人组成的系统平台越来越感兴趣，多机器人的研究已经成为机器人学研究的一个重要方面。尤其在军工领域，多个机器人如何在未知环境中，建立环境地图，检测跟踪特定目标，并最终实现目标围捕，已越来越成为一个热点方向。地面机器人协同搜索围捕主要有三部分技术。实时建图，目的是建立未知环境的地图，是后续路径规划的前提，常用的方法有基于激光雷达或者双目摄像头的同步定位与建图方法(SimultaneousLocalizationandMapping，SLAM)等。检测跟踪，目的是从复杂环境中检测出目标物体，并持续跟踪，为路径规划提供路径终点，现有的检测算法以基于深度学习的算法为主，包括FasterRCNN(FasterRegionswithConvolutionalNeuralNetworkfeatures，高速基于区域的卷积神经网络检测算法)、YOLO(YouOnlyLookOnce，一眼检测算法)、SSD(SingleShotMultiBoxDetector，单图多尺度检测算法)等检测方法，常用的跟踪算法主要包括KCF(KernelCorrelationFilter，核相关滤波跟踪算法)、TLD(Tracking-Learning-Detection，跟踪-学习-检测集成跟踪算法)等算法。若单纯使用检测算法用于追踪，在地面机器人的嵌入式系统上，难以达到实时检测的效果，而单独使用跟踪算法，需要手动初始化第一帧，不能达到自主跟踪目标的效果，且若跟踪失败，无法对目标进行再捕获，如何对二者取长补短是一个亟待解决的问题。路径规划，目的是在已知的环境地图中建立平滑合理的路径，在躲避环境地图上的障碍物基础上，尽可能找到最优路线，常用的方法包括A*(A-staralgorithm，启发式搜索)、RRT(Rapidly-exploringRandomizedTrees，快速探索随机树)算法等，但是在跟踪移动物体时，需要进行实时路径规划，以上方法难以达到高效和准确。地面机器人的搜索围捕是前学术界研究的一个重点方向，而搜索围捕中需要的实时建图、检测跟踪和路径规划都是机器人技术发展的关键技术，只有将这些技术逐个攻克，并将其串联起来，才能实现该问题的解决。所以，在同一个系统下实现实时建图、检测跟踪和路径规划等技术，并得到无缝结合的效果，最终解决这个问题，具有极大地研究意义。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出针对地面机器人的协同搜索围堵平台。为此，本专利技术采取的技术方案是，基于地面机器人的协同搜索围堵方法，利用搭载摄像头和处理器的地面机器人进行目标搜索，其中一台机器人额外搭载激光雷达，所述搭载激光雷达的机器人利用激光雷达建立环境地图，并将地图传输给其它机器人，所有机器人通过摄像头获取周围环境的图像信息并进行处理，利用事先训练好的检测和跟踪算法，在多个物体中识别出指定目标物体，对其进行长时间跟踪，机器人之间通过无线网络进行数据传输；某个机器人检测到目标会对其进行跟踪，并将目标位置信息实时发送给其它地面机器人；其它机器人根据目标点位置，进行实时路径规划，从而进行围捕。具体地：建立环境地图是基于Gmapping算法来建立地图并确定自身位置，Gmapping是一种粒子滤波算法，将定位和建图过程分离，先进行定位再进行建图，利用激光雷达得到的点云信息，对机器人的自身里程计进行修正，达到实时建图的效果，并将建好的地图通过机器人操作系统ROS(TheRobotOperatingSystem)利用无线网络传输给其它地面机器人；检测和跟踪算法是采用改进的TLD跟踪算法和改进的基于深度学习的YOLOv3-tiny的检测算法，机器人对摄像头内的目标进行检测，如果检测到目标，切换到跟踪算法对目标进行跟踪，如果跟丢，重新进入检测模式，对周围物体进行检测，对目标再捕获，当某个机器人寻找到目标，将目标位置信息实时发送给其它机器人；路径规划算法，考虑复杂环境障碍与机器人避碰避障等约束条件，建立综合路径长度和光滑程度的性能指标，采用RRT算法，为每个机器人规划出一条安全可行的优化路径，从而能对目标物体进行围捕。检测算法使用改进的使用自制数据集训练的YOLOv3-tiny，网络提升提取部分卷积层均使用卷积核大小为3，步长为1，扩充尺寸为1的参数结构，采用卷积层-激活函数层-批量归一化层(BatchNorm)-最大池化层作为的基本单元，多层堆叠成最终的特征提取部分；采用六种不同大小的锚点anchor，六种锚点的大小通过对训练集的目标形状进行K近邻算法(k-means)聚类得到，不同锚点分别在网络的不同尺度上进行检测，在特征提取网络第14层后检测大物体，此处特征图经过了5次下采样，特征图尺度减小为输入的1/32，使用特征图尺度较大的三个锚点用于检测大物体；对特征提取网络第14层经过1*1卷积之后经过反卷积之后和特征提取网络第8层进行堆叠concat，此处特征图经过了4次下采样，特征图尺度减小为输入的1/16，使用较小的三个锚点用于检测小物体；为了提升网络的运行速度，将网络输入变为320*320的大小，训练阶段利用随机尺度输入来提升网络检测效果，随机输入范围为[224,416]每隔32取一个尺度，对应的最后一层特征图大小范围为[7,13]，训练的最后200次迭代，固定使用320*320大小的输入；具体制作1150张数据集，包含两种目标标签，出现比例为1:1，由于数据量不是很大，对数据进行数据增强，包括随机水平翻转；随机对比度0.2半径、亮度0.2半径、饱和度0.4半径、锐度0.3半径和具有这些变换的随机排列的抖动，随机尺度抖动最小：0.9，最大值：1.2，随机旋转最大abs角度：15，和随机扣取；训练过程共40000次迭代，初始学习率为0.001，在第25000、35000次迭代时，下降学习率为当前的十分之一，批次大小设为64。训练在Darknet(一种深度学习框架)框架下进行，实验环境为Ubuntu16.04操作系统，利用英伟达公司9GB显存的GTX1080GPU进行网络的训练并利用CUDA进行训练的加速。跟踪算法使用改进的TLD算法，当检测器和跟踪器的置信度都低于一个阈值时，认为跟踪失败，此时退出跟踪模块，重新调用检测算法进行再检测，如果当前摄像头中没有目标，地面机器人会慢慢旋转360度用于检测捕获目标，若没有检测到目标，则认为跟踪失败；当跟踪获得的目标位置不在图像的中心附近时，根据横向误差设定角速度，进行方向修正，但需要保证角速度不超过最大角速度。当跟踪获得的目标位置在图像的中心附近时，在锁定目标的矩形框内均匀地提取81个点，提取深度，选取最小的40个点，取均值作为目标的距离，判断距离是否在设定的距离范围内，如果不是，根据纵向误差量设定线速度，进行距离修正，但线速度不超过最大线速度；如果在合理距离内，地面机器人将保持静止，先判断角度后判断距离的原因是，如果角度不正确，地面机器人将本文档来自技高网...

【技术保护点】
1.一种基于地面机器人的协同搜索围堵方法，其特征是，利用搭载摄像头和处理器的地面机器人进行目标搜索，其中一台机器人额外搭载激光雷达，所述搭载激光雷达的机器人利用激光雷达建立环境地图，并将地图传输给其它机器人，所有机器人通过摄像头获取周围环境的图像信息并进行处理，利用事先训练好的检测和跟踪算法，在多个物体中识别出指定目标物体，对其进行长时间跟踪，机器人之间通过无线网络进行数据传输；某个机器人检测到目标会对其进行跟踪，并将目标位置信息实时发送给其它地面机器人；其它机器人根据目标点位置，进行实时路径规划，从而进行围捕。

【技术特征摘要】
1.一种基于地面机器人的协同搜索围堵方法，其特征是，利用搭载摄像头和处理器的地面机器人进行目标搜索，其中一台机器人额外搭载激光雷达，所述搭载激光雷达的机器人利用激光雷达建立环境地图，并将地图传输给其它机器人，所有机器人通过摄像头获取周围环境的图像信息并进行处理，利用事先训练好的检测和跟踪算法，在多个物体中识别出指定目标物体，对其进行长时间跟踪，机器人之间通过无线网络进行数据传输；某个机器人检测到目标会对其进行跟踪，并将目标位置信息实时发送给其它地面机器人；其它机器人根据目标点位置，进行实时路径规划，从而进行围捕。2.如权利要求1所述的基于地面机器人的协同搜索围堵方法，其特征是，具体地：建立环境地图是基于Gmapping算法来建立地图并确定自身位置，Gmapping是一种粒子滤波算法，将定位和建图过程分离，先进行定位再进行建图，利用激光雷达得到的点云信息，对机器人的自身里程计进行修正，达到实时建图的效果，并将建好的地图通过机器人操作系统ROS(TheRobotOperatingSystem)利用无线网络传输给其它地面机器人；检测和跟踪算法是采用改进的TLD跟踪算法和改进的基于深度学习的YOLOv3-tiny的检测算法，机器人对摄像头内的目标进行检测，如果检测到目标，切换到跟踪算法对目标进行跟踪，如果跟丢，重新进入检测模式，对周围物体进行检测，对目标再捕获，当某个机器人寻找到目标，将目标位置信息实时发送给其它机器人；路径规划算法，考虑复杂环境障碍与机器人避碰避障等约束条件，建立综合路径长度和光滑程度的性能指标，采用RRT算法，为每个机器人规划出一条安全可行的优化路径，从而能对目标物体进行围捕。3.如权利要求2所述的基于地面机器人的协同搜索围堵方法，其特征是，检测算法使用改进的使用自制数据集训练的YOLOv3-tiny，网络提升提取部分卷积层均使用卷积核大小为3，步长为1，扩充尺寸为1的参数结构，采用卷积层-激活函数层-批量归一化层BatchNorm-最大池化层作为的基本单元，多层堆叠成最终的特征提取部分；采用六种不同大小的锚点anchor，六种锚点的大小通过对训练集的目标形状进行K近邻算法(k-means)聚类得到，不同锚点分别在网络的不同尺度上进行检测，在特征提取网络第14层后检测大物体，此处特征图经过了5次下采样，特征图尺度减小为输入的1/32，使用特征图尺度较大的三个锚点用于检测大物体；对特征提取网络第14层经过1*1卷积之后经过反卷积之后和特征提取网络第8层进行堆叠concat，此处特征图经过了4次下采样，特征图尺度减小为输入的1/16，使用较小的三个锚点用于检测小物体；为了提升网络的运行速度，将网络输入变为320*320的大小，训练阶段利用随机尺度输入来提升网络检测效果，随机输入范围为[224,416]每隔32取一个尺度，对应的最后一层特征图大小范围为[7,13]，训练的最后200次迭代，固定使用320*320大小的输入；具体制作11...

【专利技术属性】
技术研发人员：窦立谦，王永镇，邢娜，马秀俞，董圣然，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12