基于多任务的智能自主视觉导航与目标检测方法技术

本发明专利技术涉及计算机视觉、深度学习、图像处理、机器人自主导航、目标检测等领域，为提出性能更强的基于卷积神经网络的视觉导航与目标检测融合的方法，用于机器人智能自主导航与目标检测多任务的同时实现。本发明专利技术，基于多任务的智能自主视觉导航与目标检测方法，以相机作为感知设备，摄取输入图像；利用共享的主干神经网络，对输入图像进行特征提取；利用视觉导航任务分支网络得到导航方向和碰撞概率；利用目标检测分支网络进行大小物体检测。本发明专利技术主要应用于机器人自动控制场合。要应用于机器人自动控制场合。要应用于机器人自动控制场合。

【技术实现步骤摘要】
基于多任务的智能自主视觉导航与目标检测方法


[0001]本专利技术涉及计算机视觉、深度学习、图像处理、机器人自主导航、目标检测等领域，具体涉及基于多任务的智能自主视觉导航与目标检测方法。

技术介绍

[0002]随着深度学习技术的不断发展，基于卷积神经网络的计算机视觉技术对各行各业都产生重大影响。而安全可靠的室内外无人系统的自主导航与目标检测技术，作为机器人界的一个颇具挑战性的开放性问题，仍亟待技术的进一步革新和进步。能在复杂的环境中进行自主导航，对机器人至关重要。尤其在楼道或者城市环境中，该问题更复杂，机器人除了需要对环境中的静态障碍物进行避让，还需要对周围其它动态物体进行交互，如对行人和车辆的避让，同时可能需要进行其他任务，如对特定物体的检测或者跟踪等等。
[0003]视觉导航技术指的是，设计模型结构与目标函数，如卷积神经网络与损失函数等，利用大量有标注数据(原始感知数据-控制策略)对模型进行训练，使训练后的模型可以根据原始感知数据直接得到合理的控制策略，不需要建图和定位等步骤。
[0004]而目标检测是指从一幅场景或者图片中找出一类或者多类感兴趣目标并对各个目标进行定位，包括定位和识别两个过程。目标检测问题是计算机视觉领域的一个基本问题，是广泛的下游视觉应用的先决条件，例如实例分割[1][2]，人体关键点检测[3]，人脸识别[4]等。
[0005]在传统自主导航问题中，GPS(全球定位系统)存在定位误差过大，室内无法定位等问题，SLAM(同步定位与地图构建)也具有误差累积、难以应对变化过快的场景、计算资源占用较大等问题。如果再引入目标检测任务，无疑增大了移动机器人的计算负担。除此之外，将感知任务与决策任务分离处理，还引入了由环境地图得到控制决策的逻辑设计问题。所以，基于多任务的机器人智能自主导航与目标检测技术是一个相当困难的课题。
[0006]视觉导航技术是实现机器人自主导航的一种方法，作为一种基于卷积神经网络的新兴技术，准确度还有待提高，偶尔会有错误的决策输出。而在机器人的实际运行中，输出任何错误的控制决策都可能导致严重的后果，对生产和人员安全产生影响。但只实现视觉导航功能不满足实际需要，很多场景下需要同时实现目标检测，而分别使用两个神经网络实现不同功能会占用大量系统资源，不满足嵌入式系统上低功耗的要求。所以如何在低功耗下同时实现自主导航和目标检测是一个亟待解决的问题。
[0007]视觉导航算法和目标检测算法作为两个计算机视觉的子任务，对于实现机器人智能化自主导航和目标检测有重要意义。而两个任务如果由两个卷积神经网络分别实现，会耗费大量计算资源，极大降低系统的实时性。利用多任务神经网络的思想，共享主干网络提取的特征，之后利用两个分支网络分别实现视觉导航和目标检测的功能。从而以较少的网络参数，较快的网络推理速度，实现自主导航和目标检测。

技术实现思路

[0008]为克服现有技术的不足，本专利技术旨在提出一种针对地面机器人的基于多任务的智能视觉导航与目标检测方法。对当前现有的视觉导航算法和目标检测算法进行研究与融合，提出性能更强的基于卷积神经网络的视觉导航与目标检测融合的方法，用于机器人智能自主导航与目标检测多任务的同时实现。使用公开数据集对提出的算法进行训练，得到性能良好的算法。地面机器人搭载kinect相机作为感知设备，搭载Jetson TX2作为处理器，使用本专利技术提出的视觉导航与目标检测多任务算法实现机器人智能自主导航以及对特定目标的检测与跟踪。为此，本专利技术采取的技术方案是，基于多任务的智能自主视觉导航与目标检测方法，步骤如下：
[0009]以相机作为感知设备，摄取输入图像；
[0010]利用共享的主干神经网络，对输入图像进行特征提取，将结果输入后续分支网络；
[0011]利用视觉导航任务分支网络，接收共享的主干网络得到的特征图，经过卷积进行特征提取，最后使用两个全连接分类器进行分类，分别得到导航方向和碰撞概率；
[0012]利用目标检测分支网络接收共享的主干网络得到的特征图，目标检测分支网络的大物体检测分支对得到的10
×
10大小的特征图进行特征提取，之后使用检测器进行检测；小物体分类器使用跨层连接结合不同尺度的特征图，特征提取后使用检测器在20
×
20大小的特征图上进行检测。
[0013]目标检测分支网络利用特征金字塔网络FPN，将具有丰富特征的高层特征图上采样，通过跨层连接和低层特征图结合的方法进行检测。
[0014]其中，主干神经网络为卷积层、池化层交替结构，最后通过3个卷积层输出到大物体检测器；视觉导航任务分支网络包括卷积层、池化层；目标检测分支网络包括卷积层、上采样模块、contat拼接模块，输出到小物体检测器。
[0015]训练步骤如下：主干网络读取预训练参数，首先冻结视觉导航分支参数，训练主干网络和目标检测分支100个epoch，Epoch就是将所有训练样本训练一次的过程，训练中前50个epoch只训练随机初始化参数的层，学习率0.001，后50个epoch微调主干网络和目标检测分支，学习率10^(-4)；之后冻结主干网络和目标检测分支参数，训练视觉导航分支参数50个epoch，学习率0.001，衰减系数10^(-5)；优化器均选用Adam优化器。
[0016]本专利技术的特点及有益效果是：
[0017](1)设计了视觉导航与目标检测多任务网络：本专利技术设计了视觉导航与目标检测多任务网络架构，基于共享主干网络提取的特征，加入视觉导航分支和目标检测分支，形成了多任务神经网络，可以同时得到视觉导航结果和目标检测结果。
[0018](2)提出了针对移动小物体的高性能检测算法：本专利技术提出了针对移动小物体的目标检测算法，为了更好地提取和利用图像的特征，本算法结合了网络不同尺度的信息，在小物体检测分支加入一个特定的卷积层，与YOLOv3-tiny相比，小物体的召回率更高。
[0019](3)提出一种更高效数据集标注方法：本专利技术提出了一种利用跟踪算法实现数据集标注的方法，极大地减少了标注难度，同时提高了标注的效率。
附图说明：
[0020]图1多任务模型总体结构图。
[0021]图2多任务卷积神经网络结构图。
[0022]图3标注方法流程图。
[0023]图4机器人目标检测数据集。
[0024]图5自制数据集部分样例图。
[0025]图6目标检测网络整体结构。
[0026]图7聚类结果图。
[0027]图8多任务网络整体结构图。
[0028]图9多任务网络网络结构参数图。
[0029]图10训练过程的损失值及学习率变化图。
[0030]图11目标检测效果对比图。
具体实施方式
[0031]本专利技术涉及计算机视觉、深度学习、图像处理、机器人自主导航、目标检测等领域，解决了在低功耗、弱计算资源下使用单一神经网络同时实现自主导航和目标检测跟踪的问题。
[0032](本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务的智能自主视觉导航与目标检测方法，其特征是，步骤如下：以相机作为感知设备，摄取输入图像；利用共享的主干神经网络，对输入图像进行特征提取，将结果输入后续分支网络；利用视觉导航任务分支网络，接收共享的主干网络得到的特征图，经过卷积进行特征提取，最后使用两个全连接分类器进行分类，分别得到导航方向和碰撞概率；利用目标检测分支网络接收共享的主干网络得到的特征图，目标检测分支网络的大物体检测分支对得到的10
×
10大小的特征图进行特征提取，之后使用检测器进行检测；小物体分类器使用跨层连接结合不同尺度的特征图，特征提取后使用检测器在20
×
20大小的特征图上进行检测。2.如权利要求1所述的基于多任务的智能自主视觉导航与目标检测方法，其特征是，目标检测分支网络利用特征金字塔网络FPN，将具有丰富特征的高层特征图上采样，通过跨层连接和低层特征图结合的方...

【专利技术属性】
技术研发人员：宗群，王悦，王永镇，鲁瀚辰，董圣然，
申请(专利权)人：天津大学，
类型：发明
国别省市：