一种基于梯度均衡策略的多任务实例级道路场景理解算法制造技术

本发明专利技术公开了一种基于梯度均衡策略的多任务实例级道路场景理解算法，构建具有分类与定位功能的实例级道路场景理解网络，该网络由特征提取模块、区域生成模块和位置精修模块构成；在训练阶段，引入梯度均衡策略，通过优化参数的算法分别调整区域生成模块和位置精修模块的分类和回归损失的梯度，倾向于在使不同损失获得均衡的梯度的基础上，对更难训练的损失赋予更大的梯度，降低多个分类和回归损失间的相互扰动作用，获得实例级道路场景理解模型；利用网络模型，获得图像的多个目标的定位坐标信息和分类信息。本发明专利技术实现了在道路场景下目标的多任务定位和分类检测，提高了检测的速度和精度，对目标检测中相互重叠、存在遮挡的情况进行很好的处理。

【技术实现步骤摘要】
一种基于梯度均衡策略的多任务实例级道路场景理解算法
本专利技术涉及图像处理和计算机视觉
，具体地是指一种基于梯度均衡策略的多任务实例级道路场景理解算法，可应用于汽车理解驾驶场景。
技术介绍
无人驾驶系统主要包括环境感知、决策和运动控制三个模块，环境感知的结果直接作用于其他模块，是整个系统的核心。其中，基于视觉图像的场景理解是计算机视觉领域基础且通用的技术，该技术为无人驾驶感知模块提供充足的视觉线索和解析信息，实现对周围道路环境的感知和理解，而目标检测和语义分割正是实现实例级与像素级道路场景理解的必经之路。由于采用了多层卷积神经网络结构，基于深度学习的目标检测算法，在特征提取上具有明显优势，成为了目前实例级道路场景理解的主流方法。根据候选框的生成规则，可将基于深度学习的目标检测方法分为基于候选区域的方法和基于回归的方法。基于回归的目标检测算法仅由单个网络实现分类和候选框回归功能，如YOLOv3，有很快的检测速度。他们通常将图像上的所有位置都视为潜在对象，并尝试将每个感兴趣的区域分类为背景或目标对象。由于基于回归的检测器的快速性，使其成为更适合应用于实时对象检测。但是与基于候选区域的检测器相比，其检测准确度相对较差，容易出现漏检误检事故。目前基于候选区域的目标检测基本都是在Faster-RCNN基础上改进而来，先使用RPN网络粗略分类和定位目标，再用位置精修模块进行细致分类和位置精修。一般来说，基于候选区域的目标检测框架精度较高，能检测较多类别和数目的目标，很适合应用于实例级道路场景理解。但由于这种方法常会出现需要优化多个目标的情形，且模型较大，导致速度较慢。通过分析目标检测算法中多任务损失，可以发现基于候选区域的检测网络存在分类和回归损失训练失衡的问题。各损失之间往往相互影响，不能严格按照各自梯度下降的方向变化。对于不同损失，梯度下降的速度不同，造成了不同损失之间的不平衡，这使网络训练变慢甚至导致精度下降。如何均衡目标检测网络的损失，以加快网络的训练过程也是提升实例级道路场景理解算法的重点之一。
技术实现思路
针对现有实例级道路场景理解算法中训练时多任务损失间相互扰动、检测准确度低等问题，本专利技术提出一种基于梯度均衡策略的多任务实例级道路场景理解算法，能实时根据不同网络模块训练情况更新权重，达到加快训练速度和提升网络精度的目的。为实现上述目的，本专利技术所设计的一种基于梯度均衡策略的多任务实例级道路场景理解算法，其特殊之处在于，所述算法包括以下步骤：步骤1：构建包含定位与分类功能的实例级道路场景理解网络，所述网络由特征提取网络、区域生成模块和位置精修模块构成，区域生成模块和位置精修模块两者共用同一个特征提取网络；所述区域生成模块利用所述特征提取网络得到的特征层生成检测框，并进行目标类别分类；所述位置精修模块通过深度卷积神经网络对所述区域生成模块得到的检测框的位置特征向量进行编码，得到更准确的目标定位坐标向量，然后进行对象类别预测；步骤2：获取道路场景的图像作为模型输入图像；步骤3：利用数据集内图像训练实例级道路场景理解网络，采用梯度均衡策略来平衡多任务损失间的相互扰动作用，加快网络的收敛速度，提高目标检测精度：以网络模型为基础，根据前向传播算法得到训练图像的多任务训练损失值；采用梯度均衡策略平衡在网络训练过程中多任务损失的相互干扰；依据均衡策略得到的每个任务的损失权重，计算训练图像在当前网络下的总损失；根据反向传播算法更新网络参数；步骤4：在训练收敛后得到的实例级场景理解网络中，依据所输入图像，计算得到图像中待检测物体的分类类别和置信度以及待检测物体的中心坐标、检测矩形框的长度和宽度。优选地，所述步骤1)中区域生成模块和位置精修模块两者共用同一个以ResNet-101为主干的特征提取网络。优选地，所述步骤3的具体步骤包括：步骤31：选择距离所述区域生成模块和位置精修模块最近的共享层Wrpn，Wproposal；初始化区域生成模块和位置精修模块的定位和回归损失权重w←{wi,j|i{cls,reg},j{rpn,proposal}}的每一个值为1，cls表示分类任务，reg表示回归任务，rpn表示区域生成模块，proposal表示位置精修模块；步骤32：分别归一化区域生成模块的损失权重wi,rpn和位置精修模块损失权重wi,proposal；步骤33：计算网络前向传播过程，根据各损失权重加权得到整体网络模型总损失Li,j(t)；步骤34：根据损失及梯度下降算法，更新网络参数；步骤35：根据优化参数wi(t)的损失函数，分别计算区域生成模块权重损失Lgrad(t；wi,rpn(t))和位置精修模块的权重损失Lgrad(t；wi,proposal(t))；步骤36：分别计算区域生成模块权重损失梯度wi,rpn(t)Lgrad(t；wi,rpn(t))和位置精修模块权重损失梯度，wi,proposalLgrad(t；wi,proposal(t))，并根据梯度下降算法依次更新对应的权重w；步骤37：采用上述步骤32至步骤36更新参数后的实例级场景理解网络按批次顺序检测训练图像集并更新网络参数和损失权重，直至达到预设的训练次数或者所述训练损失值低于预设的阈值，获得训练好的目标检测网络。优选地，所述优化参数wi(t)的损失函数的计算方法为：其中ri(t)表示第i个任务相对其他任务学习的难度；wi(t)表示第i个任务的损失权重；表示更新时，每个损失wi(t)Li(t)对于共享特征层W的梯度大小；并且i∈{cls,reg}。优选地，所述相对其他任务学习的难度ri(t)的计算方法为：其中，Li(t)代表第i个模块t时刻的损失，代表第i个损失下降的难度，即该任务学习的难度；Etask[.]表示求所有任务的期望。本专利技术相对于现有技术具有如下的优点及效果：1、本专利技术构建具有分类与定位功能的实例级道路场景理解网络，该网络由特征提取模块、区域生成模块和位置精修模块构成；在训练阶段，引入梯度均衡策略，通过优化参数的算法分别调整区域生成模块和位置精修模块的分类和回归损失的梯度，倾向于在使不同损失获得均衡的梯度的基础上，对更难训练的损失赋予更大的梯度，降低多个分类和回归损失间的相互扰动作用，获得实例级道路场景理解模型；在使用阶段，利用网络模型，获得图像的多个目标的定位坐标信息和分类信息；2、本专利技术从梯度下降算法的角度，提出了一种新颖的梯度均衡策略来解决基于候选区域的检测器中分类和回归损失不平衡的问题。不需要数据增强等技巧，就能取得更高的准确度，并能实现更快的训练速度，提高实例级道路场景理解的能力；3、本专利技术基于FasterRCNN算法，实现了在道路场景下目标的多任务定位和分类检测，提高了检测的速度和精度，并且可以对目标检测中相互重叠、存在遮挡的情况进行很好的处理。附图说明图1本专利技术的包含分类与定位功能的实例级道路场景理解网络以本文档来自技高网...

【技术保护点】
1.一种基于梯度均衡策略的多任务实例级道路场景理解算法，其特征在于：所述算法包括以下步骤：/n步骤1：构建包含定位与分类功能的实例级道路场景理解网络，所述网络由特征提取网络、区域生成模块和位置精修模块构成，区域生成模块和位置精修模块两者共用同一个特征提取网络；所述区域生成模块利用所述特征提取网络得到的特征层生成检测框，并进行目标类别分类；所述位置精修模块通过深度卷积神经网络对所述区域生成模块得到的检测框的位置特征向量进行编码，得到更准确的目标定位坐标向量，然后进行对象类别预测；/n步骤2：获取道路场景的图像作为模型输入图像；/n步骤3：利用数据集内图像训练实例级道路场景理解网络，采用梯度均衡策略来平衡多任务损失间的相互扰动作用，加快网络的收敛速度，提高目标检测精度：以网络模型为基础，根据前向传播算法得到训练图像的多任务训练损失值；采用梯度均衡策略平衡在网络训练过程中多任务损失的相互干扰；依据均衡策略得到的每个任务的损失权重，计算训练图像在当前网络下的总损失；根据反向传播算法更新网络参数；/n步骤4：在训练收敛后得到的实例级场景理解网络中，依据所输入图像，计算得到图像中待检测物体的分类类别和置信度以及待检测物体的中心坐标、检测矩形框的长度和宽度。/n...

【技术特征摘要】
1.一种基于梯度均衡策略的多任务实例级道路场景理解算法，其特征在于：所述算法包括以下步骤：
步骤1：构建包含定位与分类功能的实例级道路场景理解网络，所述网络由特征提取网络、区域生成模块和位置精修模块构成，区域生成模块和位置精修模块两者共用同一个特征提取网络；所述区域生成模块利用所述特征提取网络得到的特征层生成检测框，并进行目标类别分类；所述位置精修模块通过深度卷积神经网络对所述区域生成模块得到的检测框的位置特征向量进行编码，得到更准确的目标定位坐标向量，然后进行对象类别预测；
步骤2：获取道路场景的图像作为模型输入图像；
步骤3：利用数据集内图像训练实例级道路场景理解网络，采用梯度均衡策略来平衡多任务损失间的相互扰动作用，加快网络的收敛速度，提高目标检测精度：以网络模型为基础，根据前向传播算法得到训练图像的多任务训练损失值；采用梯度均衡策略平衡在网络训练过程中多任务损失的相互干扰；依据均衡策略得到的每个任务的损失权重，计算训练图像在当前网络下的总损失；根据反向传播算法更新网络参数；
步骤4：在训练收敛后得到的实例级场景理解网络中，依据所输入图像，计算得到图像中待检测物体的分类类别和置信度以及待检测物体的中心坐标、检测矩形框的长度和宽度。


2.根据权利要求1所述的一种基于梯度均衡策略的多任务实例级道路场景理解算法，其特征在于：所述步骤1)中区域生成模块和位置精修模块两者共用同一个以ResNet-101为主干的特征提取网络。


3.根据权利要求1所述的一种基于梯度均衡策略的多任务实例级道路场景理解算法，其特征在于：所述步骤3的具体步骤包括：
步骤31：选择距离所述区域生成模块和位置精修模块最近的共享层Wrpn，Wproposal；初始化区域生成模块和位置精修模块的定位和回归损失权重w←{wi,j|i{cls,reg},j{rpn,proposal}}的...

【专利技术属性】
技术研发人员：石英，苏涛，谢长君，张晖，罗佳齐，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42