一种基于样本损失的多检测框损失均衡道路场景理解算法制造技术

本发明专利技术公开了一种基于样本损失的多检测框损失均衡道路场景理解算法，包括如下步骤：首先建立具有区域生成模块和位置精修模块的实例级道路场景理解网络；其次在训练网络时，设计多检测框损失均衡策略，倾向于对更难训练的样本检测框损失赋予更大的梯度，提升网络对困难样本的学习能力，并以权重特征图作为卷积层对相应的损失特征图进行加权求和得到每个模块的子损失，用于反向传播的总损失由各个子损失求和得到；最后，使用网络模型计算待检测图像中多个目标的定位坐标信息和分类信息。本发明专利技术解决了双阶段的检测器中正负样本不平衡的问题，使模型在训练时更加侧重于更有益模型学习的困难检测负样本损失。

A road scene understanding algorithm based on multi detector frame loss balance based on sample loss

【技术实现步骤摘要】
一种基于样本损失的多检测框损失均衡道路场景理解算法
本专利技术涉及计算机视觉和自动驾驶
，具体地是指一种基于样本损失的多检测框损失均衡道路场景理解算法，可应用于汽车理解驾驶场景。
技术介绍
自动驾驶系统主要包括环境识别，决策和运动控制三个模块，环境识别的结果直接影响其他模块，成为整个系统的核心。其中，基于视觉图像的道路场景理解是自动驾驶领域中较为普遍的技术。这项技术为无人值守的感知模块提供了足够的视觉提示和分析信息，以实现对道路周边环境的充分理解和感知。而目标检测和语义分割是其中最为重要的两种实例级和像素级感知方式。通过使用多层卷积神经网络结构，基于深度学习的目标检测算法在特征提取方面具有明显优势，并已成为了当前实例级道路场景理解的主流方法。根据检测框的生成规则，基于深度学习的目标检测方法可以分为单阶段方法和双阶段方法。单阶段的目标检测算法仅使用单个检测网络即可以快速的检测速度实现分类和候选框回归功能，例如YOLOv3、SSD等。它们通常将图像上的每个位置都视为潜在的实际目标对象，并尝试将每个感兴趣的区域分类为背景或目标对象。单阶段的检测器速度快，适合用于实时对象检测，但与双阶段检测器相比，其检测精度较低，容易发生误检漏检事故。目前，双阶段目标检测基本都是在Faster-RCNN基础上改进而来。首先，使用RPN网络粗略分类和识别是否存在目标，然后使用位置精修模块进行更准确的目标分类和位置修正。通常，双阶段目标检测框架非常准确，可以检测更多类别更多数目的目标，因此它非常适合应用于实例级道路场景理解过程。但是，由于模型的尺寸较大，并且常常会出现检测多个目标的情况，因此该方法速度较慢。通过分析目标检测算法中多检测样本的训练过程，可以发现在训练时，双阶段检测网络存在多样本损失梯度失衡的问题。容易检测的样本占据较大比重，困难检测的样本的数量占比较小，这使得网络在训练的过程中，会因大量容易检测的样本而浪费计算力和梯度反馈。对于不同检测程度的样本损失，应该使网络模型在梯度反向传播的时候更加重视困难检测样本的损失，加快网络收敛速度和提高网络精度。
技术实现思路
针对现有实例级道路场景理解算法中，训练时容易检测的正样本对模型贡献较小，且忽略挖掘困难的负样本的损失、检测准确度低等问题，本专利技术提出一种基于样本损失的多检测框损失均衡道路场景理解算法，能让模型更加重视检测错误的样本的损失，可以加快模型的训练速度、提高模型的检测精度。为实现上述目的，本专利技术所设计的一种基于样本损失的多检测框损失均衡道路场景理解算法，其特殊之处在于，所述算法包括以下步骤：所述算法包括以下步骤：步骤1：由特征提取网络、检测框生成网络和位置精修模块构建具有定位与分类功能的实例级道路场景理解网络，其中检测框生成网络和位置精修模块使用同一个特征提取网络获得的特征信息；所述检测框生成网络利用所述特征提取网络得到的特征信息生成检测框，并进行目标类别分类；所述位置精修模块通过卷积层对所述检测框生成网络输出的检测框的目标位置建议进行修正，同时检测框生成网络和位置精修模块均进行目标类别分类；步骤2：采集道路场景的图像作为模型输入图像；步骤3：利用图像数据集训练实例级道路场景理解网络，并采用基于样本损失的多目标检测框损失均衡策略消除多目标检测框之间的相互扰动作用，加快网络的收敛速度，提高目标检测精度：首先根据前向传播算法得到训练图像中多个训练样本的训练损失值；其次对每个训练样本检测框的子损失赋予不同的权重，以此提高网络的训练速度和实例目标检测的精度；然后依据损失均衡策略得到的图像中多样本检测框的损失权重，加权求和得到训练图像在当前网络下的总损失；最后根据反向传播算法更新网络参数；步骤4：保存训练收敛后得到的实例级道路场景理解网络，输入测试图像，计算得到图像中待检测的各个物体的分类类别的置信度以及多个待检测物体的中心坐标、检测矩形框的长度和宽度。优选地，所述步骤3中多样本检测框的损失加权求和得到总损失的计算方法为：其中，Ltotal，Lcls和Lreg分别表示训练过程中训练图片的总损失、样本分类损失和样本回归定位损失；wcls,k，lcls,k分别为第k个检测框的分类损失权重和损失值；wreg,k，lreg,k则为相应检测框的定位损失权重和损失值，k为大于0的自然数。优选地，所述分类损失权重和回归损失权重，采用不会出现零损失的分类损失来评价检测框训练难易程度，计算方法为：wcls,k＝wreg,k＝f(lcls,k)其中，f()为权重分配函数。优选地，所述权重分配函数，为保证添加的权重不会造成训练发生震荡，且满足对损失大的检测框赋予相对大的权重，函数f(x)满足以下条件：·f(x)应是一个递增函数；·f(x)<＝1；·f(x)分布特征通过参数控制；·f(x)均值尽可能趋向于1。优选地，所述函数f(x)以sigmoid函数作为的基础，设计f(x)为其中，x代表相应的大于零的分类损失；α为控制f(x)分布的参数。优选地，所述特征提取网络选用基于裁剪ResNet-101特征提取模块的Faster-RCNN目标检测算法为基础框架。本专利技术相对于现有技术具有如下的优点及效果：1、本专利技术建立具有区域生成模块和位置精修模块的实例级道路场景理解网络；在训练网络时，设计多检测框损失均衡策略，依据每个模块内各检测框样本损失分别得到损失权重特征图，倾向于对更难训练的样本检测框损失赋予更大的梯度，提升网络对困难样本的学习能力，并以权重特征图作为卷积层对相应的损失特征图进行加权求和得到每个模块的子损失，用于反向传播的总损失由各个子损失求和得到；在使用阶段，使用网络模型计算待检测图像中多个目标的定位坐标信息和分类信息；2、本专利技术基于FasterRCNN算法，实现了在道路场景下多目标定位和分类检测，提高了检测的速度和精度，并且可以对目标检测中相互重叠、存在遮挡的情况进行很好的处理；3、本专利技术从多样本损失均衡的角度，提出了一种新颖的权重分配策略来解决双阶段的检测器中正负样本不平衡的问题，使模型在训练时更加侧重于更有益模型学习的困难检测负样本损失。有更高的准确度和鲁棒性，并能实现更快的训练速度，提高实例级道路场景理解的能力。附图说明图1为本专利技术的包含分类与定位功能的实例级道路场景理解网络和多样本损失均衡策略整体框架示意图；图2为样本损失函数在不同的分布参数α下的曲线。具体实施方式为了使本专利技术的目的，技术方案和优点更加清楚，下面结合附图和实施例，对本专利技术进行更加详细的描述。显然，所描述的实施例是本专利技术的一部分但不是全部实施例。本专利技术提供了一种基于样本损失的多检测框损失均衡的实例级道路场景理解算法，包括构建具有分类与定位功能的实例级道路场景理解网络、训练网络模型和使用网络模型三个方面。主要步骤包括：步骤1：构建图1中展示的由特征提取网络、本文档来自技高网...

【技术保护点】
1.一种基于样本损失的多检测框损失均衡道路场景理解算法，其特征在于：所述算法包括以下步骤：/n步骤1：由特征提取网络、检测框生成网络和位置精修模块构建具有定位与分类功能的实例级道路场景理解网络，其中检测框生成网络和位置精修模块使用同一个特征提取网络获得的特征信息；所述检测框生成网络利用所述特征提取网络得到的特征信息生成检测框，并进行目标类别分类；所述位置精修模块通过卷积层对所述检测框生成网络输出的检测框的目标位置建议进行修正，同时检测框生成网络和位置精修模块均进行目标类别分类；/n步骤2：采集道路场景的图像作为模型输入图像；/n步骤3：利用图像数据集训练实例级道路场景理解网络，并采用基于样本损失的多目标检测框损失均衡策略消除多目标检测框之间的相互扰动作用，加快网络的收敛速度，提高目标检测精度：首先根据前向传播算法得到训练图像中多个训练样本的训练损失值；其次对每个训练样本检测框的子损失赋予不同的权重，以此提高网络的训练速度和实例目标检测的精度；然后依据损失均衡策略得到的图像中多样本检测框的损失权重，加权求和得到训练图像在当前网络下的总损失；最后根据反向传播算法更新网络参数；/n步骤4：保存训练收敛后得到的实例级道路场景理解网络，输入测试图像，计算得到图像中待检测的各个物体的分类类别的置信度以及多个待检测物体的中心坐标、检测矩形框的长度和宽度。/n...

【技术特征摘要】
1.一种基于样本损失的多检测框损失均衡道路场景理解算法，其特征在于：所述算法包括以下步骤：
步骤1：由特征提取网络、检测框生成网络和位置精修模块构建具有定位与分类功能的实例级道路场景理解网络，其中检测框生成网络和位置精修模块使用同一个特征提取网络获得的特征信息；所述检测框生成网络利用所述特征提取网络得到的特征信息生成检测框，并进行目标类别分类；所述位置精修模块通过卷积层对所述检测框生成网络输出的检测框的目标位置建议进行修正，同时检测框生成网络和位置精修模块均进行目标类别分类；
步骤2：采集道路场景的图像作为模型输入图像；
步骤3：利用图像数据集训练实例级道路场景理解网络，并采用基于样本损失的多目标检测框损失均衡策略消除多目标检测框之间的相互扰动作用，加快网络的收敛速度，提高目标检测精度：首先根据前向传播算法得到训练图像中多个训练样本的训练损失值；其次对每个训练样本检测框的子损失赋予不同的权重，以此提高网络的训练速度和实例目标检测的精度；然后依据损失均衡策略得到的图像中多样本检测框的损失权重，加权求和得到训练图像在当前网络下的总损失；最后根据反向传播算法更新网络参数；
步骤4：保存训练收敛后得到的实例级道路场景理解网络，输入测试图像，计算得到图像中待检测的各个物体的分类类别的置信度以及多个待检测物体的中心坐标、检测矩形框的长度和宽度。


2.根据权利要求1所述的一种基于样本损失的多检测框损失均衡道路场景理解算法，其特征在于：所述步骤3中多样本检测框的损失加权求和得到总损失的计算方法为：



其中，Ltotal，Lc...

【专利技术属性】
技术研发人员：石英，苏涛，谢长君，张晖，罗佳齐，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42