一种多尺度目标检测的训练样本分配方法及系统技术方案

本发明专利技术涉及一种多尺度目标检测的训练样本分配方法及系统，该方法包括：获取目标数据集，将目标数据集经过卷积神经网络提取多个特征图，并确定先验框和预测框；计算先验框与真实标注框的第一重叠度值和预测框与真实标注框的第二重叠度值，将第一重叠度值大于第一设定阈值的先验框作为第一候选正样本，将第二重叠度值大于第一设定阈值的预测框作为补充的第一候选正样本，构建第一正样本集合，计算均值和方差得到第二设定阈值；根据第一重叠度值与第一设定阈值及第二设定阈值的关系对先验框进行划分，得到第二正样本和第二负样本。解决了自动驾驶场景下的多尺度目标在正负样本分配时的不平衡问题，提高多尺度目标在目标检测网络中的检测精度。测网络中的检测精度。测网络中的检测精度。

【技术实现步骤摘要】
一种多尺度目标检测的训练样本分配方法及系统


[0001]本专利技术涉及计算机视觉技术和自动驾驶
，特别是涉及一种多尺度目标检测的训练样本分配方法及系统。

技术介绍

[0002]基于深度学习的目标检测算法的核心思想是通过检测算法自动预测输入图像或者视频中感兴趣的目标类别和位置信息，这一功能和自动驾驶的需求高度匹配。通过输入大量的自动驾驶场景图片训练检测模型，使其获得在自动驾驶场景中识别行人、车辆和交通标识牌等目标信息的功能。但是，自动驾驶场景中，行人、车辆、交通标志等目标物的尺度差异较大、场景变化繁多等因素都会影响检测算法的准确度和实时性，这也是当前基于计算机视觉技术的目标检测算法在自动驾驶场景中应用面临的挑战。
[0003]当前主流的物体检测算法，如Faster RCNN和YOLO等，都是将目标检测当做分类问题来考虑，即先使用先验框或者RPN等生成感兴趣的区域，再对该区域进行分类与回归位置。
[0004]目标检测网络的训练阶段需要划分正负样本，然后根据任务设计一个损失函数，使用优化算法如SGD以迭代的方式更新神经元的weight和bias，优化的目标是最小化损失函数，因此训练好的模型就可以拟合训练集。
[0005]目标检测任务中，输入一张图像，正负样本的单位是一张图像中的某个区域，所以一张图像有多个正负样本。那么如何得到这些区域(样本)？如何把这么多的区域分为正负样本？这是两个重要的问题。前者：一种常用的做法是基于anchor的方法来得到这些区域，每个图像的小块上生成的一些先验框anchor就是样本。后者：常用的是基于anchor和真实标注框gt的IOU来划分正负样本，不同的算法策略不同。如果anchor划分为正样本，那么对该正样本进行回归就可以得到预测框，此预测框就可以参与到损失函数中定位损失的计算。
[0006]当前常用的一些训练正负样本分配方法包括MaxIoUAssigner，其主要总结为：计算anchor与gt的IoU，如果anchor和gt的IoU低于某一指定阈值Y的为负样本，高于阈值Y的就为正样本。或者是基于TopK的分配方法：计算anchor中心与gt中心的欧氏距离，筛选出距离最近的前K个anchor，在利用IoU值选出最终的正负样本。
[0007]现有的上述分配方法或多或少都存在着一些缺陷，特别是在自动驾驶场景下目标尺度差距大时，由于目标的尺度大小不同，大目标会比小目标匹配更多的正anchor，这会导致正负anchor的分配不平衡。小目标与预设anchor的IOU值一般较低。MaxIoUAssigner类型的分配方法的阈值若设定较大，会导致小目标的正样本过少，如果阈值设定较小，会导致大目标多出较差的正样本。ToPK类型的分配方法选定的正样本数量有限，无法充分的利用样本信息，拟合较慢。

技术实现思路

[0008]本专利技术的目的是提供一种多尺度目标检测的训练样本分配方法及系统，能够解决自动驾驶场景下的多尺度目标在正负样本分配时的不平衡问题，可以有效提高多尺度目标在目标检测网络中的检测精度。
[0009]为实现上述目的，本专利技术提供了如下方案：
[0010]本专利技术提供了一种多尺度目标检测的训练样本分配方法，所述方法包括：
[0011]获取自动驾驶场景下的目标数据集；所述目标数据集包括目标检测对象图像和对应的标签信息；所述目标检测对象图像包括目标检测对象，所述目标检测对象包括行人、车辆和交通标志；所述标签信息包括目标检测对象图像中目标检测对象的位置坐标和类别；
[0012]将所述目标数据集经过卷积神经网络的前向传播进行特征提取，得到多个特征图，并基于所述特征图，确定多个先验框和预测框；
[0013]创建第一样本分配列表，所述第一样本分配列表表示先验框被分配的样本类型；所述样本类型包括第一正样本、第一负样本和第一忽略样本；
[0014]计算所述先验框与真实标注框的第一重叠度值，并将所述第一重叠度值大于第一设定阈值的先验框索引作为第一候选正样本；计算所述预测框与真实标注框的第二重叠度值，并将所述第二重叠度值大于第一设定阈值的预测框索引作为补充的第一候选正样本；
[0015]根据所述第一候选正样本与所述补充的第一候选正样本构建第一正样本集合，并计算所述第一正样本集合的均值和方差，根据所述均值和所述方差得到第二设定阈值；
[0016]根据所述第一重叠度值分别与所述第一设定阈值及所述第二设定阈值的大小关系，对所述先验框进行划分，得到第二正样本和第二负样本；所述第二正样本和第二负样本作为卷积神经网络的训练数据，以获得目标检测网络模型；所述目标检测网络模型用于在自动驾驶场景下进行多尺度目标检测。
[0017]可选地，所述基于所述特征图，确定多个先验框和预测框，具体包括：
[0018]在特征图上的每个像素点的中心设置多个先验框；
[0019]根据所述卷积神经网络计算输出偏移值，并根据所述输出偏移值和所述先验框，确定预测框。
[0020]可选地，所述第二设定阈值为所述均值和所述方差的和。
[0021]可选地，所述根据所述第一重叠度值与所述第一设定阈值、所述第二设定阈值的大小关系，对所述先验框进行划分，得到第二正样本和第二负样本，具体包括：
[0022]将所述第一重叠度值小于所述第一设定阈值的先验框划分为第二负样本；
[0023]将所述第一重叠度值大于所述第二设定阈值的先验框划分为第二正样本。
[0024]为实现上述目的，本专利技术还提供了一种多尺度目标检测的训练样本分配系统，所述系统包括：
[0025]目标数据集获取单元，用于用于获取自动驾驶场景下的目标数据集；所述目标数据集包括目标检测对象图像和对应的标签信息；所述目标检测对象图像包括目标检测对象，所述目标检测对象包括行人、车辆和交通标志；所述标签信息包括目标检测对象图像中目标检测对象的位置坐标和类别；
[0026]先验框和预测框确定单元，用于将所述目标数据集经过卷积神经网络的前向传播进行特征提取，得到多个特征图，并基于所述特征图，确定多个先验框和预测框；
[0027]第一样本分配列表创建单元，用于创建第一样本分配列表，所述第一样本分配列表表示先验框被分配的样本类型；所述样本类型包括第一正样本、第一负样本和第一忽略样本；
[0028]第一候选正样本和补充的第一候选正样本确定单元，用于计算所述先验框与真实标注框的第一重叠度值，并将所述第一重叠度值大于第一设定阈值的先验框索引作为第一候选正样本；用于计算所述预测框与真实标注框的第二重叠度值，并将所述第二重叠度值大于第一设定阈值的预测框索引作为补充的第一候选正样本；
[0029]第二设定阈值确定单元，用于根据所述第一候选正样本与所述补充的第一候选正样本构建第一正样本集合，并计算所述第一正样本集合的均值和方差，根据所述均值和所述方差得到第二设定阈值；
[0030]样本分配单元，用于根据所述第一重叠度值分别与所述第一设定阈值及所述第二设定阈值的大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度目标检测的训练样本分配方法，其特征在于，所述方法包括：获取自动驾驶场景下的目标数据集；所述目标数据集包括目标检测对象图像和对应的标签信息；所述目标检测对象图像包括目标检测对象，所述目标检测对象包括行人、车辆和交通标志；所述标签信息包括目标检测对象图像中目标检测对象的位置坐标和类别；将所述目标数据集经过卷积神经网络的前向传播进行特征提取，得到多个特征图，并基于所述特征图，确定多个先验框和预测框；创建第一样本分配列表，所述第一样本分配列表表示先验框被分配的样本类型；所述样本类型包括第一正样本、第一负样本和第一忽略样本；计算所述先验框与真实标注框的第一重叠度值，并将所述第一重叠度值大于第一设定阈值的先验框索引作为第一候选正样本；计算所述预测框与真实标注框的第二重叠度值，并将所述第二重叠度值大于第一设定阈值的预测框索引作为补充的第一候选正样本；根据所述第一候选正样本与所述补充的第一候选正样本构建第一正样本集合，并计算所述第一正样本集合的均值和方差，根据所述均值和所述方差得到第二设定阈值；根据所述第一重叠度值分别与所述第一设定阈值及所述第二设定阈值的大小关系，对所述先验框进行划分，得到第二正样本和第二负样本；所述第二正样本和第二负样本作为卷积神经网络的训练数据，以获得目标检测网络模型；所述目标检测网络模型用于在自动驾驶场景下进行多尺度目标检测。2.根据权利要求1所述的一种多尺度目标检测的训练样本分配方法，其特征在于，所述基于所述特征图，确定多个先验框和预测框，具体包括：在特征图上的每个像素点的中心设置多个先验框；根据所述卷积神经网络计算输出偏移值，并根据所述输出偏移值和所述先验框，确定预测框。3.根据权利要求1所述的一种多尺度目标检测的训练样本分配方法，其特征在于，所述第二设定阈值为所述均值和所述方差的和。4.根据权利要求1所述的一种多尺度目标检测的训练样本分配方法，其特征在于，所述根据所述第一重叠度值与所述第一设定阈值、所述第二设定阈值的大小关系，对所述先验框进行划分，得到第二正样本和第二负样本，具体包括：将所述第一重叠度值小于所述第一设定阈值的先验框划分为第二负样本；将所述第一重叠度值大于所述第二设定阈值的先验框划分为第二正样本。5.一种多尺度目标检测的训练样本分配系统，其特征在于，所述系统包括：目标数据...

【专利技术属性】
技术研发人员：郝洁，罗远志，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：