一种基于场景复杂度预分类的自适应目标检测方法技术

本发明专利技术公开了一种基于场景复杂度预分类的自适应目标检测方法，该方法采用谱聚类方法将交通场景图像分为了简单、中等复杂和复杂三个场景复杂度等级，分类结果具有合理性；基于场景复杂度预分类的自适应目标检测模型利用复杂度预分类CNN网络模型对基本交通场景进行复杂度预判，后端则根据复杂度调整合适规模的目标检测网络模型进行识别，整体上使得所述基于场景复杂度预分类的自适应目标检测模型的目标识别效率得到了提升，能够显著提高规模可变目标检测网络模型在实际运行时的推理计算速度。速度。速度。

【技术实现步骤摘要】
一种基于场景复杂度预分类的自适应目标检测方法


[0001]本专利技术涉及计算机
，具体涉及一种基于场景复杂度预分类的自适应目标检测方法。

技术介绍

[0002]由于计算能力与存储能力的提高，人工神经网络得到越来越广泛的应用。通过深度卷积网络进行目标检测已经成为图像识别领域主流的研究方向。在自动驾驶系统中的目标检测主要任务在于快速、准确、稳定地检测车辆当前场景下包括行人、车辆等交通参与者以及道路、交通灯等重要信息。
[0003]虽然，卷积神经网络识别准确性已经达到比较高的水平，但其运算速度与可靠性还需要进一步提高，从而更好地满足有限的计算资源与严格的性能要求。

技术实现思路

[0004]本专利技术公开了一种基于场景复杂度预分类的自适应目标检测方法，该方法是一种用于自动驾驶系统的目标检测方法，该自适应目标检测方法包括如下步骤：
[0005]步骤S1：获取场景复杂度数据集(ComplexityDataSet)，所述场景复杂度数据集中每一个场景复杂度数据包括一张交通场景图像及其对应的场景复杂度分类结果；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景复杂度预分类的自适应目标检测方法，其特征在于，该方法具体包括如下步骤：步骤S1：获取场景复杂度数据集，所述场景复杂度数据集中每一个场景复杂度数据包括一张交通场景图像及其对应的场景复杂度分类结果；步骤S2：构建复杂度预分类CNN网络模型，所述复杂度预分类CNN网络模型包含两个卷积层和一个分类器，采用步骤S1获取的所述场景复杂度数据集训练所述复杂度预分类CNN网络模型，得到训练好的复杂度预分类CNN网络模型；将待分类的交通场景图像序列中的交通场景图像按帧依次输入所述训练好的复杂度预分类CNN网络模型，所述训练好的复杂度预分类CNN网络模型输出每一帧交通场景图像分别为简单、中等复杂和复杂三个场景复杂度类型的分类预测概率，选择三个分类预测概率最大者对应的复杂度类型为该帧交通场景图像的场景复杂度分类预测结果；步骤S3：构建规模可变目标检测网络模型，所述规模可变目标检测网络模型包含一个用于特征下采样的主干特征提取网络Backbone&SPP，一个用于各阶段特征图融合的Neck模块，以及最后用于目标预测的Head模块，其中Neck模块由可叠加的三层PAN网络构成，当叠加三层PAN网络时实现复杂图像识别、叠加两层PAN网络时实现中等复杂图像识别、叠加一层PAN网络时实现简单图像识别；步骤S4：综合步骤S2所述复杂度预分类CNN网络模型与步骤S3所述规模可变目标检测网络模型构成基于场景复杂度预分类的自适应目标检测模型，具体的构成方式是根据所述训练好的复杂度预分类CNN网络模型输出的场景复杂度分类预测结果，实现对规模可变目标检测网络模型的PAN网络叠加个数进行控制，从而形成整体上能够根据交通场景图像的不同场景复杂度类型进行自适应调整的目标检测模型，由于简单场景以及中等复杂场景采用相比复杂场景更小的网络进行运算，推理速度相比复杂场景网络更快且性能不变，从而提高了规模可变目标检测网络模型在使用时的运行速度；最终基于场景复杂度预分类的自适应目标检测模型输出每一帧交通场景图像中目标检测框的位置坐标及目标物体标签类别，其中目标物体标签类别包括汽车、货车、卡车、行人、坐着的人、骑行者、电车、杂项以及可忽略目标。2.根据权利要求1所述的基于场景复杂度预分类的自适应目标检测方法，其特征在于，所述场景复杂度数据集的制作方法包括：步骤S11：获取KITTI数据集，该KITTI数据集包含交通场景图像以及图像中目标物体标注信息，其中，所述目标物体标注信息包括目标检测框的位置坐标、目标物体遮挡程度标注值、目标物体截断程度标注值；步骤S12：确定KITTI数据集中交通场景图像的目标物体识别难易度规则：容易识别的目标物体定义为其检测框最小边框高度大于或等于40个像素点，目标物体完全没有遮挡，最大截断比例小于15％；识别难度为中等难度的目标物体定义为其检测框最小边框高度大于或等于25个像素点，目标物体部分遮挡，最大截断比例小于30％；识别困难的目标物体定义为其检测框最小边框高度大于或等于25个像素点，目标物体严重遮挡，最大截断比例小于50％；采用标注值0表示目标物体完全没有遮挡、1表示目标物体部分遮挡、2和3表示目标物体严重遮挡；步骤S13：根据步骤S12确定的目标物体识别难易度规则计算KITTI数据集中每一张交
通场景图像的四个场景复杂度特征：图像中包括的容易识别的目标物体数量、识别难度为中等难度的目标物体数量、识别困难的目标物体数量及图像中这三类目标物体的总数；步骤S14：引入YOLOv4目标检测模型分别对KITTI数据集中的每一张交通场景图像进行识别，并统计每一张交通场景图像中识别漏检的目标物体数量作为附加场景复杂度特征；步骤S15：根据步骤S13和步骤S14获得所述KITTI数据集中每张交通场景图像的五个场景复杂度特征，分别为：容易识别的目标物体数量、识别难度为中等难度的目标物体数量、识别困难的目标物体数量、图像中上述三类目标物体的总数及YOLOv4在交通场景图像中出现别漏检的目标物体数量；步骤S16：将所述KITTI数据集中任意一张交通场景图像的五个场景复杂度特征作为该张交通场景图像的场景复杂度分类的特征样本，输入谱聚类算法进行场景复杂度分类，对所述KITTI数据集中的所有交通场景图像均进行场景复杂度分类，场景复杂度分类类型分为简单、中等复杂和复杂；步骤S17：通过谱聚类算法输出所述KITTI数据集中每一张交通场景图像的场景复杂度分类结果，将任意一张交通场景图像的场景复杂度分类结果与其对应的交通场景图像结合形成一个场景复杂度数据，所有交通场景图像的场景复杂度分类结果与其对应的交通场景图像一起构成场景复杂度数据集。3.根据权利要求2所述的基于场景复杂度预分类的自适应目标检测方法，其特征在于，所述谱聚类算法具体为：通过将KITTI数据集中的每一张交通场景图像的场景复杂度分类的特征样本数据归一化，得到用于谱聚类算法聚类使用的输入数据，即归一化数据集，所述归一化数据集中每张交通场景图像对应五个维度特征数据，包括：归一化后的容易识别的目标物体数量，归一化后的识别难度为中等难度的目标物体数量，归一化后的识别困难的目标物体数量，归一化后的交通场景图像中目标物体的总数，归一化后的YOLOv4在交通场景图像中漏检物体的个数，将任意一张交通场景图像归一化后的场景复杂度分类的特征样本称为一个特征样本点；场景复杂度分类包括特征图构建和特征图切分两部分，对于特征图构建，首先度量两个特征样本点之间的距离，这里采用高斯相似度s
(i,j)
作为距离衡量，表示为：其中x
i
,y
j
表示空间上的任意两个特征样本点，||x
i
‑
y
j
||2表示特征样本点x
i
,y
j
之间的欧氏距离，σ是表示高斯距离中的方差，任意两个特征样本点之间距离的集合表示为相似度矩阵W，该矩阵W中元素的计算表示为：其中，W
(i,j)
表示相似度矩阵W中第i行第j列的元素，其值为第i个特征样本点与第j个特征样本点之间的高斯距离；同时通过计算所述相似度矩阵W的每一列非零元素之和作为单位对称矩阵对角线值获得度矩阵D，度矩阵D为每一个特征样本点所连其他特征样本点的个数，度矩阵D中元素值的计算如公式(3)所示，度矩阵D中仅有对角线上的值大于或等于零，其中ω
i,j
为W第j列的非零元素和，并进一步计算得到拉普拉斯矩阵L：
其中D
(i,j)
表示度矩阵D中第i行第j列的元素；L＝D
‑
W
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)由于相似度矩阵W与度矩阵D均为对称阵，拉普拉斯矩阵L也为对称阵，且半正定；特征图切分的目的是找到权重最小的边，这里的权重最小代表两个特征样本点之间的距离最远，把图切开，并使得切开后的子图尽量平衡，即子图间连边的权重小，而子图内部的连边权重大，切分后的子图的集合为：{A1,A2,
…
,A
k
}，子图间满足A1∪A2∪
…
∪A
k
＝V，＝V，的性质，其中V表示整图，k表示切分后的子图总数、A
k
表示第k个子图，定义切图cut为：这里为A
i
′
的补集，表示A
i
′
与其补集的权重和，因此问题转化为求cut(A1，A2，
…
，A
k
)的最小值，表示为公式(6)：min(cut(A1，A2，
…
，A
k
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)而公式(6)的最优化问题，采用Ncut方法，表示为公式(7)：其中，vol(A
i

【专利技术属性】
技术研发人员：李曙光，王海，欧俊宏，薛飞，赵洋，程洪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：