基于深度学习目标检测的高速公路异物识别方法和系统技术方案

本发明专利技术公开了基于深度学习目标检测的高速公路异物识别方法系统，属于目标检测领域。包括：使用高速公路异物训练集，分别训练N个教师网络，N个教师网络的输出层感受野尺度倍数递减，通过知识蒸馏将N个训练好的教师网络输出的不同尺度感受野信息同时传递给同一个学生网络，使用训练集训练学生网络，得到训练好的学生网络；将被测图像输入至训练好的学生网络，得到识别结果。本发明专利技术利用知识蒸馏，将复杂的教师网络学习到的信息传递给结构较为简单的学生网络，使学生网络也能拥有较高的检测精度；通过多个教师网络的知识蒸馏融合了多尺度信息，对高速公路摄像头采集图像中近景与远景处的物体尺寸差异较大的情况有着更高的鲁棒性以及检测精度。性以及检测精度。性以及检测精度。

【技术实现步骤摘要】
基于深度学习目标检测的高速公路异物识别方法和系统


[0001]本专利技术属于智能交通技术以及计算机视觉的目标检测领域，更具体地，涉及基于深度学习目标检测的高速公路异物识别方法系统。

技术介绍

[0002]高速公路异物是指路面遗落物、抛洒物(高速公路上遗落的石头、货物、轮胎皮、防雨布等障碍物或天桥上抛洒的石头等)、除相关工作人员之外的行人、牲畜以及不该在高速公路上出现的非机动车、拖拉机、轮式专用机械车、铰接式客车、全挂拖斗车以及其他设计最高时速低于七十公里的机动车。
[0003]在高速公路上，无论是白天还是夜间，异物经常会出现，易造成重大的安全隐患，一旦发生交通事故，很容易演变成为重大交通事故而造成巨大的人员伤亡、经济与社会损失。因而高速公路异物现象作为一种频发的交通事件，其实时监测、准确预报具有十分重要的意义。
[0004]专利CNl12016449A公开了一种基于CenterNet目标检测算法对车辆进行识别检测方法，其主要思想是：输入初始图，通过卷积神经网络获取三种特征图，分别输出目标中心点坐标及类别、目标中心点坐标偏移值和目标边界框宽高偏移值，目标检测算法CenterNet结合锚点思想，在锚点框的基础上通过对目标边界框与锚点框之间宽高偏移值的预测而得到目标边界框宽高值。其针对复杂场景下车辆的识别与检验，提出在算法CenterNet的基础上进行改进搭建了一个卷积神经网络，提高了对车辆的识别准确率。
[0005]然而，该方法存在以下缺陷：车辆目标的体积往往大于公路上可能出现的异物的体积，而且异物的形状、尺寸差异较大；异物在监控画面中的尺寸还与其所在位置有关，远景处的异物尺寸在画面中的比例非常小，难以识别。此外，由于终端设备的硬件条件受限，在保证检测精度的同时还需要尽可能地压缩网络结构。

技术实现思路

[0006]针对现有技术的缺陷和改进需求，本专利技术提供了基于深度学习目标检测的高速公路异物识别方法系统，其目的在于解决高速公路异物自动检测识别任务中异物尺寸差异大的难题，并在检测精度较高的前提下尽可能地降低部署应用的硬件成本。
[0007]为实现上述目的，按照本专利技术的第一方面，提供了一种基于深度学习目标检测的高速公路异物识别方法，该方法包括：
[0008]训练阶段：
[0009]使用高速公路异物训练集，分别训练N个教师网络，所述N个教师网络的输出层感受野尺度倍数递减，训练样本为高速公路监控图像
‑
异物热图；
[0010]通过知识蒸馏将N个训练好的教师网络输出的不同尺度感受野信息同时传递给同一个学生网络，使用高速公路异物训练集训练学生网络，得到训练好的学生网络；
[0011]所述教师网络比所述学生网络的特征提取网络结构复杂；
[0012]应用阶段：
[0013]将被测高速公路监控图像输入至训练好的学生网络，得到高速公路异物识别结果。
[0014]优选地，所述高速公路异物训练集是对采集到的高速公路监控视频做以下处理：
[0015](1)对高速公路监控图像中出现的异物进行标注，形成原始数据集；
[0016](2)通过缩放操作对原始数据集进行图像增强，得到不同尺寸的样本，所述尺寸是指目标包围框面积占整个图片的比例；
[0017](3)将增强后的图像做仿射变换，在不改变原始长宽比的情况下变换到统一尺寸。
[0018]有益效果：本专利技术通过缩放操作对原始数据集进行了图像增强，由于缩放操作可以改变异物目标在图像中所占的比例，从而达到了扩充原始数据集的样本容量的目的，可以有效缓解模型过拟合的情况，也可以给模型带来的更强的泛化能力。
[0019]优选地，第n个教师网络包括依次串联的：特征提取网络、空洞卷积层和全卷积层；
[0020]所述特征提取网络的输入为尺寸为W*H*3的高速公路监控图像，输出为尺寸为的特征图，用于特征提取，W和H分别为输入图像的宽和高；
[0021]所述空洞卷积层输入为尺寸为的特征图，输出为尺寸为的上采样图像，用于对特征图进行上采样；
[0022]所述全卷积层输入为尺寸为的上采样图像，输出为尺寸为的第n输出图像，其包括C通道的异物中心点热图、2通道的异物宽高热图和2通道的偏置补偿热图，r
n
为第n个教师网络的下采样倍数，C为异物种类数目，n＝1，
…
，N，用于提取不同感受野信息。
[0023]有益效果：本专利技术通过在不同的教师网络中采用不同放大倍数的空洞卷积层对特征图进行上采样，得到不同尺寸的输出图像。由于不同尺寸输出图像对应了不同尺度感受野的信息，其中尺寸较小的输出图像对应的感受野比较大，尺寸较大的输出图像对应的感受野比较小。从而实现了提取多尺度感受野信息的目的。
[0024]优选地，单个教师网络训练的总损失函数为
[0025]L
t
＝λ
k
L
k
+λ
size
L
size
+λ
offset
L
offset
[0026]其中，L
k
为异物中心点热图损失，L
size
为异物宽高热图损失，L
offset
为偏置补偿热图损失，λ
k
、λ
size
和λ
offset
分别为对应的三个损失项的比例系数；
[0027]比例系数λ
k
、λ
size
和λ
offset
采用自适应调整方式，保证每次迭代不同损失项乘以其对应系数后的值相等，且为f(t)，其中，t为训练的迭代轮次，f(t)为单调递减函数。
[0028]有益效果：本专利技术通过自适应的方式调整不同损失项比例系数。由于不同损失项在迭代过程中的数值波动范围相差很大，所以需要乘以不同的系数来平衡不同损失项对总损失的贡献，以便于模型更快、更稳定的收敛。而训练时设置的学习率的不同会影响不同损失项数值波动范围之间的比例关系。因此，若采用固定的比例系数，当学习率设置变化时，模型的收敛情况会有较大的波动。而通过自适应地调整不同损失项的系数，能够使得模型
在不同的学习率设置下都能较稳定的收敛。f(t)设置为单调递减函数，能够模拟训练中损失逐渐下降的过程，逐步减小模型参数更新幅度，减少迭代过程中的震荡，有利于模型收敛。
[0029]优选地，所述学生网络包括依次串联的：特征提取网络、空洞卷积层和全卷积层、(N
‑
1)个空洞卷积层；
[0030]所述特征提取网络的输入为尺寸为W*H*3的高速公路监控图像，输出为尺寸为的特征图，用于特征提取；
[0031]所述空洞卷积层的输入为尺寸为的特征图，输出为尺寸为的上采样图像，用于上采样；
[0032]所述全卷积层的输入为尺寸为的上采样图像，输出为尺寸为的head
‑
1图像，其包括C通道的异物中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习目标检测的高速公路异物识别方法，其特征在于，该方法包括：训练阶段：使用高速公路异物训练集，分别训练N个教师网络，所述N个教师网络的输出层感受野尺度倍数递减，训练样本为高速公路监控图像
‑
异物热图；通过知识蒸馏将N个训练好的教师网络输出的不同尺度感受野信息同时传递给同一个学生网络，使用高速公路异物训练集训练学生网络，得到训练好的学生网络；所述教师网络比所述学生网络的特征提取网络结构复杂；应用阶段：将被测高速公路监控图像输入至训练好的学生网络，得到高速公路异物识别结果。2.如权利要求1所述的方法，其特征在于，所述高速公路异物训练集是对采集到的高速公路监控视频做以下处理：(1)对高速公路监控图像中出现的异物进行标注，形成原始数据集；(2)通过缩放操作对原始数据集进行图像增强，得到不同尺寸的样本，所述尺寸是指目标包围框面积占整个图片的比例；(3)将增强后的图像做仿射变换，在不改变原始长宽比的情况下变换到统一尺寸。3.如权利要求1或2所述的方法，其特征在于，第n个教师网络包括依次串联的：特征提取网络、空洞卷积层和全卷积层；所述特征提取网络的输入为尺寸为W*H*3的高速公路监控图像，输出为尺寸为的特征图，用于特征提取，W和H分别为输入图像的宽和高；所述空洞卷积层输入为尺寸为的特征图，输出为尺寸为的上采样图像，用于对特征图进行上采样；所述全卷积层输入为尺寸为的上采样图像，输出为尺寸为的第n输出图像，其包括C通道的异物中心点热图、2通道的异物宽高热图和2通道的偏置补偿热图，r
n
为第n个教师网络的下采样倍数，C为异物种类数目，n＝1，
…
，N，用于提取不同感受野信息。4.如权利要求3所述的方法，其特征在于，单个教师网络训练的总损失函数为L
t
＝λ
k
L
k
+λ
size
L
size
+λ
offset
L
offset
其中，L
k
为异物中心点热图损失，L
size
为异物宽高热图损失，L
offset
为偏置补偿热图损失，λ
k
、λ
size
和λ
offset
分别为对应的三个损失项的比例系数；比例系数λ
k
、λ
size
和λ
offset
采用自适应调整方式，保证每次迭代不同损失项乘以其对应系数后的值相等，且为f(t)，其中，t为训练的迭代轮次，f(t)为单调递减函数。5.如权利要求3或4所述的方法，其特征在于，所述学生网络包括依次串联的：特征提取网络、空洞卷积层和全卷积层、(N
‑
1)个空洞卷积层；所述特征提取网络的输入为尺寸为W*H*3的高速公路监控图像，输出为尺寸为
的特征图，用于特征提取；所述空洞卷积层的输入为尺寸为的特征图，输出为尺寸的上采样图像，用于上采样；所述全卷积层的输入为尺寸为的上采样图像，输出为尺寸为的head
‑
1图像，其包括C通道的异物中心点热图、2通道的异物宽高热图和2通道的偏置补偿热图；第n个空洞卷积层的输入为尺寸为的head
‑
n
‑
1图像，输出尺寸为的head
‑
n图像，用于上采样，n＝2，
…
，N。6.如权利要求5所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：袁烨，郭裕祺，董云龙，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：