基于响应知识蒸馏的轻量化交通标志检测方法及系统技术方案

本发明专利技术公开一种基于响应知识蒸馏的轻量化交通标志检测方法及系统，该方法包括：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；以Yolov5s为基准，使用MobileNeXt对其骨干网络进行替换重构，得到学生模型；基于对象性缩放方法综合考虑教师模型响应输出软标签后与学生模型损失函数进行加权计算，得到最终的蒸馏损失函数，从而在蒸馏损失函数的引导下经过更少轮次的训练和参数更新最终得到收敛的学生检测模型；基于得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。本发明专利技术轻量化后的检测模型具有较高的检测性能且占用内存小、推理速度大大提升。推理速度大大提升。推理速度大大提升。

【技术实现步骤摘要】
基于响应知识蒸馏的轻量化交通标志检测方法及系统


[0001]本专利技术涉及采用深度学习方法的无人驾驶环境感知
，尤其涉及一种基于响应知识蒸馏的轻量化交通标志检测方法及系统。

技术介绍

[0002]无人驾驶和高级辅助驾驶系统的环境感知旨在代替人类驾驶员的直觉感知，并为路径规划和决策控制提供关键信息。作为环境感知的重要组成部分，交通标志检测是通过车载传感器采集车周场景图像，从中对交通标志进行检测和识别，实现对道路交通的预判，增加无人驾驶反应时间并及时做出调整。因此准确实时的交通标志检测有助于减少交通事故保障道路运行畅通。现有交通标志检测方法主要分为基于传统特征提取和基于深度学习两种方法。传统特征提取的效果完全依赖人工设计，在复杂环境下和交通标志数量较多时不能满足实际检测需求。随着卷积神经网络的发展，基于深度学习的交通标志检测不需要人工干预调整可以自主完成对交通标志的特征提取和检测识别，同时在遮挡、恶劣天气等极端环境下检测性能表现优异。而且随着交通场景信息的增加以及检测方法的迭代更新，交通标志检测的实时性和鲁棒性越来越重要。考虑到无人驾驶车载设备的存储计算资源相对有限，现有检测方法虽然性能优异但是很难直接部署在这些设备上使用。

技术实现思路

[0003]本专利技术针对现有检测模型难以在无人驾驶车载端部署且推理速度较慢的问题，提出一种基于响应知识蒸馏的轻量化交通标志检测方法及系统，以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，然后采用预训练的Yolov5s作为教师模型，通过基于尺度缩放的响应知识蒸馏对作为学生模型的轻量化Yolov5s
‑
MobileNeXt进行监督训练，同时借助切片辅助推理作为本地离线数据增强手段以提高模型的泛化能力和检测性能，使得轻量化后的检测模型学习到教师模型知识的同时可以具有较高的推理速度，从而可以部署在无人驾驶车载设备上实际使用。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]本专利技术一方面提出一种基于响应知识蒸馏的轻量化交通标志检测方法，包括：
[0006]步骤1，教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；
[0007]步骤2，构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s
‑
MobileNeXt；
[0008]步骤3，构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；
[0009]步骤4，监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，
最终得到性能最优的交通标志检测模型；
[0010]步骤5，基于步骤4得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。
[0011]进一步地，在所述步骤1之前，还包括：
[0012]对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
[0013]进一步地，所述步骤3中，得到的加权的交通标志检测蒸馏损失函数LOSS
distill
公式表示为：
[0014]LOSS
distill
＝f
′
Dcls
+f
′
Dobj
+f
′
Dbox
[0015]式中，
[0016][0017][0018][0019]其中f
D
'
cls
、f
D
'
obj
、f
D
'
box
为带温度因子的蒸馏损失；ε为加权系数，表示蒸馏损失部分占总损失函数的比例；f
cls
、f
obj
、f
box
分别表示分类损失、置信度预测损失、边界框回归损失；c
i
,o
i
,b
i
分别表示检测模型的类别概率、对象置信度、边界框的实际输出；c
it
,o
it
,b
it
分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出；表示softmax函数；T为蒸馏温度系数；F
cls
、F
obj
、F
box
表示KL散度计算；为教师模型的对象性输出，表示每个边框包含目标的概率。
[0020]进一步地，所述分类损失f
cls
和置信度预测损失f
obj
采用二元交叉熵函数进行计算，边界框回归损失f
box
采用CIoU方法计算。
[0021]本专利技术另一方面提出一种基于响应知识蒸馏的轻量化交通标志检测系统，包括：
[0022]教师模型预训练模块，用于教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；
[0023]学生模型构建模块，用于构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s
‑
MobileNeXt；
[0024]蒸馏损失函数构建模块，用于构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；
[0025]模型监督训练模块，用于监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；
[0026]交通标志检测模块，用于基于模型监督训练模块得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。
[0027]进一步地，还包括：
[0028]数据预处理模块，用于对交通标志检测数据集中待检测交通标志图像使用滑窗切
片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。
[0029]进一步地，所述蒸馏损失函数构建模块中，得到的加权的交通标志检测蒸馏损失函数LOSS
distill
公式表示为：
[0030]LOSS
distill
＝f
D
'
cls
+f
D
'
obj
+f...

【技术保护点】

【技术特征摘要】
1.一种基于响应知识蒸馏的轻量化交通标志检测方法，其特征在于，包括：步骤1，教师模型预训练：在COCO基准数据集上训练，并在交通标志检测数据集上进行迁移学习得到教师模型Yolov5s；步骤2，构建学生模型：以Yolov5s为基准，使用轻量化的卷积神经网络MobileNeXt对其骨干网络进行替换重构，得到学生模型Yolov5s
‑
MobileNeXt；步骤3，构建对象性缩放知识蒸馏损失函数：综合考虑教师模型分类损失、边界框回归以及置信度预测输出作为蒸馏软标签对学生模型的影响，以带温度软化的对象性缩放策略得到加权的交通标志检测蒸馏损失函数；步骤4，监督训练学生模型：学生模型在蒸馏损失函数的引导下接收教师模型的预测知识进行自身模型权重更新，在损失函数不断下降的同时比较每一轮训练的模型结果，最终得到性能最优的交通标志检测模型；步骤5，基于步骤4得出的性能最优的交通标志检测模型对待检测交通标志图像进行交通标志检测。2.根据权利要求1所述的基于响应知识蒸馏的轻量化交通标志检测方法，其特征在于，在所述步骤1之前，还包括：对交通标志检测数据集中待检测交通标志图像使用滑窗切片方法进行数据处理和扩增，使待检测交通标志图像以较小分辨率进入模型。3.根据权利要求1所述的基于响应知识蒸馏的轻量化交通标志检测方法，其特征在于，所述步骤3中，得到的加权的交通标志检测蒸馏损失函数LOSS
distill
公式表示为：LOSS
distill
＝f
D
'
cls
+f
D
'
obj
+f
D
'
box
式中，式中，式中，其中f
D
'
cls
、f
D
'
obj
、f
D
'
box
为带温度因子的蒸馏损失；ε为加权系数，表示蒸馏损失部分占总损失函数的比例；f
cls
、f
obj
、f
box
分别表示分类损失、置信度预测损失、边界框回归损失；c
i
,o
i
,b
i
分别表示检测模型的类别概率、对象置信度、边界框的实际输出；c
it
,o
it
,b
it
分别表示预训练教师模型的类别概率、对象置信度、边界框的逻辑输出；表示softmax函数；T为蒸馏温度系数；F
cls
、F
obj
、F
box
表示KL散度计算；为教师模型的对象性输出，表示每个边框包含目标的概率。4.根据权利要求3所述的基于响应知识蒸馏的轻量化交通标志检测方法，其特征在于，所述分类损失f
cls
和置信度预测损失f
obj
采用二元交叉熵函数进行计算，边界框回归损失f
box
采用CIoU方法计算。5.一种基于响应知识蒸馏的轻量化交通标志检测系统，其特征在于，包...

【专利技术属性】
技术研发人员：赵亮，魏政杰，任旭，张坤鹏，金军委，刘晓丹，刘根锋，袁夫彩，田晓盈，崔贝贝，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：