一种面向自动驾驶视觉检测轻量化模型蒸馏方法技术

本发明专利技术公开了一种面向自动驾驶视觉检测轻量化模型蒸馏方法，包括：步骤S1、构建初始学生模型；所述初始学生模型包括特征提取模块一、特征增强模块一和检测头模块一，所述初始学生模型用于对获取的图像信息依次进行特征提取处理、特征增强处理和多项任务检测处理，并最终输出检测结果一；步骤S2、调取两个以上训练好的教师模型；每个所述教师模型均用于对获取的图像信息依次进行特征提取处理、特征增强处理和单项任务检测处理，并最终输出检测结果二；步骤S3、将多任务训练数据集并行送入初始学生模型和调取的教师模型中，并依据所述教师模型的处理结果同步指导学生模型的训练。师模型的处理结果同步指导学生模型的训练。师模型的处理结果同步指导学生模型的训练。

【技术实现步骤摘要】
一种面向自动驾驶视觉检测轻量化模型蒸馏方法


[0001]本专利技术涉及自动驾驶视觉检测
，具体为一种面向自动驾驶视觉检测轻量化模型蒸馏方法。

技术介绍

[0002]当前人工智能蓬勃发展，图像识别与目标检测等技术近年来也发展迅速，为人们的生活带来了便捷的同时也进一步促进了自动驾驶技术甚至无人驾驶在未来广泛普及成为可能，在自动驾驶领域中，环境感知系统利用各种车载传感器(前视摄像头等)进行数据采集和处理，为智能车辆提供自车与周围目标的位置和类别信息，以及相对距离、相对速度等信息，进而为上层的决策规划提供信息依据。
[0003]现有技术方案一般采用参数量化或剪枝的方案，来实现自动驾驶的视觉检测算法轻量化，但是这两种方案的模型压缩能力都十分有限；如剪枝的方案，其原理是通过设计剪枝框架，剪枝取出深度学习模型中的冗余参数，对模型大小压缩提高模型运算速度，但是在过多次进行剪枝模型后，模型性能会降低较大，很难实现在有限算力和有限内存的车载芯片上使模型大小和模型性能都能达到很高要求。

技术实现思路

[0004]本专利技术的目的在于提供了一种面向自动驾驶视觉检测轻量化模型蒸馏方法，包括：
[0005]步骤S1、以学生模型中的ResNet18模块提取初始图像生成浅层特征图，使用教师模型的特征提取模块对浅层特征图进行指导；
[0006]步骤S2、以学生模型中的Transformer Encoder模块对指导后的所述浅层特征图进行感知和特征增强生成增强特征图，使用教师模型的特征增强模块对增强特征图进行指导；
[0007]步骤S3、将指导后的所述增强特征图进行共享，分别在学生模型中进行人车辆检测识别、可行区域分割、车道线检测三个任务，使用教师模型的检测头模块对上述三个任务进行指导，以此完成学生模型的训练。
[0008]所述教师模型包括：目标检测模型、车道线检测模型、可行驶区域模型；三个模型中的特征提取模块、特征增强模块、检测头模块，产生的软标签分别指导学生模型中对应的模块。
[0009]所述步骤S1中ResNet18模块使用步长为2的卷积核对特征图进行两次下采样，快速提取初始图像的浅层特征。
[0010]所述步骤S2中的Transformer Encoder模块包括多头自注意力机制，通过计算特征之间的相关性进行全局特征感知。
[0011]所述步骤S3包括将所述增强特征图拷贝三份，并分别输入至Object Detetion student模块、Lane Detection student模块和Free Space Detection student模块执行
相应的人车辆检测识别任务、可行区域分割任务和车道线检测任务。
[0012]所述Object Detetion student模块对输入的增强特征图中的特征分别使用3个1*1卷积得到用于目标分类的输出、用于预测目标检测框宽和高的输出以及用于补偿目标中心点坐标的输出。
[0013]所述Lane Detection student模块包括第一前处理策略，所述第一前处理策略包括对输入的增强特征图进行两次全连接得到宽和高分别为初始图像四分之一的特征图一。
[0014]所述Free Space Detection student模块包括第二前处理策略，所述第二前处理策略包括对输入的增强特征图进行两次上采样，得到与初始图像尺寸一致的特征图二。
[0015]与现有技术相比，本专利技术的有益效果是：
[0016]1.利用学生模型中的ResNet18为骨干网络快速提取浅层特征，使用教师模型的特征提取模块对浅层特征图进行指导，以学生模型中的Transformer Encoder模块对指导后的所述浅层特征图进行感知和特征增强生成增强特征图，使用教师模型的特征增强模块对增强特征图进行指导，将指导后的所述增强特征图进行共享，分别在学生模型中进行人车辆检测识别、可行区域分割、车道线检测三个任务，使用教师模型的检测头模块对上述三个任务进行指导，以此完成学生模型的训练；在保持单学生模型精度的条件下，减少了对车载芯片算力和内存的要求，运行速度提升明显。
[0017]2.利用学生模型中的ResNet18模块作为特征提取网络提取使用步长为2的卷积核对特征图进行两次下采样生成浅层特征图，可以避免全连接层的参数冗余，快速提取初始图像的浅层特征，进一步提升运行速度。
[0018]3.利用利用学生模型中的Transformer Encoder模块对浅层特征图的全局特征进行感知和特征增强生成增强特征图，Transformer Encoder作为目前最新的图像方面特征提取器，因为内部的自注意力机制，可以对全局进行感知，因此在处理过程中可以感知全局特征，可以很好的进行特征增强。
附图说明
[0019]图1为本专利技术一种面向自动驾驶视觉检测轻量化模型蒸馏方法的示意图；
[0020]图2为本专利技术一种面向自动驾驶视觉检测轻量化模型蒸馏方法中学生模型的示意图；
[0021]图3为本专利技术一种面向自动驾驶视觉检测轻量化模型蒸馏方法中ResNet18模块网络示意图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]如图1和图2所示，本专利技术提供的一种面向自动驾驶视觉检测轻量化模型蒸馏方法，包括如下步骤：
[0024]步骤S1、以学生模型中的ResNet18模块作为特征提取网络提取所述初始图像的浅
层特征生成浅层特征图，初始图像通过车体上的前视摄像头采集，使用教师模型的特征提取模块对浅层特征图进行指导；
[0025]所谓的教师模型就是已经训练好的模型，输入数据时，可以在各层输出教师模型的一个预测结果，就是在下文中会提到的软标签，而学生模型则是没有训练过的模型，也可以输出同样的一个预测结果，一开始这个预测结果并没有意义，但是学生的预测结果和老师的预测结果(软标签)进行比对，经过损失Softmax或L1等得到预测结果和软标签的距离(误差)，在完成一次前向传播后，通过误差反向传播，将梯度更新至学生模型各层网络的权重中，不断完成教师模型指导学生模型学习；
[0026]步骤S2、以学生模型中的Transformer Encoder模块对指导后的所述浅层特征图进行感知和特征增强生成增强特征图，使用教师模型的特征增强模块对增强特征图进行指导；
[0027]步骤S3、将指导后的所述增强特征图进行共享，分别在学生模型中进行人车辆检测识别、可行区域分割、车道线检测三个任务，使用教师模型的检测头模块对上述三个任务进行指导，以此完成学生模型的训练；
[0028]用学生模型中的ResNet18为骨干网络快速提取浅层特征，使用教师模型的特征提取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向自动驾驶视觉检测轻量化模型蒸馏方法其特征在于，包括：步骤S1、构建初始学生模型；所述初始学生模型包括特征提取模块一、特征增强模块一和检测头模块一，所述初始学生模型用于对获取的图像信息依次进行特征提取处理、特征增强处理和多项任务检测处理，并最终输出检测结果一；步骤S2、调取两个以上训练好的教师模型；每个所述教师模型均用于对获取的图像信息依次进行特征提取处理、特征增强处理和单项任务检测处理，并最终输出检测结果二；步骤S3、将多任务训练数据集并行送入初始学生模型和调取的教师模型中，并依据所述教师模型的处理结果同步指导学生模型的训练。2.根据权利要求1所述的一种面向自动驾驶视觉检测轻量化模型蒸馏方法，其特征在于，所述步骤S2设置为调取三个训练好的教师模型，包括目标检测模型、车道线检测模型和可行驶区域模型，分别用于执行行人车辆检测任务、车道线检测任务和可行驶区域检测任务；所述目标检测模型、车道线检测模型和可行驶区域模型均包括相应的特征提取部分、特征增强部分和检测头部分。3.根据权利要求2所述的一种面向自动驾驶视觉检测轻量化模型蒸馏方法，其特征在于，所述步骤S3包括所述目标检测模型、车道线检测模型和可行驶区域模型分别在各自模型的特征提取部分、特征增强部分和检测头部分产出对应的软标签，并利用所述软标签指导初始学生模型的训练。4.根据权利要求3所述的一种面向自动驾驶视觉检测轻量化模型蒸馏方法，其特征在于，所述步骤S2中的Transformer Encoder模块包括多头自注意力机制，通过计算特征之间的相关...

【专利技术属性】
技术研发人员：罗马思阳，郭健，范晟华，
申请(专利权)人：苏州安智汽车零部件有限公司，
类型：发明
国别省市：