一种关键前景特征引导知识蒸馏的车牌检测识别方法技术

本发明专利技术属于车牌检测识别技术领域，涉及一种关键前景特征引导知识蒸馏的车牌检测识别方法，通过学习主干网络特征的空间注意图，注意图中的每个元素表示是前景的重要性概率，然后在教师模型和学生模型的主干网络中同时学习空间注意图，并鼓励学生模型的空间注意力图模仿教师模型空间注意力图，提出的方法强调学生模型对前景物体的学习，抑制学生模型对背景像素的学习，让学生模型知道应该学习哪些像素的信息，提升模型学习的效率和精度，不仅可以用来进行车牌检测识别任务，还可以用于多种拥有大规模数据的目标检测任务。有大规模数据的目标检测任务。有大规模数据的目标检测任务。

【技术实现步骤摘要】
一种关键前景特征引导知识蒸馏的车牌检测识别方法


[0001]本专利技术属于车牌检测识别
，尤其涉及一种关键前景特征引导知识蒸馏的车牌检测识别方法。

技术介绍

[0002]随着经济的发展，汽车数量急剧增大，给城市的交通管理带来了不少的挑战。车牌作为车辆身份的标识，对车牌进行检测识别可实现对车辆的统一管理，能够在很大程度上缓解车辆管理的问题。实际使用场景中随着不同场景不同类型车牌数量的增多，为了获得更好的检测能力，通常使用更大的网络来学习车牌的特征，但是这需要更强的计算能力和更慢的推理速度，限制了其在边缘设备上的部署。
[0003]为了克服上述问题，现有的方法通常使用知识蒸馏，知识蒸馏是一种将大型教师网络中的信息继承到一个紧凑的学生网络中，并在推理过程中不增加额外成本而获得强大性能的方法，因此往往可以获得更高的准确性。然而，大多数蒸馏方法都是为图像分类而设计的，这导致了目标检测的微小提升，这是因为蒸馏时同等的看待前景和背景的特征，导致数量占据绝对优势的背景区域的知识蒸馏效果会远好与前景特征的蒸馏结果。现有方法针对以上问题主要从两方面进行改进，一是分配权重以抑制背景，二是提出蒸馏学生的感兴趣区域，然而这些方法并不清楚目标框中的哪些特征是关键特征。
[0004]由此可见，在基于知识蒸馏的车牌检测中仍然缺少有效的方法解决前景背景不平衡导致的蒸馏效果不佳的问题，因此急需有效的手段提升基于知识蒸馏的车牌检测识别性能，以提升前向推理速度。

技术实现思路

[0005]为了克服上述现有技术的不足，本专利技术提供一种关键前景特征引导知识蒸馏的车牌检测识别方法，用来解决基于知识蒸馏的车牌检测识别方法中前景背景不平衡导致的蒸馏效果不佳的问题，可用于任意场景的车牌检测识别任务，能够高效的车牌检测识别的精度和模型泛化性能。
[0006]为实现上述目的，本专利技术先设计教师模型和学生模型，教师模型使用大的主干网络，学生模型使用轻量化的主干网络，再训练教师网络，在教师网络收敛后冻结教师网络，使教师网络指导学生网络的学习，在教师模型和学生模型的主干网络中同时学习空间注意图，并鼓励学生模型的空间注意力图模仿教师模型空间注意力图，并且注意力图中的每个元素表示前景的重要性，以此缓解前景背景不平衡的影响，强调学生模型对前景物体的学习，抑制学生模型对背景像素的学习，让学生模型知道应该学习哪些像素的信息，提升模型学习的效率和精度，具体包括如下步骤：（1）收集不同场景下的车牌图像，构建车牌数据集，并将车牌数据集划分为训练集、验证集和测试集；（2）构建以ResNeXt101为主干网络的教师模型并对教师模型进行训练；
（3）构建以ResNet18为主干网络的学生模型，并使用随机初始化对学生模型的网络参数进行初始化；（4）同时学习教师模型和学生模型主干网络中的第三阶段、第四阶段和第五阶段特征的注意图，使学生模型注意图与教师模型注意图尽可能相似；（5）训练学生模型，得到训练好的车牌检测识别网络参数；（6）使用学生模型作为前向推理的网络测试网络并输出车牌号和位置。
[0007]作为本专利技术的进一步技术方案，步骤（1）所述车牌数据集中需标注车牌位置和车牌字符类别，车牌位置包括车牌四个角点，通过四个角点的位置计算表示车牌位置水平框的长宽和中心点，车牌字符类别包含省份、英文字母、数字和特殊字符。
[0008]作为本专利技术的进一步技术方案，步骤（2）的具体过程为：（21）步骤（1）中训练集中的车牌图像作为输入，先对车牌图像的尺寸和数值范围进行初始化处理，再将处理后的车牌图像输入到主干网络中进行卷积特征提取，其中主干网络使用在ImageNet数据集中经过预训练的ResNeXt101作为特征提取网络，并在ResNeXt101之后添加特征金字塔网络以增强ResNeXt101中的多尺度特征，获得多尺度车牌卷积特征图集合，从而更好的捕获近距离和远距离的不同尺寸车牌，提取的共享特征应用于图像增强、车牌检测和车牌识别中；（22）得到多尺度车牌卷积特征图集合后，在不同的多尺度卷积层后连接两层卷积核为3*3的卷积层以及一层平均池化层，在特征图的每一个特征点设置一个锚框，分别使用两个结构相同的但是不共享参数的全连接层子网络学习分类和位置偏移信息，其中位置偏差信息是车牌的最小外接矩形框与特征点对应的锚框的偏差从而完成目标框类别分类和位置回归的任务，分类为是否是车牌，位置信息为车牌的最小外接矩（朝向框）；（23）从多尺度车牌卷积特征中获取车牌位置对应的卷积特征，并在卷积特征之后使用两个级联的卷积层，通过全连接层（FC）对车牌特征进行进一步提取，然后对车牌中字符位置进行定位，并使用Softmax函数对字符类别进行分类，字符类别主要包含省份、字母、数字以及特殊字符（军、警、学等），最后将识别出的字符按照位置关系输出，得到最终的车牌号；（24）使用步骤（1）中的训练集数据对教师模型进行训练，经过50次迭代训练，教师网络收敛并且损失趋于平稳，将最终的教师模型保存用于指导学生模型的学习。
[0009]作为本专利技术的进一步技术方案，步骤（5）的具体过程为：学生模型的训练由真实的标签和教师模型作为监督，其中真实标签包含车牌的位置和真实车牌号，教师模型的监督以学习到的前景重要性的空间注意图作为监督，使学生模型的空间注意图尽可能相似，并以L2函数作为损失函数，车牌检测使用smooth L1损失来约束教师模型输出和学生模型输出的回归边界框，车牌识别中字符定位和字符分类分别使用smoothL1损失和交叉熵损失来约束预测值与真值之间的误差，通过反向传播更新参数，经过50轮完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的车牌检测识别网络参数。
[0010]作为本专利技术的进一步技术方案，步骤（6）在测试过程中，保持图片长短边比例不变的情况下将图像长边缩放（resize）到512，然后对图片的短边进行填充，使得图像尺寸为512
×
512，作为网络的输入，即可输出车牌的分类置信度和车牌的坐标位置，通过设置阈值
过滤低置信度的车牌，并使用非极大抑制（NMS）删除网络输出的冗余的框，最后将车牌检测框对应的车牌特征输入到车牌识别模块，得到车牌号。
[0011]与现有技术相比，本专利技术的有益效果是：克服了基于知识蒸馏的目标检测在提取知识时前景背景的不平衡问题，通过学习主干网络特征的空间注意图，注意图中的每个元素表示是前景的重要性概率，然后在教师模型和学生模型的主干网络中同时学习空间注意图，并鼓励学生模型的空间注意力图模仿教师模型空间注意力图，提出的方法强调学生模型对前景物体的学习，抑制学生模型对背景像素的学习，让学生模型知道应该学习哪些像素的信息，提升模型学习的效率和精度，不仅可以用来进行车牌检测识别任务，还可以用于多种拥有大规模数据的目标检测任务，与现有YOLOv3方法相比，本专利技术在CCPD测试数据中精度能从94.2%提高到95.5%，同时推理速度提升了1.5倍。
附图说明
[0012]图1为本专利技术实现车牌检测识别所采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键前景特征引导知识蒸馏的车牌检测方法，其特征在于，具体包括如下步骤：（1）收集不同场景下的车牌图像，构建车牌数据集，并将车牌数据集划分为训练集、验证集和测试集；（2）构建以ResNeXt101为主干网络的教师模型并对教师模型进行训练；（3）构建以ResNet18为主干网络的学生模型，并使用随机初始化对学生模型的网络参数进行初始化；（4）同时学习教师模型和学生模型主干网络中第三阶段、第四阶段和第五阶段特征的注意图；（5）训练学生模型，得到训练好的车牌检测识别网络参数；（6）使用学生模型作为前向推理的网络测试网络并输出车牌号和位置。2.根据权利要求1所述关键前景特征引导知识蒸馏的车牌检测方法，其特征在于，步骤（1）所述车牌数据集中需标注车牌位置和车牌字符类别，车牌位置包括车牌四个角点，通过四个角点的位置计算表示车牌位置水平框的长宽和中心点，车牌字符类别包含省份、英文字母、数字和特殊字符。3.根据权利要求2所述关键前景特征引导知识蒸馏的车牌检测方法，其特征在于，步骤（2）的具体过程为：（21）步骤（1）中训练集中的车牌图像作为输入，先对车牌图像的尺寸和数值范围进行初始化处理，再将处理后的车牌图像输入到主干网络中进行卷积特征提取，其中主干网络使用在ImageNet数据集中经过预训练的ResNeXt101作为特征提取网络，并在ResNeXt101之后添加特征金字塔网络以增强ResNeXt101中的多尺度特征，获得多尺度车牌卷积特征图集合；（22）得到多尺度车牌卷积特征图集合后，在不同的多尺度卷积层后连接两层卷积核为3*3的卷积层以及一层平均池化层，在特征图的每一个特征点设置一个锚框，分别使用两个结构相同的但是不共享参数的全连接层子网络学习分类和位置偏移信息，其中位置偏差信息是车牌的最小外接矩形框与特征点对应的锚框的偏差从而完成目标框类别分类和...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，焦安健，董玉超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：