车牌检测模型的构建方法及系统、车牌检测方法及系统技术方案

本发明专利技术公开一种车牌检测模型的构建方法及系统、车牌检测方法及系统，其中车牌检测模型的构建方法包括根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为热点图数据和类别预测数据；所述分类预测损失值的计算方法为：根据车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；根据所述困难正样本和所述困难负样本的类别和类别预测数据计算分类预测损失值。本发明专利技术使每个车牌所对应的困难正样本的数量相同平衡不同尺寸的车牌在网络中的损失贡献。

Construction method and system of license plate detection model, license plate detection method and system

【技术实现步骤摘要】
车牌检测模型的构建方法及系统、车牌检测方法及系统
本专利技术涉及图像识别领域，尤其涉及一种车牌检测模型的构建方法及系统、车牌检测方法及系统。
技术介绍
由于车牌检测对实时性的要求较高，故现今采用机器学习的方法进行车牌检测时，通常采用单阶段目标检测识别算法；单阶段目标检测识别算法目前可分为有锚点框和无锚点框两类；对于有锚点框方法而言，不同的目标大小匹配的锚点框不同，小目标匹配会少一些，大目标匹配会多一些，从而导致对于小目标的学习不鲁棒；对于无锚点框方法来讲，由于小目标匹配的点较少，使得网络偏向于大目标学习，导致小目标检测的漏检率较高。综上，需要对现有技术做进一步改进。
技术实现思路
本专利技术针对现有技术中的缺点，提供了一种车牌检测模型的构建方法及系统、以及一种车牌检测方法及系统。为了解决上述技术问题，本专利技术通过下述技术方案得以解决：一种车牌检测模型的构建方法，包括根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；所述分类预测损失值的计算方法为：根据车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。作为一种可实施方式：所述热点图数据包括至少两幅不同尺寸的热点图；所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签。作为一种可实施方式，基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同的具体步骤为：基于车牌的尺寸，按照预设的预测规则提取相适配的热点图，并提取相应的车牌框的中心点，将所述中心点映射至所述热点图中，获得中心映射点；从所述热点图中提取所述中心映射点的八连通域坐标点，将所述中心映射点和所述八连通域坐标点作为所述车牌的困难正样本；基于预设的正负样本比例，从所述热点图中挖掘获得对应数量的困难负样本。作为一种可实施方式，位置预测损失值的计算方法为：所述预测类别标签为预测车牌类别标签或预测背景标签，提取各预测车牌类别标签的置信度；按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；根据各车牌的车牌框和预测车牌框，利用IOU损失函数计算位置预测损失值。本专利技术还提出一种车牌检测模型的构建系统，包括反馈更新模块，所述反馈更新模块用于根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；还包括分类损失计算单元，所述其中分类损失计算单元包括困难样本挖掘子单元和损失计算子单元；所述困难样本挖掘子单元，用于基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；所述损失计算子单元，用于提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。本专利技术由于采用了以上技术方案，具有显著的技术效果：1、本专利技术在计算分类预测损失值时采用正负困难样本挖掘策略，并使每个车牌所对应的困难正样本的数量相同，即，无论车牌是大目标还是小目标，在网络中处于同等地位，从而平衡不同尺寸的车牌在网络中的损失贡献，提高车牌的检出率。2、本专利技术热点图数据包括至少两幅不同尺寸的热点图，以实现多级特征预测，根据车牌尺寸选取相适配的热点图及预测类别标签进行预测，避免因由于车牌的尺寸的大小变化较大对最终检测结果的影响。本专利技术还提出一种车牌检测方法，包括以下步骤：获取待检测图像，将待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型采用上述任意一项车牌检测模型；根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。作为一种可实施方式：所述热点图数据包括至少两幅不同尺寸的热点图；所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签，所述预测类别标签为预测车牌类别标签或预测背景标签；所述检测结果包括相对应的车牌位置检测结果和车牌类别检测结果；根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出的具体步骤为：提取各预测车牌类别标签的置信度；按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框，输出所述预测车牌框作为车牌位置检测结果，输出所述预测车牌框所对应第一目标位置点的预测车牌类别标签作为相对应的车牌类别检测结果。作为一种可实施方式，根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框的具体步骤为；提取第一目标位置点的热点坐标数据，以及第一目标位置点所在热点图的回归偏移值，并根据所述热点图的尺寸计算所述热点图相对于待检测图像的步长，根据所述回归偏移值和所述步长所所述热点坐标数据进行解码，获得映射车牌框；对所述映射车牌框进行非极大值抑制操作，生成预测车牌框。作为一种可实施方式，根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框之前还包括位置点剔除步骤，具体步骤为；将预测车牌类别标签相同且位于同一热点图的第一目标位置点进行8连通域聚类，生成至少一个聚类点簇；统计各聚类点簇中第一目标位置点的位置点个数，当所述聚类点簇的位置点个数大于预设的剔除阈值时，将所述聚类点簇中的第一目标位置点作为第二目标位置点；根据第二目标位置点和第二目标位置点所在热点图的尺寸，生成预测车牌框。本专利技术还提出一种车牌检测系统，包括：第一预测模块，用于获取待检测图像，还用于待检测图像输入至车牌检测模型中，由所述车牌检测模型输出相对应的热点图数据和类别预测数据，所述车牌检测模型采用权利要求上述任意一项车牌检测模型；第二预测模块，用于根据所述类别预测数据和热点图数据生成所述待检测图像中车牌的预测车牌框，根据类别预测数据和所述预测车牌框生成检测结果并输出。除上述对本专利技术车牌检测模型的构建方本文档来自技高网...

【技术保护点】
1.一种车牌检测模型的构建方法，包括根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；/n其特征在于，所述分类预测损失值的计算方法为：/n根据车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；/n提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。/n

【技术特征摘要】
1.一种车牌检测模型的构建方法，包括根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；
其特征在于，所述分类预测损失值的计算方法为：
根据车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。


2.根据权利要求1所述的车牌检测模型的构建方法，其特征在于：
所述热点图数据包括至少两幅不同尺寸的热点图；
所述类别预测数据包括与所述热点图中各点一一对应的预测类别标签。


3.根据权利要求2所述的车牌检测模型的构建方法，其特征在于，基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同的具体步骤为：
基于车牌的尺寸，按照预设的预测规则提取相适配的热点图，并提取相应的车牌框的中心点，将所述中心点映射至所述热点图中，获得中心映射点；
从所述热点图中提取所述中心映射点的八连通域坐标点，将所述中心映射点和所述八连通域坐标点作为所述车牌的困难正样本；
基于预设的正负样本比例，从所述热点图中挖掘获得对应数量的困难负样本。


4.根据权利要求3所述的车牌检测模型的构建方法，其特征在于，位置预测损失值的计算方法为：
所述预测类别标签为预测车牌类别标签或预测背景标签，提取各预测车牌类别标签的置信度；
按照车牌类别，分别提取对应车牌类别中置信度大于预设的置信度阈值的预测车牌类别标签，并提取热点图与所述预测车牌类别标签相映射的点，获得第一目标位置点；
根据第一目标位置点和第一目标位置点所在热点图的尺寸，生成预测车牌框；
根据各车牌的车牌框和预测车牌框，利用IOU损失函数计算位置预测损失值。


5.一种车牌检测模型的构建系统，包括反馈更新模块，所述反馈更新模块用于根据分类预测损失值和位置预测损失值对第一卷积神经网络进行反馈更新的步骤，所述第一卷积神经网络的输入为样本图像及其标注信息，所述标注信息包括各车牌的车牌框和类别，输出为相应的热点图数据和类别预测数据；
其特征在于，还包括分类损失计算单元，所述其中分类损失计算单元包括困难样本挖掘子单元和损失计算子单元；
所述困难样本挖掘子单元，用于基于根据各车牌的车牌框和热点图数据进行正负困难样本挖掘，获得困难正样本与困难负样本，其中每个车牌所对应的困难正样本的数量相同；
所述损失计算子单元，用于提取所述困难正样本和所述困难负样本的类别和类别预测数据，基于所述类别和所述类别预测数据计算分类预测损失值。


6.一种车牌检测方法...

【专利技术属性】
技术研发人员：张浩，
申请(专利权)人：杭州雄迈集成电路技术股份有限公司，
类型：发明
国别省市：浙江;33