车牌图像的处理方法、装置、存储介质及电子装置制造方法及图纸

本申请实施例提供了一种车牌图像的处理方法、装置、存储介质及电子装置，其中，该方法包括：获取训练车牌图像集以及与训练车牌图像集中的每个训练车牌图像对应的标签车牌图像，其中，每个训练车牌图像和与每个训练车牌图像对应的标签车牌图像是对同一车牌进行拍摄得到的不同车牌图像，每个训练车牌图像的清晰度小于与每个训练车牌图像对应的标签车牌图像的清晰度；使用每个训练车牌图像和与每个训练车牌图像对应的标签车牌图像对初始的车牌去模糊模型进行模型训练，得到已训练的车牌去模糊模型，其中，车牌去模糊模型为基于生成对抗网络的、用于进行图像去模糊的模型。网络的、用于进行图像去模糊的模型。网络的、用于进行图像去模糊的模型。

【技术实现步骤摘要】
车牌图像的处理方法、装置、存储介质及电子装置


[0001]本申请实施例涉及智慧交通领域，具体而言，涉及一种车牌图像的处理方法、装置、存储介质及电子装置。

技术介绍

[0002]现有技术中绝大多数车牌识别方法受制于复杂的天气环境，例如，光照条件，雨雪天气，灰尘粉尘以及一些极端的恶劣天气导致的图像噪声都会使得车牌图像变模糊，降低车牌识别的准确性。为了提高车牌识别的准确性，可以在对模糊车牌进行去模糊处理，例如，通过端到端的卷积神经网络对模糊车牌进行去模糊。
[0003]然而，由于卷积神经网络过于关注局部的特性以及端到端网络对输入比较敏感，导致车牌去模糊效果不佳。由此可见，相关技术中车牌图像的处理方法，存在由于卷积神经网络过于关注局部的特性导致的车牌去模糊模型的去模糊效果差的问题。

技术实现思路

[0004]本申请实施例提供了一种车牌图像的处理方法、装置、存储介质及电子装置，以至少解决相关技术中车牌图像的处理方法存在由于卷积神经网络过于关注局部的特性导致的车牌去模糊模型的去模糊效果差的问题。
[0005]根据本申请的一个实施例，提供了一种车牌图像的处理方法，包括：获取训练车牌图像集以及与所述训练车牌图像集中的每个训练车牌图像对应的标签车牌图像，其中，所述每个训练车牌图像和与所述每个训练车牌图像对应的标签车牌图像是对同一车牌进行拍摄得到的不同车牌图像，所述每个训练车牌图像的清晰度小于与所述每个训练车牌图像对应的标签车牌图像的清晰度；使用所述每个训练车牌图像和与所述每个训练车牌图像对应的标签车牌图像对初始的车牌去模糊模型进行模型训练，得到已训练的所述车牌去模糊模型，其中，所述车牌去模糊模型为基于生成对抗网络的、用于进行图像去模糊的模型。
[0006]在一个示例性实施例中，所述车牌去模糊模型包括生成器；所述方法还包括：将待识别车牌图像输入到所述车牌去模糊模型的生成器中，得到所述车牌去模糊模型的生成器输出的、去模糊后的所述待识别车牌图像；对去模糊后的所述待识别车牌图像输入进行车牌识别处理，得到与待识别车牌图像对应的车牌识别结果。
[0007]在一个示例性实施例中，在使用所述每个训练车牌图像和与所述每个训练车牌图像对应的标签车牌图像对初始的车牌去模糊模型进行模型训练，得到已训练的所述车牌去模糊模型，包括：将所述每个训练车牌图像分别作为当前训练车牌图像对待训练的车牌去模糊模型进行多轮模型训练，得到已训练的所述车牌去模糊模型，其中，所述车牌去模糊模型包括生成器和判别器，在使用所述当前训练车牌图像进行模型训练时，当前的所述车牌去模糊模型的生成器为当前生成器，所述车牌去模糊模型的判别器为当前判别器：将所述当前训练车牌图像输入到当前生成器，得到所述当前生成器输出的去模糊车牌图像；将所述去模糊车牌图像和与所述当前训练车牌图像对应的标签车牌图像输入到所述当前判别
器中，得到所述当前判别器输出的图像判别结果，其中，所述图像判别结果用于表示所述去模糊车牌图像与所述标签车牌图像之间的图像相似度；根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果对所述当前生成器和所述当前判别器中的至少之一的参数进行调整，得到调整后的所述车牌去模糊模型。
[0008]在一个示例性实施例中，所述根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果对所述当前生成器和所述当前判别器中的至少之一的参数进行调整，得到调整后的所述车牌去模糊模型，包括：根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果，确定当前的所述车牌去模糊模型的模型损失；根据当前的所述车牌去模糊模型的模型损失，对所述当前生成器和所述当前判别器中的至少之一的参数进行调整，得到调整后的所述车牌去模糊模型，其中，调整后的所述的车牌去模糊模型模型损失小于当前的所述车牌去模糊模型的模型损失。
[0009]在一个示例性实施例中，所述根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果，确定当前的所述车牌去模糊模型的模型损失，包括：将所述去模糊车牌图像和所述标签车牌图像之间的曼哈顿距离，确定为与所述当前生成器对应的第一模型损失；将所述图像判别结果与所述标签车牌图像之间的二元交叉熵损失，确定为与所述当前判别器对应的第二模型损失；对所述第一模型损失和所述第二模型损失进行加权求和，得到当前的所述车牌去模糊模型的模型损失。
[0010]在一个示例性实施例中，所述将所述当前训练车牌图像输入到当前生成器，得到所述当前生成器输出的去模糊车牌图像，包括：将所述当前训练车牌图像输入到所述当前生成器的输入卷积层，得到所述输入卷积层提取的所述当前训练车牌图像的浅层特征图；通过所述当前生成器级联的多个旋转注意力层从所述当前训练车牌图像的浅层特征图中提取所述当前训练车牌图像的深层特征，得到所述当前训练车牌图像的深层特征图；通过残差连接对所述当前训练车牌图像的浅层特征图与所述当前训练车牌图像的深层特征图进行相加处理，得到所述当前训练车牌图像的特征图相加结果；将所述当前训练车牌图像的特征图相加结果输入到所述当前生成器的输出卷积层进行特征融合，得到与所述当前训练车牌图像对应的所述去模糊车牌图像。
[0011]在一个示例性实施例中，所述通过所述当前生成器级联的多个旋转注意力层从所述当前训练车牌图像的浅层特征图中提取所述当前训练车牌图像的深层特征，得到所述当前训练车牌图像的深层特征图，包括：依次通过级联的所述多个旋转注意力层中的每个旋转注意力层中的第一层归一化层、层旋转多头注意力层、第二层归一化层和层全连接层对所述每个旋转注意力层的输入进行处理，得到所述多个旋转注意力层的最后一个旋转注意力层的层全连接层输出的所述当前训练车牌图像的深层特征图；其中，级联的所述多个旋转注意力层中的第一个旋转注意力层的输入为所述当前训练车牌图像的浅层特征图，除了所述第一个旋转注意力层以外的其他旋转注意力层的输入为所述其他旋转注意力层的上一个旋转注意力层的输出。
[0012]在一个示例性实施例中，所述获取训练车牌图像集以及与所述训练车牌图像集中的每个训练车牌图像对应的标签车牌图像，包括：获取多个车牌图像集合，其中，所述多个车牌图像集合中的每个车牌图像集合包含在不同的采集距离下对同一车辆进行车牌图像采集得到的多个车牌图像，所述每个车牌图像集合中的所有车牌图像与同一预设车牌对
应；对所述每个车牌图像集合中的每个车牌图像分别进行车牌识别，得到与所述每个车牌图像集合中的每个车牌图像对应的车牌识别结果；根据所述每个车牌图像集合中的每个车牌图像对应的车牌识别结果，从所述每个车牌图像集合中分别选取训练车牌图像以及与选取出的训练车牌像对应的标签车牌图像，得到所述训练车牌图像集以及与所述每个训练车牌图像对应的标签车牌图像；其中，所述每个训练车牌图像对应的车牌识别结果所指示的车牌与所述每个训练车牌图像对应的预设车牌不同，与所述每个训练车牌图像对应的标签车牌图像为所述每个训练车牌图像所属的车牌图像集合中，对应的车牌识别结果所指示的车牌与对应的预设车牌相同的车牌图像。
[0013]根据本申请的另一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车牌图像的处理方法，其特征在于，包括：获取训练车牌图像集以及与所述训练车牌图像集中的每个训练车牌图像对应的标签车牌图像，其中，所述每个训练车牌图像和与所述每个训练车牌图像对应的标签车牌图像是对同一车牌进行拍摄得到的不同车牌图像，所述每个训练车牌图像的清晰度小于与所述每个训练车牌图像对应的标签车牌图像的清晰度；使用所述每个训练车牌图像和与所述每个训练车牌图像对应的标签车牌图像对初始的车牌去模糊模型进行模型训练，得到已训练的所述车牌去模糊模型，其中，所述车牌去模糊模型为基于生成对抗网络的、用于进行图像去模糊的模型。2.根据权利要求1所述的方法，其特征在于，所述车牌去模糊模型包括生成器；所述方法还包括：将待识别车牌图像输入到所述车牌去模糊模型的生成器中，得到所述车牌去模糊模型的生成器输出的、去模糊后的所述待识别车牌图像；对去模糊后的所述待识别车牌图像进行车牌识别处理，得到与待识别车牌图像对应的车牌识别结果。3.根据权利要求1所述的方法，其特征在于，在使用所述每个训练车牌图像和与所述每个训练车牌图像对应的标签车牌图像对初始的车牌去模糊模型进行模型训练，得到已训练的所述车牌去模糊模型，包括：将所述每个训练车牌图像分别作为当前训练车牌图像对待训练的车牌去模糊模型进行多轮模型训练，得到已训练的所述车牌去模糊模型，其中，所述车牌去模糊模型包括生成器和判别器，在使用所述当前训练车牌图像进行模型训练时，当前的所述车牌去模糊模型的生成器为当前生成器，所述车牌去模糊模型的判别器为当前判别器：将所述当前训练车牌图像输入到当前生成器，得到所述当前生成器输出的去模糊车牌图像；将所述去模糊车牌图像和与所述当前训练车牌图像对应的标签车牌图像输入到所述当前判别器中，得到所述当前判别器输出的图像判别结果，其中，所述图像判别结果用于表示所述去模糊车牌图像与所述标签车牌图像之间的图像相似度；根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果对所述当前生成器和所述当前判别器中的至少之一的参数进行调整，得到调整后的所述车牌去模糊模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果对所述当前生成器和所述当前判别器中的至少之一的参数进行调整，得到调整后的所述车牌去模糊模型，包括：根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果，确定当前的所述车牌去模糊模型的模型损失；根据当前的所述车牌去模糊模型的模型损失，对所述当前生成器和所述当前判别器中的至少之一的参数进行调整，得到调整后的所述车牌去模糊模型，其中，调整后的所述的车牌去模糊模型模型损失小于当前的所述车牌去模糊模型的模型损失。5.根据权利要求4所述的方法，其特征在于，所述根据所述去模糊车牌图像、所述标签车牌图像以及所述图像判别结果，确定当前的所述车牌去模糊模型的模型损失，包括：将所述去模糊车牌图像和所述标签车牌图像之间的曼哈顿距离，确定为与所述当前生
成器对应的第一模型损失；将所述图像判别结果与所述标签车牌图像之间的二元交叉熵损失，确定为与所述当前判别器对应的第二模型损失；对所述第一模型损失和所述第二模型损失进行加权求和，得到当前的所述车牌去模糊模型的模型损失。6.根据权利要求3所述的方法，其特征在于，所述将所述当前训练车牌图像输入到当前生成器，得到所述当前生成器输出的去模糊车牌图像，包括：将所述当前训练车牌图像输入到所述当前生成器的输入卷积层，得到所述输入卷积层提取的所述当...

【专利技术属性】
技术研发人员：林亦宁，胡睿，倪华健，
申请(专利权)人：北京闪马智建科技有限公司杭州闪马智擎科技有限公司，
类型：发明
国别省市：