一种基于生成对抗网络的车牌矫正与重构方法及系统技术方案

本发明专利技术公开了一种基于生成对抗网络的车牌矫正与重构方法及系统。本发明专利技术所涉及包括(1)基于VGG16结构的特征提取网络、坐标点预测模块组成的车牌矫正网络(2)由卷积‑反卷积组成的车牌生成器网络、多层卷积块组成的判别器网络构成的生成对抗性车牌重构网络(3)提出一种将车牌矫正网络与车牌重构网络堆叠组合的生成对抗式的车牌网络超分辨率重构网络，大大降低了车牌重构网络的训练难度，从而更有效的对车牌图像进行矫正与高清重构。

【技术实现步骤摘要】
一种基于生成对抗网络的车牌矫正与重构方法及系统
本专利技术属于设计图像处理
，特别是涉及一种基于生成对抗网络的车牌矫正与重构方法及系统。
技术介绍
车牌识别技术作为智能交通系统的重要组成部分，其主要任务是对采集的车辆图像进行检测分析，提取车牌相关特征信息，并有效识别与判别车辆的关键信息。因此，准确的车牌识别技术在智慧停车场管理系统中显得尤为重要。由于车牌获取的距离不同、拍摄角度不同，造成车牌在图片中的呈现姿态和外观也大大不同，尤其是获取的车牌图像常存在较大的倾斜和模糊现象，这显著影响了车牌识别准确率的提升。如何对车牌的歪曲进行矫正，模糊进行高清重构已经成为车牌识别领域发展的热门方向，涌现了很多车牌矫正与去模糊方法，但是这些方法在复杂场景中的表现不佳，且鲁棒性较差，只能针对特定的场景进行矫正或重构，有着结果差且输出不直观等等许多缺点。为了增强倾斜车牌在实际应用的鲁棒性，一般传统方法采取霍夫直线检测与水平投影旋转法，基于深度学习Max提出空间变换网络(STN)来获取投影变换矩阵的六个主要参数，本质为线性的变换，将投影矩阵坐标系本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，包括以下步骤：/nS1，收集监控设备的车牌图像数据，构建普通车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练数据集与测试数据集；其中普通车牌数据集用于训练车牌矫正网络，并对车牌矫正网络进行评估；高清车牌数据集用于训练车牌重构网络，并对车牌重构网络进行评估；/nS2，构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；/nS3，网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；/n...

【技术特征摘要】
1.一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，包括以下步骤：
S1，收集监控设备的车牌图像数据，构建普通车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练数据集与测试数据集；其中普通车牌数据集用于训练车牌矫正网络，并对车牌矫正网络进行评估；高清车牌数据集用于训练车牌重构网络，并对车牌重构网络进行评估；
S2，构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；
S3，网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；
S4，构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：
S5，将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；
S6，将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；
S7，将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；
S8，将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。


2.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S1中具体为：
首先收集车牌图像数据集，采用公开数据集CCPD与停车场门禁数据集，然后对收集的车牌数据集进行关键点标注与车牌号码标注，生成车牌数据集；再利用已标注好的车牌号码，生成对应的高清车牌图像，将原始车牌图像与生成的高清车牌图像匹配，生成高清车牌数据集；最后划分训练数据集与测试数据集，车牌矫正网络训练时输入车牌数据集，每次输入单张图片与其关键点坐标作为标签；车牌重构网络训练时输入高清车牌数据集中的一对图像，包括原始车牌图像与高清车牌图像，测试时只需输入需重构的车牌原始图像。


3.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S2中具体为：基于深层卷积网络VGG16结构的特征提取网络包括六个卷积块Conv1、Conv2、Conv3、Conv4、Conv5、Conv6与分类器loc；六个卷积块皆包含卷积核为3的两个卷积层，分类器由loc由卷积核为1的卷积层组成；其中所有卷积层后都有批归一化层BN、非线性激活层ReLU组成卷积块。


4.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S3中具体为：
对网络设计平滑平均绝对误差损失SmoothL1Loss用于评价高维特征向量与真实值的差距；将已获得的车牌训练图像经过预处理后输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。


5.根据权利要求4所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，具体地，对于真实值yi与网络预测结果f(xi)，f表示x与y的映射关系，得优化目标为以下的损失函数：





6.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S4中具体为：
构建卷积-反卷积的车牌生成器网络，基于ResNet的生成器特征提取网络由一个卷积层Conv_P1组成；第一个卷积块Conv_P1由卷积核为3的卷积层构成；残差块皆由两个卷积层，其中包括...

【专利技术属性】
技术研发人员：徐胜军，邓博文，史亚，孟月波，刘光辉，史小辉，占华，詹博涵，王菲，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：陕西;61