一种基于卷积神经网络的车牌图像清晰化方法技术

本发明专利技术公开了一种基于卷积神经网络的车牌图像清晰化方法，能够对受到运动模糊影响的车牌图像进行清晰化，该方法包括以下步骤：建立一种轻量级的卷积神经网络模型，设置网络的结构和训练参数；制作卷积神经网络的训练集；训练卷积神经网络，得到网络的权重；基于卷积神经网络的训练模型，即可以对道路监控设备拍摄到的模糊车牌图像进行清晰化。本发明专利技术应用于刑侦和OCR识别等方面，针对一处道路监控设备，由于车辆的运动速度和出现位置不同，车牌图像的模糊程度和模糊角度在一定范围内变化，传统的去运动模糊方法无法有效处理，通过卷积神经网络的方法可以对车牌图像一定范围内的运动模糊进行清晰化，且具有较快的处理速度。

A method of license plate image sharpening based on convolution neural network

The invention discloses a license plate image sharpening method based on convolution neural network, which can sharpen the license plate image affected by motion blur. The method comprises the following steps: establishing a lightweight convolution neural network model, setting the network structure and training parameters, and making the training of convolution neural network. Training set; training convolution neural network, get the weight of the network; based on the training model of convolution neural network, the blurred license plate images captured by road monitoring equipment can be made clear. The invention is applied to criminal investigation and OCR recognition, etc. Aiming at a road monitoring equipment, the fuzzy degree and fuzzy angle of the license plate image vary within a certain range because of the different moving speed and position of the vehicle, and the traditional method of removing motion fuzzy can not be effectively processed. The vehicle can be processed by convolution neural network method. The motion blurring within a certain range of the card image is clear and has a faster processing speed.

【技术实现步骤摘要】
一种基于卷积神经网络的车牌图像清晰化方法
本专利技术属于图像复原和机器学习领域，尤其涉及一种基于卷积神经网络的车牌图像清晰化方法。
技术介绍
在用车牌号码辨识车辆的过程中，道路监控设备的成像受运动、光线、温度等各种因素的影响，拍摄到的车牌号码容易出现各种类型的模糊现象。模糊图像的清晰化在刑侦和OCR等方面有着重大应用。为了解决受运动模糊影响的车牌图像的清晰化问题，目前已有一些基于概率统计和数字图像处理的去模糊方法，比如基于L0范数先验的图像清晰化方法、基于Lucy‐Richardson算法的盲去卷积方法等，这些方法对于不同模糊程度的图像需要人工调节参数才能得到较好的效果。针对道路监控设备拍摄到的车辆图像，由于车辆的运动速度和车辆在监控设备视野中的位置不确定，会使拍摄到的车牌图像受到不同程度的运动模糊，且模糊核的角度在一定范围之内变化，传统的图像清晰化方法难以有效处理这种图像模糊。
技术实现思路
专利技术目的：针对现有技术存在的以上问题，本专利技术旨在提供一种基于卷积神经网络的车牌图像清晰化方法，通过构建和训练一种轻量级的卷积神经网络，将道路监控设备拍摄的车牌图像经过一定处理后输入该网络，就能得到清晰化的车牌图像。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于卷积神经网络的车牌图像清晰化方法，该方法包括以下步骤：(1)搭建卷积神经网络模型；(2)拍摄高清车牌图片；(3)人工标定车牌位置并归一化车牌图像；(4)人工模糊车牌图像；(5)裁剪车牌图像，制作训练集；(6)网络结构参数设定和训练参数初始化；(7)训练卷积神经网络，得到网络权重；(8)将预处理后的监控设备拍摄的图像输入网络，得到清晰化的车牌图像。其中，所述步骤(1)中，卷积神经网络结构如下：第一层卷积层的卷积核大小(kernelsize)为34，输出特征图的个数(num_output)为64，输出经过ReLU函数；第二层卷积层的卷积核大小(kernelsize)为1，输出特征图的个数(num_output)为32，输出经过ReLU函数；第三层卷积层的卷积核大小(kernelsize)为18，输出特征图的个数(num_output)为1，输出经过ReLU函数。其中，所述步骤(3)中，人工标定车牌位置方法如下：人工对车牌四角在图片中的位置进行标定，通过透视变换将车牌区域拉伸到图片正中间固定的区域，并将图片大小归一化。其中，所述步骤(4)中，人工模糊车牌图像方法如下：对步骤(3)得到的归一化图像使用模糊核进行模糊滤波操作，模糊核的长度和角度设置在预定范围之内。其中，图像模糊方法如下：设卷积模糊核的矩阵行数为rows，列数为cols，卷积模糊核为wn(x,y)，使用卷积模糊核对清晰车牌图像进行人工运动模糊操作：其中，f表示灰度化的单通道清晰车牌图像，以二维矩阵的方式存储；fblur表示人工运动模糊之后得到的模糊车牌图像，x,y表示像素的横坐标和纵坐标，n1,n2表示中间变量。其中，所述步骤(5)中，先将模糊车牌图像裁剪成N1*N1像素的小图片，裁剪窗口以一定的步长滑动；在裁剪模糊车牌图片的同时，裁剪其对应的清晰车牌图像为N2*N2像素的小图片，该N2*N2像素的小图片与模糊车牌的N1*N1像素的小图片中心位置相同，将得到的N1*N1像素的模糊车牌小图片作为卷积神经网络的输入数据，将N2*N2像素的清晰车牌小图片作为数据标签，所有裁剪得到的N1*N1像素的模糊车牌和对应的N2*N2像素的清晰车牌小图片组成卷积神经网络的训练集。其中，所述步骤(6)中，网络结构参数和训练参数的设置如下：(6.1)卷积层的步长设置为1；(6.2)卷积层的权重初始化为均值为0、标准差为0.001的高斯分布噪声，网络中的所有偏置初始化为常量0；(6.3)训练的batchsize大小设置为128，训练时选用随机梯度下降算法，学习率固定为1×10-4，动量系数为0.9。其中，所述步骤(7)中，将模糊车牌图像输入三层卷积神经网络进行训练，神经网络的输出图标，并将卷积神经网络的输出图片与模糊车牌图像对应的数据标签图片同时输入到如下损失函数层：其中，Cost是损失函数值，yn是卷积神经网络的输出图片，y′n是模糊车牌图像对应的数据标签图片，N是输入图片数量，通过不断调整网络权重减小Cost是损失函数值，直至损失函数值达到训练目标要求。其中，所述步骤(8)中，对监控设备拍摄的图像进行预处理并输入卷积神经网络的方法为：人工标定图像中车牌四角的位置，用透视变换将车牌区域拉伸到图片中间固定的区域，再将图片归一化到预定的大小，对归一化的图片进行灰度化，再对图片进行中值滤波操作去噪，最后将车牌图片输入步骤(7)中训练好的卷积神经网络，得到清晰化之后的车牌图像。有益效果：与现有技术相比，本专利技术的技术方案具有以下的有益技术效果：1、传统的图像清晰化方法对于不同模糊程度和模糊角度的车牌图像需要反复调节参数才能得到较好的效果，本专利技术提出的卷积神经网络模型可对一定范围内模糊程度和模糊角度不同的运动模糊进行有效地清晰化处理。2、本专利技术提出了一种轻量级的卷积神经网络结构，能够进行快速的训练以及车牌图像清晰化处理，且对于车牌图像一定范围的运动模糊有较好的清晰化效果。3、本专利技术提出了一种全卷积神经网络(FullyConvolutionalNetworks,FCN)结构，对于输入的模糊车牌图像尺寸大小没有要求，因此可对任意大小的模糊车牌图像进行清晰化。附图说明图1是本专利技术一种基于卷积神经网络的车牌图像清晰化方法流程图；图2是本专利技术采用的卷积神经网络结构图；图3是本专利技术中训练网络的输入图片和图片标签对比示意图；图4是本专利技术采用的卷积神经网络的车牌图像清晰化效果示意图。具体实施方式下面结合附图和实施例对本专利技术的技术方案作进一步的说明。如图1所示，本专利技术提出了一种基于卷积神经网络的车牌图像清晰化方法，该方法的详细步骤为：(1)搭建卷积神经网络模型本专利技术搭建的卷积神经网络模型具体结构如下：第一层卷积层的卷积核大小(kernelsize)为34×34，输出特征图的个数(num_output)为64，设定步长为1，输出经过ReLU函数，无池化层；第二层卷积层的卷积核大小(kernelsize)为1×1，输出特征图的个数(num_output)为32，设定步长为1，输出经过ReLU函数，无池化层；第三层卷积层的卷积核大小(kernelsize)为18×18，输出特征图的个数(num_output)为1，设定步长为1，输出经过ReLU函数，无池化层。(2)拍摄高清车牌图片所述高清车牌图片是清晰的、没有抖动的拍摄图片。拍摄设备的分辨率应至少达到100万像素以上，如使用高分辨率的相机、手机等拍摄设备拍摄的车牌图片制作训练集，能获得更好的训练效果。车牌图像区域占整张照片的面积比应至少大于1/5，以保证车牌区域图像足够清晰。拍摄的光线不能过亮或过暗，光线过亮会使车牌图像出现光斑，光线过暗则无法看清车牌图像，这两种光线都会使车牌图像信息丢失。此处拍摄的车牌图片清晰与否关系到网络训练效果的好坏。(3)人工标定车牌位置并归一化车牌图像人工标定车牌位置具体指的是人工确定车牌图像区域四个角点在图片中的像素坐标，具体实现时可以编写一个交互式的程本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的车牌图像清晰化方法，其特征在于，该方法包括以下步骤：(1)搭建卷积神经网络模型；(2)拍摄高清车牌图片；(3)人工标定车牌位置并归一化车牌图像；(4)人工模糊车牌图像；(5)裁剪车牌图像，制作训练集；(6)网络结构参数设定和训练参数初始化；(7)训练卷积神经网络，得到网络权重；(8)将预处理后的监控设备拍摄的图像输入网络，得到清晰化的车牌图像。

【技术特征摘要】
1.一种基于卷积神经网络的车牌图像清晰化方法，其特征在于，该方法包括以下步骤：(1)搭建卷积神经网络模型；(2)拍摄高清车牌图片；(3)人工标定车牌位置并归一化车牌图像；(4)人工模糊车牌图像；(5)裁剪车牌图像，制作训练集；(6)网络结构参数设定和训练参数初始化；(7)训练卷积神经网络，得到网络权重；(8)将预处理后的监控设备拍摄的图像输入网络，得到清晰化的车牌图像。2.根据权利要求1所述的一种基于卷积神经网络的车牌图像清晰化方法，其特征在于，所述步骤(1)中，卷积神经网络结构如下：第一层卷积层的卷积核大小(kernelsize)为34，输出特征图的个数(num_output)为64，输出经过ReLU函数；第二层卷积层的卷积核大小(kernelsize)为1，输出特征图的个数(num_output)为32，输出经过ReLU函数；第三层卷积层的卷积核大小(kernelsize)为18，输出特征图的个数(num_output)为1，输出经过ReLU函数。3.根据权利要求1所述的一种基于卷积神经网络的车牌图像清晰化方法，其特征在于：所述步骤(3)中，人工标定车牌位置方法如下：人工对车牌四角在图片中的位置进行标定，通过透视变换将车牌区域拉伸到图片正中间固定的区域，并将图片大小归一化。4.根据权利要求1所述的一种基于卷积神经网络的车牌图像清晰化方法，其特征在于：所述步骤(4)中，人工模糊车牌图像方法如下：对步骤(3)得到的归一化图像使用模糊核进行模糊滤波操作，模糊核的长度和角度设置在预定范围之内。5.根据权利要求4所述的一种基于卷积神经网络的车牌图像清晰化方法，其特征在于，图像模糊方法如下：设卷积模糊核的矩阵行数为rows，列数为cols，卷积模糊核为wn(x,y)，使用卷积模糊核对清晰车牌图像进行人工运动模糊操作：其中，f表示灰度化的单通道清晰车牌图像，以二维矩阵的方式存储；fblur表示人工运动模糊之后得到的模糊车牌图像，x,y表示像素的横坐标和纵坐标，n1,n2表示中间变量。6.根据权利要求1所述的...

【专利技术属性】
技术研发人员：董林滔，夏思宇，陈科圻，张伟，段彦卉，肖志尧，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32