基于深度卷积神经网络的自动车牌识别方法技术

本发明专利技术公开了一种基于深度卷积神经网络的自动车牌识别方法。该方法首先设计神经网络的网络结构及其输入格式；然后采用随机仿射变换合成训练样本，合成真实场景图片和灰度图车牌，添加噪声模拟生成大量真实场景下的车牌图像；反向传播训练神经网络，采用监督式反向传播算法训练神经网络；滑窗搜索，通过滑动窗口定位车牌，切割图片并转换为灰度图，规范化至标准输入格式。本发明专利技术不仅能够有效处理图像平移及旋转对识别带来的影响，同时能避免识别过程中对特定环境、字体的依赖性，算法实现简单鲁棒性高，且易于移植。

Automatic license plate recognition method based on depth convolution neural network

The invention discloses an automatic license plate recognition method based on a deep convolution neural network. The network structure of the first design method of neural network and its input format; then using random affine transform synthesis of training samples, the synthesis of real scene images and gray images of license plate, license plate image add generated a large number of real scene noise simulation; back propagation neural network, the supervised backpropagation algorithm for training neural network; sliding window search. The sliding window positioning plate, cutting image is converted to grayscale, normalized to the standard input format. The invention can not only deal with the image translation and rotation effect on Recognition brings, and it can avoid the dependence on the specific environment, the font recognition process, the algorithm is easy to realize high robustness, and easy to transplant.

【技术实现步骤摘要】
基于深度卷积神经网络的自动车牌识别方法
本专利技术属于基于人工智能的图像处理
，特别是一种基于深度卷积神经网络的自动车牌识别方法。
技术介绍
自动车牌识别广义是指使用计算机图像处理技术，从图像中自动识别车辆登记拍照的技术。它可以利用现有的监控摄像头作为输入。随着智能交通系统的发展，自动车牌识别技术被广泛应用在各个领域。传统的自动车牌识别装置使用光学字符识别技术从图像中提取字符，从获得一副车牌图片开始，基本步骤包括，车牌定位、车牌字符分割、车牌字符识别。传统方法采用特定的算法处理图像，对图像规格要求苛刻。比如在图像分辨率低，或者因为高速运动造成的模糊，车牌字符变化或场景变化等情况下，识别率较低。因此传统方法复杂且容错性差，不易移植到各种平台，不能适应复杂变化的场景。目前自动车牌识别的方法主要有两种：基于SVM的方法和基于模板匹配的方法。基于SVM的方法，根据车牌字符特征，建立子分类器，对子分类器建立个字符的样本库，通过SVM方法训练得到各字符的判别函数。然后根据字符相应位置，归一化送到对应分类器组，通过识别函数得到分类结果。但是由于现场环境的复杂，车牌字符也很难准确分割，字符差异性大(LiuYongchun,YuXiaohong,YangJing.StudyoflicenseplatelocationsystembasedonSVM.Proceedings-2ndIEEEInternationalConferenceonAdvancedComputerControl，ICACC2010，v5，pl95_198)。基于模板匹配的方法，是利用车牌字符轮廓、骨干、网络或者峰谷投影灯特征，特征点识别字符是先对待识别字符进行关键点提取，即对字符进行拓扑分析以得到字符边缘的关键点，再确定字符的分类提取车牌字符特征，与标准车牌字符进行匹配。但是，由于实际测试环境中车牌图像存在的干扰和变形，车牌字符正确识别率不高(JinQuanjQuanShuhaijShiYingjXueZhihua.Afastlicenseplatesegmentationandrecognitionmethodbasedonthemodifiedtemplatematching.Proceedingsofthe20092ndInternationalCongressonImageandSignalProcessing,CISPi09,2009)。
技术实现思路
本专利技术的目的在于提供一种适应各种复杂环境的基于深度卷积神经网络的自动车牌识别方法。实现本专利技术的目的的技术解决方案为：一种基于深度卷积神经网络的自动车牌识别方法，步骤如下：步骤1、构造一个具有多字符识别的深度卷积神经网络；步骤2、随机仿射变换合成训练样本，将训练样本转换为灰度图并把尺寸归一化；步骤3、输入合成训练样本，采用反向传播算法训练神经网络；步骤4、滑窗搜索定位车牌，使用固定宽度与高度的矩形窗口滑动扫描待识别的整副图片，计算每次滑动扫描得到的区域中车牌存在概率，选取最大概率区域转换为灰度图并归一化，作为神经网络的输入；步骤5，解析神经网络的输出向量，在图片中标记车牌识别结果。进一步地，步骤1所述神经网络的结构包括三个卷积层、三个池化层、两个完全连接层、一个输出层；所述每个卷积层均由5×5的卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到；所述输出层包括多个节点，其中一个节点作为车牌存在概率指示器，其余节点用于编码车牌字符的存在概率。进一步地，步骤1所述神经网络的输入格式为128×64灰度图；对于更大尺寸的图片，采用滑窗搜索的方法定位切割图像。进一步地，步骤2所述随机仿射变换合成训练样本，具体步骤如下：步骤2-1、随机生成数字车牌图像，使用PIL图像处理库模拟画出车牌和车牌号，车牌底色与车牌字符随机选取，模拟真实世界中的光影变化，得到一副128×64灰度图；步骤2-2、随机仿射变换，即对生成的数字车牌图像进行基于随机翻转、倾斜、偏移、移位、拉伸的仿射变换；步骤2-3、获取真实场景图片，即从公开场景分类数据库获取各类真实场景图片，作为识别背景；步骤2-4、采用基于泊松方程的图像融合算法，融合步骤2-3所得真实场景图片与步骤2-2所得随机仿射变换后的数字车牌图像；步骤2-5、添加随机噪声，即对步骤2-4融合所得结果图像添加随机噪声，生成真实场景下的车牌识别图像作为训练样本。进一步地，步骤3所述采用反向传播算法训练神经网络，步骤如下：步骤3-1、激励传播，前向传播阶段将步骤2得到的训练样本输入神经网络以获得激励响应，将激励响应和训练样本的期望输出求差，从而获得隐层和输出层的响应误差；步骤3-2、反向更新，对于每个突触上的权重，将输入激励和响应误差相乘，从而获得权重的梯度，将这个梯度乘上比例常数并取反后加到权重上。本专利技术与现有技术相比，其显著优点为：(1)不仅能够有效处理图像平移及旋转对识别带来的影响，同时能避免识别过程中对特定环境、字体的依赖性；(2)简单可靠，训练越充分，识别率越高，且训练后的神经网络易于移植；(3)能够适应各种复杂环境适应各种复杂场景，鲁棒性强。下面结合附图对本专利技术作进一步详细描述。附图说明图1是本专利技术基于深度卷积神经网络自动车牌识别方法的流程图。图2是本专利技术中神经网络结构示意图。图3是本专利技术中随机仿射变换合成训练样本示意图。图4是本专利技术中滑窗搜索定位车牌示意图。图5是本专利技术中神经网络自动识别结果示意图。具体实施方式结合图1，本专利技术基于深度卷积神经网络的自动车牌识别方法，步骤如下：步骤1、构造一个具有多字符识别的深度卷积神经网络；所述神经网络的结构包括三个卷积层、三个池化层、两个完全连接层、一个输出层；所述每个卷积层均由5×5的卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到；所述输出层包括多个节点，其中一个节点作为车牌存在概率指示器，其余节点用于编码车牌字符的存在概率。所述神经网络的输入格式为128×64灰度图；对于更大尺寸的图片，采用滑窗搜索的方法定位切割图像。步骤2、随机仿射变换合成训练样本，将训练样本转换为灰度图并把尺寸归一化；所述随机仿射变换合成训练样本，具体步骤如下：步骤2-1、随机生成数字车牌图像，使用PIL图像处理库模拟画出车牌和车牌号，车牌底色与车牌字符随机选取，模拟真实世界中的光影变化，得到一副128×64灰度图；步骤2-2、随机仿射变换，即对生成的数字车牌图像进行基于随机翻转、倾斜、偏移、移位、拉伸的仿射变换；步骤2-3、获取真实场景图片，即从公开场景分类数据库获取各类真实场景图片，作为识别背景；步骤2-4、采用基于泊松方程的图像融合算法，融合步骤2-3所得真实场景图片与步骤2-2所得随机仿射变换后的数字车牌图像；步骤2-5、添加随机噪声(例如高斯白噪声)，即对步骤2-4融合所得结果图像添加随机噪声，生成真实场景下的车牌识别图像作为训练样本。步骤3、输入合成训练样本，采用反向传播算法训练神经网络，步骤如下：步骤3-1、激励传播，前向传播阶段将步骤2得到的训练样本输入神经网络以获得激励响应，将激励响应和训练样本的期望输出求差，从而获得隐层和输出层的响应误差；步骤3-2、反向更新，对于每个突触上的权重，将输入激励和响应误差相本文档来自技高网...

【技术保护点】
一种基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤如下：步骤1、构造一个具有多字符识别的深度卷积神经网络；步骤2、随机仿射变换合成训练样本，将训练样本转换为灰度图并把尺寸归一化；步骤3、输入合成训练样本，采用反向传播算法训练神经网络；步骤4、滑窗搜索定位车牌，使用固定宽度与高度的矩形窗口滑动扫描待识别的整副图片，计算每次滑动扫描得到的区域中车牌存在概率，选取最大概率区域转换为灰度图并归一化，作为神经网络的输入；步骤5，解析神经网络的输出向量，在图片中标记车牌识别结果。

【技术特征摘要】
1.一种基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤如下：步骤1、构造一个具有多字符识别的深度卷积神经网络；步骤2、随机仿射变换合成训练样本，将训练样本转换为灰度图并把尺寸归一化；步骤3、输入合成训练样本，采用反向传播算法训练神经网络；步骤4、滑窗搜索定位车牌，使用固定宽度与高度的矩形窗口滑动扫描待识别的整副图片，计算每次滑动扫描得到的区域中车牌存在概率，选取最大概率区域转换为灰度图并归一化，作为神经网络的输入；步骤5，解析神经网络的输出向量，在图片中标记车牌识别结果。2.根据权利要求1所述的基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤1所述神经网络的结构包括三个卷积层、三个池化层、两个完全连接层、一个输出层；所述每个卷积层均由5×5的卷积单元组成，每个卷积单元的参数均通过反向传播算法优化得到；所述输出层包括多个节点，其中一个节点作为车牌存在概率指示器，其余节点用于编码车牌字符的存在概率。3.根据权利要求1所述的基于深度卷积神经网络的自动车牌识别方法，其特征在于，步骤1所述神经网络的输入格式为128×64灰度图；对于更大尺寸的图片，采用滑窗搜索的方法定位切割图像。4.根据权利要求1所述的基于深度卷积神经网络的自动车牌识...

【专利技术属性】
技术研发人员：彭树生，李勇强，李冬，王强，周仁峰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32