基于深度卷积神经网络的车架号识别系统技术方案

本发明专利技术涉及车架号识别技术领域，尤指一种基于深度卷积神经网络的车架号识别系统，主要包含以下步骤：S1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；S2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；S3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；S4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性。本发明专利技术能够在复杂图像背景环境下以及在图像严重畸变的条件下，对车辆识别码进行定位、裁剪以及精确的识别；而且还能够检验本发明专利技术识别的准确性。

【技术实现步骤摘要】
基于深度卷积神经网络的车架号识别系统
本专利技术涉及车架号识别
，尤指一种基于深度卷积神经网络的车架号识别系统。
技术介绍
车辆识别号(VIN号码)是由字母和数字组成的17位字。VIN号码中包含生产厂商、车身型号、发动机型号、出厂年份等信息，是识别车辆的唯一标识。而且车辆VIN号码具有唯一性，是与车辆相关行业管理车辆的重要信息代码。车辆管理部门可通过车辆VIN号码，建立健全车辆管理体系，推行召回制度，制定车辆的报废体系。车辆制造厂商可根据车辆VIN号码跟踪车辆的使用过程，掌握车辆的受欢迎程度，使用故障率及故障出现部位等信息，有利于厂家改进产品质量、调整生产计划，完善售后服务。公安部门可根通过识别车辆VIN号码确定嫌疑车辆，查案破案。保险公司可利用车辆VIN号码进行保险勘察。因此，对于车辆识别号的识别与研究得到了广大研究者的关注。现阶段对于车辆VIN号码的识别和记录主要依靠人工。需要人工识别车辆的VIN码，手工输入、记录以及和预先保存的VIN进行人工比对。而随着人工智能技术的发展，图像识别技术被运用到VIN的识别中。车辆VIN号码的图像识别技术主要是通过摄像头对VIN区域进行采集，借助图像识别技术识别出VIN号码信息。利用图像识别技术，使得VIN的识别变得更加高效准确。针对车辆VIN码的识别和应用，国内外有大量的研究。如MIT研发的识别系统Vinter，该系统在图像特征提取时采用Opencv库中的Hog特征提取算法、LBP等算法，在字符串匹配时使用了KMP算法[9]。MIT的这些算法都属于传统的图像处理方法，这些算法需要图片从一个良好的角度，在不受任何光照的影响下，拍摄车辆的VIN号码图片。如果图片的角度稍微有一些倾斜或者光线稍微过强或者过暗的话，那么这个算法将无法准确对车辆的VIN号码进行准确的识别。而且在识别之前，必须手工将包含车架号的图像区域，从背景图像中裁剪出来。刘宾坤采用基于Google的开源Tesseract-OCR识别库对预处理后的车辆VIN码图像进行字符特征提取，然后与基于该库进行训练生成的车辆VIN码字符库做匹配识别。具体参阅专利申请号为201710617443.9，公开了一种基于Android平台的车辆VIN识别方法，包括以下步骤：S1：设计基于Android平台调用摄像头的实施过程，在相机的预览界面添加用来定位获取车辆识别码的扫描框；S2：采用摄像头获取有效区域的车辆VIN图片信息存储在手机本地S3：对车辆VIN图片进行图片预处理，包括图像的灰度化、顶帽变换、图像增强和二值化处理；S4：基于Tesseract-OCR图像识别类库对预处理后的车辆VIN图片进行字符特征提取，并利用训练生成的车辆VIN字符库进行匹配识别；S5：根据VIN的编码规则对识别结果进行校验，S6：搜集车辆VIN照片，基于官方提供的英文字符库训练生成车辆VIN字符库。这种算法也是对于拍摄角度比较好的那些图片才可以进行准确的识别，而且同样必须将车架号图像区域从图片中裁剪出来。除了需要对字符的区域图像进行分割以外，Tesseract-OCR技术需要将图像中的每一个字符进行分割，然后对逐个分割出来的字符进行识别。随着深度学习和机器学习技术的逐步兴起，很多研究者也将相关的技术用在交通领域中。Sermanet等人提出多尺度CNN应用于交通标志识别任务达到99.17％的准确率。薛之昕提出并设计了一个多尺度卷积神经网络，用来挖掘更多的交通标志特征信息。在汽车VIN码的识别领域中，王璐采用了一种基于逻辑回归神经网络模型的识别算法，研究表明该算法对于VIN的的识别有更好的适应性。然而上面列举的所有交通标志识别方法以及车辆VIN的识别方法都是基于拍摄角度比较好，图像畸变较小的图像进行识别。而且必须手工将包含车辆识别号图像的区域裁剪出来，才可以进行车辆VIN号进行识别。现在，监管部门为了管理大量的出厂车辆(防止4S店以旧换新)，需要各个4S店员工每天对车辆的VIN号码进行拍照上传。由于监管部门需要监管的4S店非常多，导致了每天上传的图像数据量非常大(几十万张照片)。采用人工识别的方法是不切实际的，因此采用自动化的图像识别是唯一的可行方法。但是每个4S店员工的手机像素不同，拍摄角度不同，拍照水平不同；而且拍摄的空间环境也各不相同，导致每张上传图片的像素值，图像亮度以及图像的畸变程度差异非常大。上述诸多问题对VIN的提取识别带来了困难。首先，如果采用传统的图像处理方法，无法对车架号的位置进行准确的自动化定位和裁剪，因为车架号所在图像的相对位置各不相同。另外，由于灰尘、图像噪声、图像畸变等因素的影响，传统的图像处理方法对于复杂背景环境下的车辆VIN识别准确率不高。当图像质量较差时，传统算法的识别精度将大幅降低。因此，现在市场上亟需一种能够在复杂背景环境下对车辆VIN进行提取和识别的技术。
技术实现思路
为此，本专利技术的主要目的在于提供一种基于深度卷积神经网络的车架号识别系统，所述车架号识别系统能够在复杂图像背景环境下，对车辆的VIN码图像区域进行定位与裁剪。本专利技术的又一目的在于提供一种基于深度卷积神经网络的车架号识别系统，所述车架号识别系统能够在图像严重畸变的条件下，对17位车辆识别码进行精确的识别。本专利技术的另一目的在于提供一种基于深度卷积神经网络的车架号识别系统，所述车架号识别系统能够检验本专利技术识别的准确性。为实现上述目的，本专利技术采用的技术方案是：一种基于深度卷积神经网络的车架号识别系统，其特征在于主要包含以下步骤：S1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；S2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；S3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；S4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性。进一步，所述车架号定位神经网络和车架号识别神经网络均采用MaskRCNN的结构。进一步，所述MaskRCNN神经网络的搭建工具为TensorFlow。进一步，所述MaskRCNN神经网络包含有：CNN组件，用于获取图片中的重要的特征信息；RPN组件，用于获取图片中特征信息所在区域的位置信息。ROIAlign组件，用于实现特征区域的图像提取，并且生成固定大小的特征图片。进一步，对车架号定位神经网络进行训练，训练的步骤如下：S5：对图像中的包含重要信息的区域进行标注；S6：将标注的信息以及图像输入到神经网络中，对神经网络进行训练；利用梯度下降法逐步调整神经网络中每一个神经元以及神经元之间连线上的权重参数，最终实现神经网络预测出来的区域与标注的区域基本一致。进一步，对车架号识别神经网络进行训练，训练的步骤如下：S7：利用上一节已标注的车架号区域的标注数据对图像进行裁剪；S8：在裁剪出图像的基础上，对每一个字符以及字符的类别进行标注；...

【技术保护点】
1.一种基于深度卷积神经网络的车架号识别系统，其特征在于主要包含以下步骤：/nS1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；/nS2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；/nS3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；/nS4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性。/n

【技术特征摘要】
1.一种基于深度卷积神经网络的车架号识别系统，其特征在于主要包含以下步骤：
S1：将原始图片输入到车架号定位神经网络中进行定位，并输出定位结果；
S2：根据所述定位结果将车架号区域图片进行裁剪和旋转并去除畸变；
S3：将裁剪后的图片输入到车架号识别神经网络中进行车架号识别，并输出识别结果；
S4：将识别出的结果进行排序，再利用VIN的校验码进行校验，从而检验出识别的准确性。


2.根据权利要求1所述的基于深度卷积神经网络的车架号识别系统，其特征在于所述车架号定位神经网络和车架号识别神经网络均采用MaskRCNN的结构。


3.根据权利要求2所述的基于深度卷积神经网络的车架号识别系统，其特征在于所述MaskRCNN神经网络的搭建工具为TensorFlow。


4.根据权利要求3所述的基于深度卷积神经网络的车架号识别系统，其特征在于所述MaskRCNN神经网络包含有：
CNN组件，用于获取图片中的重要的特征信息；
RPN组件，用于获取图片中特征信息所在区域的位置信息。
ROIAlign组件，用于实现特征区域的图像提取，并且生成固定大小的特征图片。


5.根据权利要求4所述的基于深度卷积神经网络的车架号识别系统，其特征在于对车架号定位神经网络进行训练，训练的步骤如下：
S5：对图像中的包含重要信息的...

【专利技术属性】
技术研发人员：王宗尧，贾鹏，匡海波，赵亚宁，余方平，牛书亮，杨彦博，
申请(专利权)人：王宗尧，贾鹏，匡海波，赵亚宁，余方平，牛书亮，杨彦博，
类型：发明
国别省市：辽宁;21