一种基于深度学习的自然场景中车牌检测系统技术方案

本发明专利技术涉及车牌检测系统。一种基于深度学习的自然场景中车牌检测系统，它包括：输入单元，用于自然场景图像的输入，包括但不限于摄像头采集图像输入、码流解码输入；第一深度网络单元，它用于对车牌的初筛，并包括6个卷积层、1个最大池化层、1个非极大值抑制处理单元；第二深度网络单元，它用于对车牌的再次筛选，包括3个卷积层、3个全连接层、2个最大池化层；和，输出单元，对所有的通过了第一深度网络结构初筛和第二深度网络结构筛选的车牌区域进行对比，如果存在重合且重合区域大于阈值Th_4，那么这些区域合并为一个区域；将经过合并处理后的区域输出，输出的区域即为疑似车牌区域。本发明专利技术占用资源少，适合嵌入式设备使用。

A license plate detection system in natural scene based on deep learning

【技术实现步骤摘要】
一种基于深度学习的自然场景中车牌检测系统
本专利技术涉及车牌检测，尤其涉及一种在自然场景的车牌检测。
技术介绍
在自然场景中检测车牌，传统方法是通过颜色、边缘等特征进行过滤，或者是构建HOG、LBP等人工特征进行检测，存在的问题是检测不够准确，误报和漏报率都较高。深度学习兴起后，人们也可以用SSD/YOLO/FasterRCNN等深度学习框架来检测车牌，基于深度学习的车牌检测方法，诸如201610312822.2、201710187201.0、201710187289.6和201710531085.X。这些方法存在的问题是计算量大，消耗的CPU和DDR的资源都很大，但是对于自然场景的检测设备因成本、按照较早等原因，配置不会太高，资源有限，上述各种方法不利于在资源有限的嵌入式设备上实现应用。
技术实现思路
本专利技术旨在于解决现有技术存在的上述问题，提供一种基于深度学习的自然场景中车牌检测方法。本专利技术占用资源少，适合嵌入式设备使用。本专利技术一种基于深度学习的自然场景中车牌检测系统，其特征在于，它包括：输入单元，用于自然场景图像的输入，包括但不限于摄像头采集图像输入、码流解码输入；第一深度网络单元，它用于对车牌的初筛，并包括6个卷积层、1个最大池化层、1个非极大值抑制处理单元；第二深度网络单元，它用于对车牌的再次筛选，包括3个卷积层、3个全连接层、2个最大池化层；和，输出单元，对所有的通过了第一深度网络结构初筛和第二深度网络结构筛选的车牌区域进行对比，如果存在重合且重合区域大于阈值Th_4，那么这些区域合并为一个区域；将经过合并处理后的区域输出，输出的区域即为疑似车牌区域。所述的一种基于深度学习的自然场景中车牌检测系统，所述第一深度网络单元的结构包括：a)第一卷积层的参数为(3,9,3,10)，表示对输入单元的RGB图像(h,w,3)以(3,9,3)的卷积核进行卷积，卷积的跨度为1，共10组卷积核，得到(new_h,new_w,10)的输出，其中new_h＝h-2,new_w＝w-8；b)第一最大池化层以(2,2)的核对第一卷积层的输出数据(h,w,10)进行池化，池化的跨度为2，得到(new_h,new_w,10)的输出，其中new_h＝h/2，new_w＝w/2，不能整除时向下取整，例如w＝5时，new_w＝2；c)第二卷积层的参数为(3,9,10,16)，表示对第一最大池化层的输出数据(h,w,10)以(3,9,10)的卷积核进行卷积，卷积的跨度为1，共16组卷积核，得到(new_h,new_w,16)的输出，其中new_h＝h-2,new_w＝w-8；d)第三卷积层的参数为(3,9,16,32)，表示对第二卷积层的输出数据(h,w,16)以(3,9,16)的卷积核进行卷积，卷积的跨度为1，共32组卷积核，得到(new_h,new_w,32)的输出，其中new_h＝h-2,new_w＝w-8；e)第四卷积层的参数为(1,4,32,2)，表示对第三卷积层的输出数据(h,w,32)以(1,4,2)的卷积核进行卷积，卷积的跨度为1，共2组卷积核，得到(new_h,new_w,2)的输出，其中new_h＝h,new_w＝w-3。第四卷积层的输出分别为判定为车牌的得分和判定为非车牌的得分，如果判定为车牌的得分大于判定为非车牌的得分，那么该区域可能存在车牌；f)第五卷积层的参数为(1,4,32,4)，表示对第三卷积层的输出数据(h,w,32)以(1,4,4)的卷积核进行卷积，卷积的跨度为1，共4组卷积核，得到(new_h,new_w,4)的输出，其中new_h＝h,new_w＝w-3。第五卷积层的输出是车牌区域相对于当前位置的偏差，分别代表(dx,dy,dw,dh)，即中心坐标x、y的偏差和宽高w、h的偏差；g)非极大值抑制处理单元将第四卷积层的输出数据中判定为车牌的得分大于判定为非车牌的得分，且判定为车牌的得分大于阈值Th_0的区域筛选出来，并根据第五卷积层的输出数据中的(dx,dy,dw,dh)，对于车牌区域位置进行校正，最后比较这些区域是否重叠，如果重叠面积大于阈值Th_1，保留其中得分最高的区域；所述的一种基于深度学习的自然场景中车牌检测系统，训练第一深度网络单元时，图像统一缩放到(12,48,3)的大小，经过卷积层和最大池化层的大小分别为(10,40,10)->(5,20,10)->(3,12,16)->(1,4,32)->(1,1,2)和(1,1,4)根据预设的最大车牌高度和最小车牌高度，对自然场景图像进行缩放，并对缩放后的图像序列都进入第一深度网络单元进行处理，从而得到各个尺度下不同搜索框生成的初筛图像，并将通过初筛的图像统一缩放到(24,96,3)的大小。所述的一种基于深度学习的自然场景中车牌检测系统，所述第二深度网络单元的结构包括a)第一卷积层的参数为(3,9,3,28)，表示对初筛并统一缩放后的图像(24,96,3)以(3,9,3)的卷积核进行卷积，卷积的跨度为1，共28组卷积核，得到(22,88,28)的输出；b)第一最大池化层以(3,3)的核对第一卷积层的输出数据(22,88,28)进行池化，池化的跨度为2，得到(11,44,28)的输出；c)第二卷积层的参数为(3,9,28,48)，表示对第一最大池化层的输出数据(11,44,28)以(3,9,28)的卷积核进行卷积，卷积的跨度为1，共48组卷积核，得到(9,36,48)的输出；d)第二最大池化层以(3,3)的核对第二卷积层的输出数据(9,36,48)进行池化，池化的跨度为2，得到(4,17,48)的输出；e)第三卷积层的参数为(2,6,48,64)，表示对第二最大池化层的输出数据(4,17,48)以(2,6,48)的卷积核进行卷积，卷积的跨度为1，共64组卷积核，得到(3,12,64)的输出；f)第一全连接层的参数为(2304,128)，将第三卷积层的输出展开为维度为2304的一维向量(3*12*64)，向量和矩阵乘得到(128)的一维向量；。g)第二全连接层的参数为(128,2)，和第一全连接层的输出向量进行矩阵乘法，得到(2)的一维向量，表示判定为车牌的得分和判定为非车牌的得分，如果判定为车牌的得分大于判定为非车牌的得分，那么该区域可能存在车牌；h)第二全连接层的参数为(128,4)，和第一全连接层的输出向量进行矩阵乘法，得到(4)的一维向量，表示车牌区域相对于当前位置的偏差，分别代表(dx,dy,dw,dh)；将判定为车牌的得分大于阈值Th_3的区域筛选出来，并根据计算得到的位置偏差校正车牌区域。本专利技术通过第一个网络对自然场景进行初筛，得到疑似车牌区域，通过第二个网络对疑似车牌区域进行判断类别和位置回归，准确判断车牌和定位其位置信息。通过双网络结合的方式，兼顾了性能和准确率。附图说明图1为专利技术示意图。...

【技术保护点】
1.一种基于深度学习的自然场景中车牌检测系统，其特征在于，它包括：输入单元，用于自然场景图像的输入，包括但不限于摄像头采集图像输入、码流解码输入；/n第一深度网络单元，它用于对车牌的初筛，并包括6个卷积层、1个最大池化层、1个非极大值抑制处理单元；/n第二深度网络单元，它用于对车牌的再次筛选，包括3个卷积层、3个全连接层、2个最大池化层；和，/n输出单元，对所有的通过了第一深度网络结构初筛和第二深度网络结构筛选的车牌区域进行对比，如果存在重合且重合区域大于阈值Th_4，那么这些区域合并为一个区域；将经过合并处理后的区域输出，输出的区域即为疑似车牌区域。/n

【技术特征摘要】
1.一种基于深度学习的自然场景中车牌检测系统，其特征在于，它包括：输入单元，用于自然场景图像的输入，包括但不限于摄像头采集图像输入、码流解码输入；
第一深度网络单元，它用于对车牌的初筛，并包括6个卷积层、1个最大池化层、1个非极大值抑制处理单元；
第二深度网络单元，它用于对车牌的再次筛选，包括3个卷积层、3个全连接层、2个最大池化层；和，
输出单元，对所有的通过了第一深度网络结构初筛和第二深度网络结构筛选的车牌区域进行对比，如果存在重合且重合区域大于阈值Th_4，那么这些区域合并为一个区域；将经过合并处理后的区域输出，输出的区域即为疑似车牌区域。


2.根据权利要求1所述的一种基于深度学习的自然场景中车牌检测系统，其特征在于，所述第一深度网络单元的结构包括：
a)第一卷积层的参数为(3,9,3,10)，表示对输入单元的RGB图像(h,w,3)以(3,9,3)的卷积核进行卷积，卷积的跨度为1，共10组卷积核，得到(new_h,new_w,10)的输出，其中new_h＝h-2,new_w＝w-8；
b)第一最大池化层以(2,2)的核对第一卷积层的输出数据(h,w,10)进行池化，池化的跨度为2，得到(new_h,new_w,10)的输出，其中new_h＝h/2，new_w＝w/2，不能整除时向下取整，例如w＝5时，new_w＝2；
c)第二卷积层的参数为(3,9,10,16)，表示对第一最大池化层的输出数据(h,w,10)以(3,9,10)的卷积核进行卷积，卷积的跨度为1，共16组卷积核，得到(new_h,new_w,16)的输出，其中new_h＝h-2,new_w＝w-8；
d)第三卷积层的参数为(3,9,16,32)，表示对第二卷积层的输出数据(h,w,16)以(3,9,16)的卷积核进行卷积，卷积的跨度为1，共32组卷积核，得到(new_h,new_w,32)的输出，其中new_h＝h-2,new_w＝w-8；
e)第四卷积层的参数为(1,4,32,2)，表示对第三卷积层的输出数据(h,w,32)以(1,4,2)的卷积核进行卷积，卷积的跨度为1，共2组卷积核，得到(new_h,new_w,2)的输出，其中new_h＝h,new_w＝w-3。第四卷积层的输出分别为判定为车牌的得分和判定为非车牌的得分，如果判定为车牌的得分大于判定为非车牌的得分，那么该区域可能存在车牌；
f)第五卷积层的参数为(1,4,32,4)，表示对第三卷积层的输出数据(h,w,32)以(1,4,4)的卷积核进行卷积，卷积的跨度为1，共4组卷积核，得到(new_h,new_w,4)的输出，其中new_h＝h,new_w＝w-3。第五卷积层的输出是车牌区域相对于当前位置的偏差，分别代表(dx,dy,dw,dh)，即中心坐标x、y的偏差和宽高w、h的偏差；
g)非极大值抑制处理单元将第四卷积层的...

【专利技术属性】
技术研发人员：付腾桂，杨银环，柳庆祥，华建刚，
申请(专利权)人：上海集光安防科技股份有限公司，
类型：发明
国别省市：上海;31