一种基于深度学习的夜视场景下车牌检测与识别方法技术

本发明专利技术提供了一种基于深度学习的夜视场景下车牌检测与识别方法，采用夜视增强网络对夜间车牌进行增强后，采用车牌检测网络和车牌识别网络对增强后的车牌进行识别。应用本技术方案可实现只需要三个阶段就可以完成对车牌的检测与识别，有效的降低了因夜间极为恶劣的光照条件导致的识别错误，提高对字符识别的准确度，且可以在保证网络精确度的情况下同时获得较低的网络参数量和计算量。得较低的网络参数量和计算量。得较低的网络参数量和计算量。

【技术实现步骤摘要】
一种基于深度学习的夜视场景下车牌检测与识别方法


[0001]本专利技术涉及机器视觉
，特别是一种基于深度学习的夜视场景下车牌检测与识别方法。

技术介绍

[0002]随着经济飞速发展，逐年增多的汽车加剧了城市交通管理的压力，因此车牌检测与识别技术在交通管理中发挥着至关重要的作用，从交通违章到事故监控，从无人收费停车场到24小时小区安防，自动检测和识别车牌的技术广泛应用于我们生活中的方方面面。
[0003]但是，在车辆图像获取过程中，由于光照不足、曝光时间有限等复杂的外界环境条件以及拍摄设备的影响，获取的车辆图像质量往往不尽人意，这极大地影响了车牌定位的准确度，并为后续车牌上的字符识别带来了极大挑战。例如，在暗光环境下拍摄的车辆图像，通常存在可见度低、对比度低、色彩退化等问题，导致大量车牌细节信息损失，从而影响了字符识别的准确度。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于深度学习的夜视场景下车牌检测与识别方法，只需要三个阶段就可以完成对车牌的检测与识别，有效的降低了因夜间极为恶劣的光照条件导致的识别错误，提高对字符识别的准确度，且可以在保证网络精确度的情况下同时获得较低的网络参数量和计算量。
[0005]为实现上述目的，本专利技术采用如下技术方案：一种基于深度学习的夜视场景下车牌检测与识别方法，采用夜视增强网络对夜间车牌进行增强后，采用车牌检测网络和车牌识别网络对增强后的车牌进行识别，包括以下步骤；
[0006]步骤S1：获取带有不同曝光程度的图片，作为训练所需的数据集D1；
[0007]步骤S2：构建用于增强夜间车牌图像的深度神经网络；
[0008]步骤S3：将一张夜间拍摄的车辆图像P1输入到步骤S2构造的网络中，得到增强后的夜间车辆图像P2；
[0009]步骤S4：获取带有车牌以及车牌标签的图片，作为训练所需的原始数据集D2；
[0010]步骤S5：对原始数据集D2进行处理，得到用于训练检测车牌的模型的数据集A，以及用于训练车牌识别的模型的数据集B；
[0011]步骤S6：构建用于检测车牌的深度神经网络；
[0012]步骤S7：将增强后的夜间车辆图像P2输入到步骤S6构造的用于检测车牌的深度神经网络中，得到车牌检测区域P3以及车牌的四个角点；
[0013]步骤S8：将得到的车牌检测区域P3根据车牌的角点做透视变换得到矫正后的车牌图像P4；
[0014]步骤S9：构建用于识别车牌的深度神经网络；
[0015]步骤S10：将矫正后的车牌图像P4输入到步骤S9构造的网络中，得到检测到的车牌
所对应的车牌号码。
[0016]在一较佳的实施例中：步骤S2构建用于增强夜间车牌图像的深度神经网络，具体包括以下步骤：
[0017]步骤S21：构建增强夜间车牌图像的深度神经网络，该深度神经网络由渐进迭代增强曲线Y
n
(x)、夜视增强网络Dark2Light
‑
Net及非参考损失函数三部分构成；
[0018]步骤S22：构建增强夜间车牌图像的深度神经网络的损失函数，使用综合损失函数L1＝L
spa
+L
bri
+W
rgb
L
rgb
+W
tvA
L
tvA
，评估增强图像的质量：
[0019]L
spa
为空间一致性损失函数，计算公式如下所示：
[0020][0021]其中K是局部区域的数量，Ω(i)是以(i，j)为中心的四个相邻的区域即上、下、左和右，Y
i
表示增强图像的区域中心的平均强度值，Y
j
表示增强图像的相邻区域的平均强度值；I
i
表示输入图像的区域中心的平均强度值，I
j
表示输入图像的相邻区域的平均强度值；
[0022]L
bri
表示控制曝光损失函数，计算公式如下所示：
[0023][0024]其中A是大小为16*16非重叠局部区域的个数，i是局部区域的数量，曝光值E设置为0.6；
[0025]L
rgb
表示保持颜色不失真损失函数，W
rgb
为其损失函数的权重，L
rgb
计算公式如下所示：
[0026][0027]其中Y
m
为增强图像中m通道的平均强度值，Y
n
为增强图像中n通道的平均强度值，(m，n)代表一对通道，属于R通道、G通道及B通道,ε设置为10
‑
6；
[0028]L
tvA
表示光照平滑损失，W
tvA
为其损失函数的权重，L
tvA
计算公式如下所示：
[0029][0030]其中N为总迭代次数，分别表示水平和垂直方向的梯度操作，表示与输入图像I(x)维度一致的第n次迭代得到的参数映射矩阵，c表示矩阵是R通道、G通道及B通道其中一个通道，ξ为R通道、G通道及B通道的集合。
[0031]在一较佳的实施例中：所述步骤S21中，在增强夜间车牌图像的深度神经网络中，渐进迭代增强曲线Y
n
(x)，计算公式如下所示：
[0032]Y
n
(x)＝Y
n
‑1(x)+r
n
(Y
n
‑1(x)2‑
Y
n
‑1(x))
[0033]其中x为输入图像，Y
n
(x)为增强后的图像，Y
n
‑1(x)为上一次迭代增强后的图像，n为迭代次数，设置n为8，r
n
为与输入图像x维度一致的参数映射矩阵；
[0034]夜视增强网络Dark2Light
‑
Net由七个对称级联的卷积层组成，前六层均使用32个3*3的卷积核进行卷积，最后一层调整为24个3*3大小的卷积核，卷积后接大小为2*2的最大池化层，输出分别对应图像的R/G/B三个通道，生成的24个曲线参数矩阵用于光照平滑损失函数及渐进迭代增强曲线Y
n
(x)的计算。
[0035]在一较佳的实施例中：步骤S1所使用的训练数据集为S ICE数据集；步骤S4所使用的原始数据集D2为CCPD车牌数据集。
[0036]在一较佳的实施例中：步骤S5通过CCPD数据集中车牌角点的标注，通过透视变换对车牌进行矫正，矫正后得到的车牌图像数据集B用于训练车牌识别网络，原始CCPD数据集A用于训练车牌检测网络。
[0037]在一较佳的实施例中：步骤S6构建用于检测车牌的深度神经网络，具体包括以下步骤：
[0038]步骤S61：构建检测车牌的深度神经网络，该神经网络由骨干网络、特征金字塔网络FPN、感受野模块RFB、注意力机制模块、检测头五部分构成；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的夜视场景下车牌检测与识别方法，其特征在于，采用夜视增强网络对夜间车牌进行增强后，采用车牌检测网络和车牌识别网络对增强后的车牌进行识别，包括以下步骤；步骤S1：获取带有不同曝光程度的图片，作为训练所需的数据集D1；步骤S2：构建用于增强夜间车牌图像的深度神经网络；步骤S3：将一张夜间拍摄的车辆图像P1输入到步骤S2构造的网络中，得到增强后的夜间车辆图像P2；步骤S4：获取带有车牌以及车牌标签的图片，作为训练所需的原始数据集D2；步骤S5：对原始数据集D2进行处理，得到用于训练检测车牌的模型的数据集A，以及用于训练车牌识别的模型的数据集B；步骤S6：构建用于检测车牌的深度神经网络；步骤S7：将增强后的夜间车辆图像P2输入到步骤S6构造的用于检测车牌的深度神经网络中，得到车牌检测区域P3以及车牌的四个角点；步骤S8：将得到的车牌检测区域P3根据车牌的角点做透视变换得到矫正后的车牌图像P4；步骤S9：构建用于识别车牌的深度神经网络；步骤S10：将矫正后的车牌图像P4输入到步骤S9构造的网络中，得到检测到的车牌所对应的车牌号码。2.根据权利要求1所述的一种基于深度学习的夜视场景下车牌检测与识别方法，其特征在于，步骤S2构建用于增强夜间车牌图像的深度神经网络，具体包括以下步骤：步骤S21：构建增强夜间车牌图像的深度神经网络，该深度神经网络由渐进迭代增强曲线Y
n
(x)、夜视增强网络Dark2Light
‑
Net及非参考损失函数三部分构成；步骤S22：构建增强夜间车牌图像的深度神经网络的损失函数，使用综合损失函数L1＝L
spa
+L
bri
+W
rgb
L
rgb
+W
tvA
L
tvA
，评估增强图像的质量：L
spa
为空间一致性损失函数，计算公式如下所示：其中K是局部区域的数量，Ω(i)是以(i，j)为中心的四个相邻的区域即上、下、左和右，Y
i
表示增强图像的区域中心的平均强度值，Y
j
表示增强图像的相邻区域的平均强度值；I
i
表示输入图像的区域中心的平均强度值，I
j
表示输入图像的相邻区域的平均强度值；L
bri
表示控制曝光损失函数，计算公式如下所示：其中A是大小为16*16非重叠局部区域的个数，i是局部区域的数量，曝光值E设置为0.6；L
rgb
表示保持颜色不失真损失函数，W
rgb
为其损失函数的权重，L
rgb
计算公式如下所示：
其中Y
m
为增强图像中m通道的平均强度值，Y
n
为增强图像中n通道的平均强度值，(m，n)代表一对通道，属于R通道、G通道及B通道,ε设置为10
‑
6；L
tvA
表示光照平滑损失，W
tvA
为其损失函数的权重，L
tvA
计算公式如下所示：其中N为总迭代次数，分别表示水平和垂直方向的梯度操作，表示与输入图像I(x)维度一致的第n次迭代得到的参数映射矩阵，c表示矩阵是R通道、G通道及B通道其中一个通道，ξ为R通道、G通道及B通道的集合。3.根据权利要求2所述的一种基于深度学习的夜视场景下车牌检测与识别方法，其特征在于，所述步骤S21中，在增强夜间车牌图像的深度神经网络中，渐进迭代增强曲线Y
n
(x)，计算公式如下所示：Y
n
(x)＝Y
n
‑1(x)+r
n
(Y
n
‑1(x)2‑
Y
n
‑1(x))其中x为输入图像，Y
n
(x)为增强后的图像，n为迭代次数，设置n为8，Y
n
‑1(x)为上一次迭代增强后的图像，r
n
为与输入图像x维度一致的参数映射矩阵；夜视增强网络Dark2Light
‑
Net由七个对称级联的卷积层组成，前六层均使用32个3*3的卷积核进行卷积，最后一层调整为24个3*3大小的卷积核，卷积后接大小为2*2的最大池化层，输出分别对应图像的R/G/B三个通道，生成的24个曲线参数矩阵用于光照平滑损失函数及渐进迭代增强曲线Y
n
(x)的计算。4.根据权利要求1所述的一种基于深度学习的夜视场景下车牌检测与识别方法，其特征在于：步骤S1所使用的训练数据集为SICE数据集；步骤S4所使用的原始数据集D2为CCPD车牌数据集。5.根据权利要求1所述的一种基于深度学习的夜视场景下车牌检测与识别方法，其特征在于：步骤S5通过CCPD数据集中车牌角点的标注，通过透视变换对车牌进行矫正，矫正后得到的车牌图像数据集B用于训练车牌识别网络，原始CCPD数据集A用于训练车牌检测网络。6.根据权利要求1所述的一种基于深度学习的夜视场景下车牌检测与识别方法，其特征在于：步骤S6构建用于检测车牌的深度神经网络，具体包括以下步骤：步骤S61：构建检测车牌的深度神经网络，该神经网络由骨干网络、特征金字塔网络FPN、感受野模块RFB、注意力机制模块、检测头五部分构成；步骤S62：构建车牌检测网络的损失函数,使用车牌损失函数步骤S62：构建车牌检测网络的损失函数,使用车牌损失函数进行联合优化：其中为车牌的分类损失函数，
x
i
表示第i个锚点可能是车牌的概率，表示第i个锚点为参考真实框时值为1，为背景时值为0；表示车牌框的相对偏移损失函数，其中S表示smooth
‑
L1损失函数，p
i
＝{p
x
，p
y
，p
w
，p
h
}
i
表示第i个锚点对车牌框坐标的预测值和表示与之匹配的该锚点车牌框坐标的真实值；表示车牌角点的相对偏移损失函数，车牌角点的损失函数仍然使用smooth

【专利技术属性】
技术研发人员：吴林煌，王凯欣，陈业旺，温仁芳，
申请(专利权)人：福州大学，
类型：发明
国别省市：