基于改进CenterNet网络的车牌检测方法及装置制造方法及图纸

本发明专利技术提供了基于改进CenterNet网络的车牌检测方法，该方法包括：输入或者采集视频图像；对视频图像进行车辆检测，获取车辆检测区域；对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出。与现有技术相比，本发明专利技术能快速地进行车牌检测，且检测准确率高。测准确率高。测准确率高。

【技术实现步骤摘要】
基于改进CenterNet网络的车牌检测方法及装置


[0001]本专利技术涉及图像处理、智慧停车、车牌识别，特别涉及基于改进CenterNet网络的车牌检测方法及装置。

技术介绍

[0002]车牌区域随着城市的日益现代化，机动车的保有量持续增加，智能交通系统发挥着越来越重要的作用。不论是当今各种交通场合，还是公共安全管理系统，抑或未来无人汽车、无人驾驶领域，车牌检测系统都是一个不可或缺的过程，给城市健康有序管理带来了诸多便捷。
[0003]现有的车牌检测方法主要包括：(1)基于传统方案的车牌检测方法，例如基于梯度的车牌检测方法、基于颜色空间的车牌检测方法，这类方法检测速度快，但存在车牌误检过多、车牌位置检测不准确，对污损车牌、遮挡车牌检测效果较差等问题；(2)基于深度学习网络的车牌检测方法，这类方法检测准确率高，但为了解决不同国家或地区的车牌样式差异过大的问题，需要去匹配不同样式的车牌，而且往往需要较大的计算量和结构设计去适配车牌的各个尺寸，因此计算量极大，且存在较多的无效区域，从而浪费运算资源。
[0004]综上所述，目前迫切需要提出一种减少计算量、节省运算资源的基于改进CenterNet网络的车牌检测方法。

技术实现思路

[0005]有鉴于此，本专利技术的主要目的在于快速实现车牌检测，且检测准确率较高。
[0006]为达到上述目的，按照本专利技术的第一个方面，提供了基于改进CenterNet网络的车牌检测方法，该方法包括：
[0007]第一步骤，输入或者采集视频图像；
[0008]第二步骤，对视频图像进行车辆检测，获取车辆检测区域；
[0009]第三步骤，对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；
[0010]第四步骤，基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；
[0011]第五步骤，将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出。
[0012]其中，所述第三步骤中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32(像素)的k倍，k表示缩放倍数。
[0013]进一步地，所述第四步骤包括：
[0014]CenterNet网络结构改进步骤，输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测
特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；
[0015]改进CenterNet网络训练和识别步骤，当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αL
HM
+βL
REG
+γL
HW
+ηL
PTS
+λL
Angle
，获得车牌检测网络，其中L
HM
、L
REG
、L
HW
、L
PTS
、L
Angle
分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为L
HM
、L
REG
、L
HW
、L
PTS
、L
Angle
对应的权重；
[0016]车牌检测信息输出步骤，当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度。
[0017]进一步地，所述CenterNet网络结构改进步骤中可以使用参考论文中描述的方法，将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θ
x
＝arctan[(Δy
3-Δy4)/(Δx
3-Δx4)]，计算车牌区域垂直倾斜角度θ
y
＝arctan[(Δx
1-Δx4)/(Δy
1-Δy4)]；将参考论文中的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框。其中，所述车牌区域尺寸包括车牌区域的宽度和高度。
[0018]进一步地，所述轻量级骨干网络包括以下的一种：mobilenet系列(例如V1-V3)、shufflenet系列(例如V1-V2)、squeezenet。示例性地，选择mobilenet V2作为CenterNet框架下的主干网络。
[0019]进一步地，改进CenterNet网络训练和识别步骤中车牌矩形框宽高损失L
HW
是将参考论文中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高。
[0020]进一步地，所述车牌矩形框宽高损失L
HW
采用公式计算得到，其中其中N为图像中车牌区域的个数，b
i
、b
igt
分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρ
i2
表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dc
i2
为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,w
igt
、h
igt
、w
i
、h
i
分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，B
i
、B
igt
分别为第i个车牌区域的预测矩形框和真实矩形框。
[0021]所述车牌角点相对于车牌矩形框中心点偏移损失L
PTS
采用公式
计算得到，其中p
ijx
、p
ijy
分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，c
ix
、c
iy
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进CenterNet网络的车牌检测方法，其特征在于，该方法包括：第一步骤，输入或者采集视频图像；第二步骤，对视频图像进行车辆检测，获取车辆检测区域；第三步骤，对车辆检测区域进行外扩，外扩为正方形；将正方形的车辆检测区域宽度和高度缩放为固定尺度的车辆检测区域；第四步骤，基于改进的CenterNet网络，输入车牌样本图像，对改进的CenterNet网络进行训练，获取车牌检测网络；将固定尺度的车辆检测区域输入到车牌检测网络中，获取车牌检测信息并输出；第五步骤，将车牌检测信息映射回视频图像中，获取视频图像中的车牌区域并输出；其中，所述第三步骤中对车辆检测区域进行外扩是将车辆检测区域外扩成宽度和高度相同的正方形，外扩的部分以0填充；所述固定尺度为32(像素)的k倍，k表示缩放倍数。2.如权利要求1所述的方法，其特征在于，所述第四步骤包括：CenterNet网络结构改进步骤，输入图像，采用轻量级骨干网络作为CenterNet框架下的主干网络；在特征金字塔FPN和检测头间增加一个单阶段无头检测模块，获取待检测特征图；对待检测特征图进行卷积操作，计算图像的热力图，通过寻找热力图的峰值得到输入图像中各车牌区域的中心点，并通过回归计算得到图像中车牌区域尺寸、车牌区域角点、车牌区域垂直倾斜角度和水平倾斜角度，根据车牌区域中心点和车牌区域尺寸确定车牌区域检测框；改进CenterNet网络训练和识别步骤，当输入车牌样本图像时，对改进CenterNet网络进行训练，获取车牌检测网络；当输入固定尺度的车辆检测区域时，对改进CenterNet网络进行识别，获取车牌检测信息；其中网络总损失函数采用Loss＝αL
HM
+βL
REG
+γL
HW
+ηL
PTS
+λL
Angle
，获得车牌检测网络，其中L
HM
、L
REG
、L
HW
、L
PTS
、L
Angle
分别为车牌矩形框中心点损失、车牌矩形框中心点偏移损失、车牌矩形框宽高损失、车牌角点相对于车牌矩形框中心点偏移损失、车牌矩形框倾斜角度损失，α、β、γ、η、λ分别为L
HM
、L
REG
、L
HW
、L
PTS
、L
Angle
对应的权重；车牌检测信息输出步骤，当输入固定尺度的车辆检测区域时，输出车牌检测信息，即车牌区域中心点、宽度和高度、车牌的4个角点、车牌垂直倾斜角度和水平倾斜角度；其中，CenterNet网络为参考论文“Objects as Points,Zhou,Xingyi，Wang,Dequan，Krhenb
ü
hl,Philipp,Computer Vision and Pattern Recognition 2019”中提出的一种深度学习网络。3.如权利要求2所述的方法，其特征在于，所述CenterNet网络结构改进步骤中将车牌区域作为目标，计算图像的热力图，获得车牌区域的中心点C(x,y)，获取车牌区域中心点4个横坐标偏移值Δx1、Δx2、Δx3、Δx4，获取车牌区域中心点4个纵坐标偏移值Δy1、Δy2、Δy3、Δy4，获取车牌区域中心点的4个角点P1(x+Δx1,y+Δy1)、P2(x+Δx2,y+Δy2)、P3(x+Δx3,y+Δy3)、P4(x+Δx4,y+Δy4)；计算车牌区域水平倾斜角度θ
x
＝arctan[(Δy
3-Δy4)/(Δx
3-Δx4)]，计算车牌区域垂直倾斜角度θ
y
＝arctan[(Δx
1-Δx4)/(Δy
1-Δy4)]；将CenterNet网络中的损失函数由L1loss换成CIOUloss，获得车牌区域尺寸；根据车牌区域的中心点C(x,y)和车牌区域尺寸，确定车牌区域检测框；其中，所述车牌区域尺寸包括车牌区域的宽度和高度。4.如权利要求2所述的方法，其特征在于，所述轻量级骨干网络包括以下的一种：
mobilenet系列(例如V1-V3)、shufflenet系列(例如V1-V2)、squeezenet。示例性地，选择mobilenet V2作为CenterNet框架下的主干网络。5.如权利要求2所述的方法，其特征在于，所述改进CenterNet网络训练和识别步骤中车牌矩形框中心点损失L
HM
和车牌矩形框中心点偏移损失L
REG
通过参考论文中描述的方法获得；车牌矩形框宽高损失L
HW
是将参考论文中宽高回归所用的损失改为CIOU损失，计算车牌矩形框宽高；进一步地，所述车牌矩形框宽高损失L
HW
采用公式计算得到，其中其中N为图像中车牌区域的个数，b
i
、b
igt
分别为第i个车牌区域矩形框中心点和车牌区域预测矩形框中心点，ρ
i2
表示第i个车牌区域与预测车牌区域中心点的欧氏距离，dc
i2
为第i个车牌区域的预测框与车牌区域框最小外接矩形对角线距离,w
igt
、h
igt
、w
i
、h
i
分别为第i个车牌区域的矩形框真实宽度、矩形框真实高度和矩形框预测的宽度、矩形框预测的高度，B
i
、B
igt
分别为第i个车牌区域的预测矩形框和真实矩形框；所述车牌角点相对于车牌矩形框中心点偏移损失L
PT
采用公式计算得到，其中p
ijx
、p
ijy
分别为真实的第i个车牌区域对应的第j个角点的横坐标、纵坐标，c
ix
、c
iy
分别为真实的第i个车牌区域中心点的横坐标、纵坐标，分别为预测的第i个车牌区域对应的第j个角点的横坐标、纵坐标，分别为预测的第i个车牌区域中心点的横坐标、纵坐标，N为图像中车牌区域的个数；所述车牌矩形框倾斜角度损失L
Angle
采用公式计算得到，其中θ
ix
、θ
iy
分别为真实的第i个车牌区域的水平倾斜角度和垂直倾斜角度，分别为预测的第i个车牌区域的水平倾斜角度和垂直倾斜角度。6.如权利要求2所述的方法，其特征在于，所述权重α、β、γ、η、λ取值范围为0～10。7.如权利要求1所述的方法，其特征在于，所述第五步骤包括：对于第i个车牌区域，将车牌区域中心点坐标C
i
(x,y)乘以下采样率r，以获得视频图像中对应的车牌区域的中心点坐标C
′
i
(x
×
r,y
×
r)；将车牌区域宽度W
i
和高度H
i
乘以下采样率r，以获得视频图像中对应的车牌区域的宽度W
i
′
＝r
×
W
i
和高度H
′
i
＝r
×
H
i
；分别将将车牌区域的4个角点坐标p
i1
(x,y)、p
i2
(x,y)、p
i3
(x,y)、p
i4
(x,y)，乘以下采样率r，以获得视频图像中对应的车牌区域的4个角点坐标p
′
i1
(x
×
r,y
×
r)、p
′
i2
(x
×
r,y
×
r)、p
′
i3
(x
×
r,y
×
r)、p
′
i4
(x
×
r,y
×
r)；将车牌垂直倾斜角度θ
iy
和水平倾斜角度θ
ix
作为视频图像中对应的车牌区域的垂直倾斜角度θ
′
iy
和水平倾斜角度θ
′
ix
，即θ
′
iy
＝θ
iy
，θ
′
ix
＝θ
ix
；根据视频图像中第i个车牌区域的中心点坐标C
′
i
(x
×
r,y
×
r)、车牌区域宽度W
i
′
和高度H
i
′
、车牌区域的垂直倾斜角度θ
′
iy
和水平倾斜角度θ
′
ix
、以及4个角点坐标p
′
i1
(x
×
r,y
×
r)、p
′
i2
(x
×
r,y
×
r)、p
′
i3
(x
×
r,y
×
r)、p
′
i4
(x
×
r,y
×
r)，获取...

【专利技术属性】
技术研发人员：李文杰，班华忠，王正，崔凯，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：