【技术实现步骤摘要】
一种端到端的车牌识别方法及装置
本专利技术涉及图像处理、智慧停车、车牌识别，特别涉及一种端到端的车牌识别方法及装置。
技术介绍
目标随着城市的日益现代化，机动车的保有量持续增加，智能交通系统发挥着越来越重要的作用。不论是当今各种交通场合，还是公共安全管理系统，抑或未来无人汽车、无人驾驶领域，车牌识别都是一个不可或缺的过程，给城市健康有序管理带来了诸多便捷。现有的车牌检测方法主要包括：(1)基于传统的非深度学习的车牌识别方法，该方法包括车牌定位、车牌分割和车牌字符识别等流程，引入了大量的先验信息和规则，对极端场景或者新的车牌类型则需要大量的改进和调优，增加了开发的难度；(2)基于深度学习的车牌识别方法，该方法主要包括基于深度学习的车牌定位、车牌矫正和基于深度车牌字符识别等流程，能够获得较高的识别率，但由于把车牌定位和车牌字符识别分开处理，在特征计算上带来了冗余，在优化角度上来讲也不是最优。综上所述，目前迫切需要提出一种减少计算量、节省运算资源的一种端到端的车牌识别方法。
技术实现思路
有鉴于...
【技术保护点】
1.一种端到端的车牌识别方法，其特征在于，该方法包括：/n第一步骤，输入图像，采用主干网络，从图像中提取最后一层的特征图作为输入特征图；针对输入特征图，分别添加预测车牌中心点热力图的卷积层、预测车牌中心点偏置损失的卷积层、预测车牌矩形顶点热力图的卷积层、预测车牌矩形顶点偏置损失的卷积层，以获取特征图中车牌中心点位置和车牌顶点坐标；/n第二步骤，根据输入特征图中车牌顶点坐标，对特征图进行贝塞尔车牌对齐处理，获得输出特征图；/n第三步骤，针对输出特征图，添加车牌字符识别网络层，在训练阶段，对输出特征图进行训练，在预测阶段，对输出特征图进行车牌字符识别，输出车牌字符识别结果；/n...
【技术特征摘要】
1.一种端到端的车牌识别方法，其特征在于，该方法包括：
第一步骤，输入图像，采用主干网络，从图像中提取最后一层的特征图作为输入特征图；针对输入特征图，分别添加预测车牌中心点热力图的卷积层、预测车牌中心点偏置损失的卷积层、预测车牌矩形顶点热力图的卷积层、预测车牌矩形顶点偏置损失的卷积层，以获取特征图中车牌中心点位置和车牌顶点坐标；
第二步骤，根据输入特征图中车牌顶点坐标，对特征图进行贝塞尔车牌对齐处理，获得输出特征图；
第三步骤，针对输出特征图，添加车牌字符识别网络层，在训练阶段，对输出特征图进行训练，在预测阶段，对输出特征图进行车牌字符识别，输出车牌字符识别结果；
其中，所述主干网络为DLA网络；
所述预测车牌中心点热力图卷积层用于判断输入特征图中是否有车牌，其网络结构包括：第一层：3*3卷积，步长stride＝1，填充pad＝1，滤波器个数128，激活函数为Relu；第二层：1*1卷积，步长stride＝1，填充pad＝0，滤波器个数1；
所述预测车牌中心点偏置损失卷积层用于修正车牌中心点位置，使位置更准确，其结构包括：第一层：3*3卷积，步长stride＝1，填充pad＝1，滤波器个数128，激活函数为Relu；第二层：1*1卷积，步长stride＝1，填充pad＝0，滤波器个数2；所述预测车牌矩形顶点热力图的卷积层和所述预测车牌矩形顶点偏置损失的卷积层用于输出车牌顶点坐标；
所述预测车牌矩形顶点热力图的卷积层的结构包括：第一层：3*3卷积，步长stride＝1，填充pad＝1，滤波器个数128，激活函数为Relu；第二层：1*1卷积，步长stride＝1，填充pad＝0，滤波器个数n，其中n为预测车牌顶点的个数；
所述预测车牌矩形顶点偏置损失的卷积层的结构包括：第一层：3*3卷积，步长stride＝1，填充pad＝1，滤波器个数128，激活函数为Relu；第二层：1*1卷积，步长stride＝1，填充pad＝0，滤波器个数2。
2.如权利要求1所述的方法，其特征在于，所述第二步骤包括：
输出特征图归一化步骤：对于第n个通道的输入特征图Fin，选取第n个通道的输出特征图Fout上的任意一点P(x,y)，对点P(x,y)的坐标进行归一化处理，获得归一化的坐标点(u,v)，其中u＝x/Wout，v＝y/Hout，Wout和Hout表示输出特征图的宽度和高度，n∈[1,N]，N为输入特征图Fin的通道的个数；
贝塞尔曲线计算步骤：对于归一化的坐标点(u,v)，将曲线长度比例t＝u，根据贝塞尔曲线公式，分别获得上边缘点在X坐标轴上的贝塞尔曲线B′x(t)和Y坐标轴上的贝塞尔曲线B′y(t)，获得下边缘点在X坐标轴上的贝塞尔曲线B″x(t)和Y坐标轴上的贝塞尔曲线B″y(t)；
输入特征图映射点获取步骤，根据获取的上边缘点在X坐标轴上的贝塞尔曲线B′x(t)和Y坐标轴上的贝塞尔曲线B′y(t)、下边缘点在X坐标轴上的贝塞尔曲线B″x(t)和Y坐标轴上的贝塞尔曲线B″y(t)，分别根据公式Pc(x)＝B″x(t)*v+B′x(t)*(1-v)和Pc(y)＝B″y(t)*v+B′y(t)*(1-v)，将Pc(x)和Pc(y)作为中心点Pc(x,y)的X和Y坐标；对Pc(x)和Pc(y)分别取整后得到xl和yl，获取中心点Pc(x,y)的四个邻近点Pc,0(xl,yl)、Pc,1(xl+1,yl)、Pc,2(xl,yl+1)、Pc,3(xl+1,yl+1)，将四个邻近点作为第n个通道的输出特征图Fout上的点P(x,y)在第n个通道的输入特征图上的映射点；
输出特征图特征值获取步骤，根据第n个通道的输入特征图Fin的特征值，根据公式fout(P)＝fin(Pc,0)*w0+fin(Pc,1)*w1+fin(Pc,2)*w2+fin(Pc,3)*w3，计算第n个通道的输出特征图Fout的特征值，其中fin(Pc,0)、fin(Pc,1)、fin(Pc,2)、fin(Pc,3)表示第n个通道的输入特征图上的映射点的特征值，w0、w1、w2、w3表示对应映射点Pc,0(xl,yl)、Pc,1(xl+1,yl)、Pc,2(xl,yl+1)、Pc,3(xl+1,yl+1)的权重，w0＝(1-Pc(y)+yl)*(1-Pc(x)+xl)，w1＝(1-Pc(y)+yl)*(Pc(x)-xl)，w2＝(Pc(y)-yl)*(1-Pc(x)+xl)，w3＝(Pc(y)-yl)*(Pc(x)-xl)；
输出特征图输出步骤，输出第n个通道的输入特征图Fin对应的第n个通道的输出特征图Fout。
3.如权利要求2所述的方法，其特征在于，所述贝塞尔曲线计算步骤中如果车牌区域有2个上边缘点和2个下边缘点，采用1阶贝塞尔曲线公式B(t)＝P0(1-t)+P1t；如果车牌区域有3个上边缘点和3个下边缘点，采用2阶贝塞尔曲线公式B(t)＝P0(1-t)2+2P1t(1-t)+P2t2；如果车牌区域有4个上边缘点和4个下边缘点，采用3阶贝塞尔曲线公式B(t)＝P0(1-t)3+3P1t(1-t)2+3P2t2(1-t)+P3t3，t∈[0,1]；其中t表示曲线长度比例，P0、P1、P2、P3表示车牌区域上边缘点或者下边缘点。
4.如权利要求2所述的方法，其特征在于，所述Wout设为24或者32，Hout设为8。
5.如权利要求1所述的方法，其特征在于，所述第三步骤包括：
训练阶段处理步骤，针对输出特征图，添加车牌字符识别网络层，在训练阶段，把线性分类器的输出作为CTC损失的输入，计算CTC损失和总损失；
预测阶段处理步骤，针对输出特征图，添加车牌字符识别网络层，在预测阶段，计算分类器的输出的softmax得到最终的车牌字符预测结果，并输出；
其中，所述车牌字符识别网络层的结构包括：第一层：3*3卷积，步长stride＝1，填充pad＝1，滤波器个数128，激活函数为Relu；第二层：3*3卷积，步长stride＝1，填充pad＝1，滤波器个数256，激活函数为Relu；第三层：3*3卷积，步长stride＝(2,1)，填充pad＝1，滤波器个数256，激活函数为Relu；第四层：(Hout/2)*1卷积，步长stride＝1，填充pad＝0，滤波器个数256，激活函数为Relu；第五次：Permute层，把输入数据转化为宽度方向的1维序列；第六层：输入特征为256，输出为79的线性分类器；
进一步地，所述训练阶段处理步骤中总损失LTotal根据公式LTotal＝γc_hmLc_hm+γc_offLc_off+γp_hmLp_hm+γp_offLp_off+γctcLctc计算得到，其中Lc_hm为车牌中心点热力图损失，Lc_off为车牌中心点偏置损失，Lp_hm为车牌矩形顶点热力图损失，Lp_off为车牌矩形顶点偏置损失，Lctc为车牌字符识别CTC损失，γc_hm、γc_off、γp_hm、γp_off、γctc分别为Lc_hm、Lc_off、Lp_hm、Lp_off、Lctc对应的权重。
6.如权利要求5所述的方法，其特征在于，所述权重γc_hm的取值范围为1～10，所述权重γc_off的取值范围为1～10，所述权重γp_h...
【专利技术属性】
技术研发人员：班华忠，王正，崔凯，其他发明人请求不公开姓名，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。