一种单双行车牌识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了一种单双行车牌识别方法、装置、计算机设备及存储介质，涉及车牌识别技术领域。所述方法是在获取样本训练集后，将样本训练集中的各个图像样本及对应的车牌号序列信息输入预设的且能够进行车牌号序列建模和车牌号字符定位建模的单双行车牌识别模型，以便进行模型训练，然后将待识别的单行车牌图像或双行车牌图像输入已完成训练的单双行车牌识别模型，以便经过车牌号序列建模单元输出得到对应的且各个车牌号字符在车牌号序列中各个字符位置上的出现概率预测值，最后根据输出数据得到车牌号序列，如此可无需对输入的待识别车牌图像进行单双行车牌分类，进而可直接进行车牌识别并输出识别结果，大大简化识别过程，降低计算资源需求。降低计算资源需求。降低计算资源需求。

【技术实现步骤摘要】
一种单双行车牌识别方法、装置、计算机设备及存储介质


[0001]本专利技术属于车牌识别
，具体涉及一种单双行车牌识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]车牌识别在高速收费卡口、停车场卡口、车辆追踪和交通监管等场景中都有着广泛的应用。传统的车牌识别方案，要么只能针对单行车牌或双行车牌进行单独识别，要么就需要先对车牌图像进行分类，若为双行车牌图像，则需进一步进行分割及再合并处理或者是在该双行车牌图像上确定上下层分割线的位置，然后再进行车牌识别，进而使得识别过程比较复杂，需要占用较多的计算资源。

技术实现思路

[0003]本专利技术的目的是提供一种单双行车牌识别方法、装置、计算机设备及计算机可读存储介质，用以解决现有车牌识别方案在识别双行车牌时所存在过程复杂和所需计算资源较多的问题。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]第一方面，提供了一种单双行车牌识别方法，包括：
[0006]获取样本训练集，其中，所述样本训练集中的多个图像样本包括有单行车牌图像和双行车牌图像，所述多个图像样本中的各个图像样本标注有对应的车牌号序列信息，所述车牌号序列信息包含有按照车牌号序列顺序依次排列的多条字符坐标数据，所述字符坐标数据包含有对应字符的数字化唯一标识以及对应字符在所处车牌图像上的且经过归一化处理的横坐标、纵坐标、宽度和高度；
[0007]将所述各个图像样本及对应的所述车牌号序列信息输入预设的单双行车牌识别模型，以便对所述单双行车牌识别模型进行训练，其中，所述单双行车牌识别模型包括有图像特征提取单元、空间金字塔池化单元、车牌号序列建模单元、车牌号字符定位建模单元和损失函数计算单元；
[0008]所述图像特征提取单元，用于从所述图像样本中提取出维度为K
×
M
×
N的图像特征矩阵，并将所述图像特征矩阵送入所述空间金字塔池化单元,其中，K表示2、3和6的第一公倍数，M表示2、3和6的第二公倍数且大于所述第一公倍数，N表示大于所述第二公倍数的正整数；
[0009]所述空间金字塔池化单元，用于对所述图像特征矩阵分别做2
×
2、3
×
3和6
×
6的最大池化处理，得到维度分别为和的三个特征矩阵，然后对所述三个特征矩阵进行如下方式(A)和(B)的处理:
[0010](A)将所述三个特征矩阵中的各个特征矩阵的前两个维度变为一维，得到维度分
别为和的三个第一新特征矩阵，然后拼接所述三个第一新特征矩阵，得到维度为的一个第二新特征矩阵，再然后对所述第二新特征矩阵做的平均池化处理，得到维度为Len
×
N的一个第三新特征矩阵，最后将所述第三新特征矩阵输入所述车牌号序列建模单元，其中，Len表示车牌号序列长度；
[0011](B)对所述三个特征矩阵中的且维度分别为和的两个特征矩阵分别做1
×
2和2
×
4的填充处理，得到维度均为的两个第四新特征矩阵，然后对所述两个第四新特征矩阵和所述三个特征矩阵中的且维度为的特征矩阵进行拼接，得到维度为的一个第五新特征矩阵，再然后对所述第五新特征矩阵做1
×1×
(3
×
(4+1))的卷积处理，得到维度为的第六新特征矩阵，最后将所述第六新特征矩阵输入所述车牌号字符定位建模单元；
[0012]所述车牌号序列建模单元，用于根据所述第三新特征矩阵，对车牌号序列进行建模，输出得到各个车牌号字符在车牌号序列中各个字符位置上的出现概率预测值；
[0013]所述车牌号字符定位建模单元，用于根据所述第六新特征矩阵，对车牌号字符位置进行建模，输出得到各个字符格子预测框的横坐标预测值、纵坐标预测值、宽度预测值、高度预测值和置信度预测值；
[0014]所述损失函数计算单元，用于根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据，计算得到损失函数值；
[0015]将待识别的单行车牌图像或双行车牌图像输入已完成训练的所述单双行车牌识别模型，以便经过所述车牌号序列建模单元输出得到对应的输出数据；
[0016]针对所述待识别的单行车牌图像或双行车牌图像，根据对应的输出数据，确定对应的且在所述各个字符位置上的车牌号字符，得到对应的车牌号序列。
[0017]基于上述
技术实现思路
，提供了一种只需要看一次就可以进行单双行车牌识别的新方案，即在获取样本训练集后，将所述样本训练集中的各个图像样本及对应的车牌号序列信息输入预设的且能够进行车牌号序列建模和车牌号字符定位建模的单双行车牌识别模型，以便进行模型训练，然后将待识别的单行车牌图像或双行车牌图像输入已完成训练的所述单双行车牌识别模型，以便经过车牌号序列建模单元输出得到对应的且各个车牌号字符在车牌号序列中各个字符位置上的出现概率预测值，最后根据输出数据得到车牌号序列，如此可无需对输入的待识别车牌图像进行单双行车牌分类，进而可直接进行车牌识别并输出识别结果，大大简化了识别过程，降低了计算资源需求。
[0018]在一个可能的设计中，所述图像特征提取单元包括有沿从输入至输出方向依次布置的第一卷积层、第二卷积层、第一卷积残差子单元、第二卷积残差子单元、第三卷积残差子单元、第四卷积残差子单元、第十一卷积层、跨阶段局部网络CSPNet层和第五卷积残差子单元，其中，所述第一卷积残差子单元、所述第二卷积残差子单元、所述第三卷积残差子单元、所述第四卷积残差子单元和所述第五卷积残差子单元分别包括有沿从输入至输出方向依次布置的两个卷积层和一个残差块；
[0019]所述跨阶段局部网络CSPNet层，用于将输入分为两部分：一部分前向传入内部的dense块，另一部分作为图像特征矩阵送入所述空间金字塔池化单元。
[0020]在一个可能的设计中，所述车牌号序列建模单元采用transformer语言模型对车牌号序列进行建模；
[0021]所述transformer语言模型的输入数据由两部分组成：一部分是所述第三新特征矩阵，另一部分是通过词嵌入法将车牌号转化成维度为Len
×
128的特征向量，将所述第三新特征矩阵与所述特征向量相加后构成输入数据，以便输入所述transformer语言模型。
[0022]在一个可能的设计中，所述词嵌入法采用基于Word2Vec模型的词嵌入法。
[0023]在一个可能的设计中，所述transformer语言模型的最末全连接层采用Softmax函数作为激活函数。
[0024]在一个可能的设计中，根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据，计算得到损失函数值，包括：
[0025]根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据，按照如下公式计算得到损失函数值Loss：
[0026][0027]式中，L1表示边界框坐标的第一损失值，L2表示边界框坐标的第二损失值，L3表示边界本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单双行车牌识别方法，其特征在于，包括：获取样本训练集，其中，所述样本训练集中的多个图像样本包括有单行车牌图像和双行车牌图像，所述多个图像样本中的各个图像样本标注有对应的车牌号序列信息，所述车牌号序列信息包含有按照车牌号序列顺序依次排列的多条字符坐标数据，所述字符坐标数据包含有对应字符的数字化唯一标识以及对应字符在所处车牌图像上的且经过归一化处理的横坐标、纵坐标、宽度和高度；将所述各个图像样本及对应的所述车牌号序列信息输入预设的单双行车牌识别模型，以便对所述单双行车牌识别模型进行训练，其中，所述单双行车牌识别模型包括有图像特征提取单元、空间金字塔池化单元、车牌号序列建模单元、车牌号字符定位建模单元和损失函数计算单元；所述图像特征提取单元，用于从所述图像样本中提取出维度为K
×
M
×
N的图像特征矩阵，并将所述图像特征矩阵送入所述空间金字塔池化单元,其中，K表示2、3和6的第一公倍数，M表示2、3和6的第二公倍数且大于所述第一公倍数，N表示大于所述第二公倍数的正整数；所述空间金字塔池化单元，用于对所述图像特征矩阵分别做2
×
2、3
×
3和6
×
6的最大池化处理，得到维度分别为和的三个特征矩阵，然后对所述三个特征矩阵进行如下方式(A)和(B)的处理:(A)将所述三个特征矩阵中的各个特征矩阵的前两个维度变为一维，得到维度分别为和的三个第一新特征矩阵，然后拼接所述三个第一新特征矩阵，得到维度为的一个第二新特征矩阵，再然后对所述第二新特征矩阵做的平均池化处理，得到维度为Len
×
N的一个第三新特征矩阵，最后将所述第三新特征矩阵输入所述车牌号序列建模单元，其中，Len表示车牌号序列长度；(B)对所述三个特征矩阵中的且维度分别为和的两个特征矩阵分别做1
×
2和2
×
4的填充处理，得到维度均为的两个第四新特征矩阵，然后对所述两个第四新特征矩阵和所述三个特征矩阵中的且维度为的特征矩阵进行拼接，得到维度为的一个第五新特征矩阵，再然后对所述第五新特征矩阵做1
×1×
(3
×
(4+1))的卷积处理，得到维度为的第六新特征矩阵，最后将所述第六新特征矩阵输入所述车牌号字符定位建模单元；
所述车牌号序列建模单元，用于根据所述第三新特征矩阵，对车牌号序列进行建模，输出得到各个车牌号字符在车牌号序列中各个字符位置上的出现概率预测值；所述车牌号字符定位建模单元，用于根据所述第六新特征矩阵，对车牌号字符位置进行建模，输出得到各个字符格子预测框的横坐标预测值、纵坐标预测值、宽度预测值、高度预测值和置信度预测值；所述损失函数计算单元，用于根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据，计算得到损失函数值；将待识别的单行车牌图像或双行车牌图像输入已完成训练的所述单双行车牌识别模型，以便经过所述车牌号序列建模单元输出得到对应的输出数据；针对所述待识别的单行车牌图像或双行车牌图像，根据对应的输出数据，确定对应的且在所述各个字符位置上的车牌号字符，得到对应的车牌号序列。2.根据权利要求1所述的单双行车牌识别方法，其特征在于，所述图像特征提取单元包括有沿从输入至输出方向依次布置的第一卷积层、第二卷积层、第一卷积残差子单元、第二卷积残差子单元、第三卷积残差子单元、第四卷积残差子单元、第十一卷积层、跨阶段局部网络CSPNet层和第五卷积残差子单元，其中，所述第一卷积残差子单元、所述第二卷积残差子单元、所述第三卷积残差子单元、所述第四卷积残差子单元和所述第五卷积残差子单元分别包括有沿从输入至输出方向依次布置的两个卷积层和一个残差块；所述跨阶段局部网络CSPNet层，用于将输入分为两部分：一部分前向传入内部的dense块，另一部分作为图像特征矩阵送入所述空间金字塔池化单元。3.根据权利要求1所述的单双行车牌识别方法，其特征在于，所述车牌号序列建模单元采用transformer语言模型对车牌号序列进行建模；所述transformer语言模型的输入数据由两部分组成：一部分是所述第三新特征矩阵，另一部分是通过词嵌入法将车牌号转化成维度为Len
×
128的特征向量，将所述第三新特征矩阵与所述特征向量相加后构成输入数据，以便输入所述transformer语言模型。4.根据权利要求3所述的单双行车牌识别方法，其特征在于，所述词嵌入法采用基于Word2Vec模型的词嵌入法。5.根据权利要求3所述的单双行车牌识别方法，其特征在于，所述transformer语言模型的最末全连接层采用Softmax函数作为激活函数。6.根据权利要求1所述的单双行车牌识别方法，其特征在于，根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据，计算得到损失函数值，包括：根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据，按照如下公式计算得到损失函数值Loss：
式中，L1表示边界框坐标的第一损失值，L2表示边界框坐标的第二损失值，L3表示边界框置信度的损失值，CTC
loss
表示联结主义时间分类...

【专利技术属性】
技术研发人员：陈磊，黄金叶，
申请(专利权)人：深圳市旗扬特种装备技术工程有限公司，
类型：发明
国别省市：