【技术实现步骤摘要】
本专利技术属于车牌检测，尤其涉及一种基于场景文本检测的无受限场景车牌检测方法。
技术介绍
1、随着人工智能、物联网等技术的迅速发展，智慧交通在智慧城市中发挥着愈加重要的作用，智能交通系统也融入人们的日常生活。作为智能交通系统中的不可或缺的组成部分，车辆号码可以实时记录车辆的交通行为，因而车牌检测识别技术在智慧交通体系中扮演了重要角色。传统的中文车牌检测方法依赖于摄像机捕捉到的汽车图像的精准度，易受路况和拍摄环境中含有的噪声干扰，面对路况复杂或拍摄条件受限导致的车牌畸变、旋转等场景的时候难以表现较强的鲁棒性，进而在精度上难以达到理想的水平，常常无法满足应用要求。
2、近年来，大数据的应用改变了人们的衣食住行方式，各种基于深度学习方法的车牌检测和识别技术进入人们的视野，并在实际应用中大放异彩。这些方法克服了早期车牌识别算法使用手工选取车牌和文字特征在定位上的不准确性，并与yolo等当下火热的目标检测算法进行结合。现有的车牌识别技术主要应用于特定的环境，如收费停车场出入口、高速公路etc通道等。在这种正视的检测视角和检测区域固定的理想条件下，上述方法可以取得较好的效果，但在受到某些复杂自然场景制约的情况下却难以维持较高的检测精度，例如拍摄的时间、当时的天气、车辆所处的位置及与其他车辆的交互关系等等，这些场景条件导致车牌常常处于颜色，亮度，对比度，倾斜程度，清晰度，完整度，遮挡度，字符密集程度等多种因素的变化状态中。
3、现有的车牌检测方法大多基于卷积神经网络进行特征提取，主要分成两种：(1)基于水平矩形框的方法
4、因此，现有的车牌检测技术在检测精度方面仍有较大提升空间，急需更有效的方法对车牌特征的提取方式进行改进和增强，克服矩形检测框难以分离背景信息和车牌特征的弊端。
技术实现思路
1、为了克服现有车牌检测技术的不足，本专利技术提供一种基于场景文本检测的无受限场景车牌检测方法，将场景文本检测中的算法思想和网络结构与车牌识别进行有机结合，形成基于场景文本检测的无受限场景车牌检测方法，用来解决车牌特征易受外界环境干扰和提取能力不足的问题，可用于自然场景下的车牌检测识别任务中，实现车牌的实时准确检测。
2、为实现上述目的，本专利技术实现车牌检测的具体过程包括如下步骤：
3、(1)收集交通监控、侧方位停车场在自然场景下的含有常规以及处于不同自然条件下(明暗程度，倾斜程度，遮挡程度，清晰程度等)的车牌图像，构建车牌数据集，并标注车牌位置后将数据集划分为训练集、验证集和测试集；
4、(2)先对车牌图像的尺寸和数值范围行初始化处理，再将处理后的车牌图像输入到主干网络中进行卷积特征提取，得到通道数分别为128、256、512的三层原始车牌特征，其尺寸分别是输入图像的{1/8，1/16，1/32}；
5、(3)将步骤(2)中提取出的三层原始车牌特征输入自适应增强模块(adaptiveenhancement module)进行自适应增强，得到多尺度车牌特征；
6、(4)将步骤(3)得到的多尺度车牌特征生成车牌阈值图，用于表示车牌内部区域与外部的非车牌区域的边界线；
7、(5)采用改进型的transformer结构作为解码器，实现多尺度车牌特征的逐级上采样，得到车牌概率图，用于表示车牌区域内部每个像素点的重要程度，即车牌区域的权重分布；
8、(6)以车牌阈值图和车牌概率图为输入特征，使用可微分的二值化模块，采用可微分的二值化公式进行计算，生成描述车牌位置的车牌二值图；
9、(7)使用数据集中训练集的图像，对图像进行随机裁剪、随机旋转、随机翻转预处理，将输入图像的尺寸调整为640×640×3，批次尺寸(batchsize)为8，线程数为4，依次输入到网络中进行网络训练，得到训练好的网络；
10、(8)在测试过程中，保持图片长宽比不变，将图像的高度缩放到512或640，作为网络的输入，得到车牌检测框，完成车牌检测。
11、作为本专利技术的进一步技术方案，步骤(1)标注车牌位置是对车牌文字顶点的标注，其中顶点数量根据车牌实际情况而定，通过顶点的位置计算车牌文字在图像中的准确位置和外轮廓。
12、作为本专利技术的进一步技术方案，步骤(2)所述主干网络使用含有可变形卷积的resnet-101作为特征提取网络。
13、作为本专利技术的进一步技术方案，步骤(3)的具体过程为：先将原始车牌特征进行像素级加法获得融合特征，再对融合特征使用全局学习模块(global learning module)提取全局特征，全局学习模块输出的特征获得各层的最优权重后分别与三层原始特征进行像素级乘法，对原始车牌特征进行权重调整和信息补充，获得表达力更强的多尺度车牌特征图集合，表示为：
14、faem＝{f3，f4，f5}，
15、fi＝c3×3(c1×1(fglm)×c3×3(xi))，i＝3，4，5，
16、其中，faem表示自适应增强模块的输出结果，c3×3表示卷积核尺寸为3×3的卷积层，c1×1表示卷积核尺寸为1×1的卷积层，xi表示骨干网络提取的三层车牌原始特征，fglm表示全局学习模块输出的融合特征。
17、作为本专利技术的进一步技术方案，步骤(4)的具体过程为：
18、(41)将多尺度车牌特征进行双线性插值上采样，使多尺度特征的尺寸均调整至输入图像尺寸的1/8，并在上采样之后通过1×1映射来增强特征的平滑度；
19、(42)将多尺度特征进行通道维度的拼接操作，获得通道数为192的融合特征，并通过3×3卷积来降低通道数，得到通道数为64、尺寸为1/8的大致阈值图；
20、(43)使用多层转置卷积和多层1×1卷积交替处理大致阈值图，将其尺寸恢复至与输入图像相同，通道数降低为1，得到准确的车牌阈值图。
21、作为本专利技术的进一步技术方案，步骤(5)所述改进型的transformer结构包括高效注意力模块和前传模块，其中高效注意力模块使用矩阵转置操作与特征乘法来实现线性复杂度的注意力机制，高效注意力模块的工作过程为：在特定尺度上，对于输入特征x，先通过1×1映射层生成q，k和v，分别对应传统transformer结构中的query、key和value，再使用转置操作来处理q和k，得到两者的点积矩阵w，最后，将w与转置的v本文档来自技高网...
【技术保护点】
1.一种基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(1)标注车牌位置是对车牌文字顶点的标注，其中顶点数量根据车牌实际情况而定，通过顶点的位置计算车牌文字在图像中的准确位置和外轮廓。
3.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(2)所述主干网络使用含有可变形卷积的ResNet-101作为特征提取网络。
4.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(3)的具体过程为：先将原始车牌特征进行像素级加法获得融合特征，再对融合特征使用全局学习模块提取全局特征，全局学习模块输出的特征获得各层的最优权重后分别与三层原始特征进行像素级乘法，对原始车牌特征进行权重调整和信息补充，获得表达力更强的多尺度车牌特征图集合，表示为：
5.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(4)的具体过程为：
6.根据权利要求
7.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(6)所述可微分的二值化公式为：
8.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(7)进行网络训练时，初始学习率设置为0.008，并部署学习率衰减策略来使学习率随训练进程而逐渐降低，损失函数由车牌阈值图和车牌概率图的加权之和组成，通过衡量车牌预测结果与阈值图的L1距离得到车牌阈值图的误差，采用BCE损失来计算真实车牌位置与概率图位置的误差，通过反向传播更新参数，经过设定轮数(800轮)完整训练集训练迭代后，保存验证集上结果最好的模型参数，作为最终模型训练好的参数，其中损失函数表示为：L＝α×Lp+β×Lt，其中L表示总损失，Lp表示车牌概率图的损失，Lt表示车牌阈值图的损失，α和β设置为5.0和8.0。
...【技术特征摘要】
1.一种基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(1)标注车牌位置是对车牌文字顶点的标注，其中顶点数量根据车牌实际情况而定，通过顶点的位置计算车牌文字在图像中的准确位置和外轮廓。
3.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(2)所述主干网络使用含有可变形卷积的resnet-101作为特征提取网络。
4.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(3)的具体过程为：先将原始车牌特征进行像素级加法获得融合特征，再对融合特征使用全局学习模块提取全局特征，全局学习模块输出的特征获得各层的最优权重后分别与三层原始特征进行像素级乘法，对原始车牌特征进行权重调整和信息补充，获得表达力更强的多尺度车牌特征图集合，表示为：
5.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(4)的具体过程为：
6.根据权利要求1所述基于场景文本检测技术的无受限场景车牌检测方法，其特征在于，步骤(5)所述改进型的transformer结构包括高效注意力模块和前传模块，其中高效注意力模块使用矩阵转置操作与特征乘法来实现线性复杂度的注意力机制，高效注意力模块的工作过程为：在特定尺度上，对于输入特征x，先通过1×1映射层生成q，k和v，分别对应传统transformer结构中的query、key和value，再使用转置操作来处理q和k，得到两者的点积矩阵w，最后，将w与转置的v进行特征乘法，并转置回原始维度，...
【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，李贤超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。