【技术实现步骤摘要】
本专利技术属于智能交通车牌智能检测，具体为一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法。
技术介绍
1、道路场景中低质车牌信息的精准检测是实现智能交通系统的基本要求和前提，但目前采集到的车牌影像往往存在远景低分辨率问题，同时受环境影响还会伴有强噪、模糊、过曝、欠曝等-些不确定性像素影响因素，这些问题对道路场景下低质车牌信息的智能精准识别形成阻碍，使车牌信息的智能检测精度难以保障。完全通过改进硬件设备提高车牌影像分辨率解决车牌识别准确率低的问题将花费高昂的经济成本，因此，如何构建高效的低质车牌信息超分辨率重建网络将道路场景下车牌信息低分辨率影像重建为高分辨率影像，并对不确定性像素影响因素进行有效消除，是具有重要的应用价值和现实意义。
2、现阶段，超分辨率重建方法主要为基于插值的方法和基于深度学习的方法。基于插值的方法计算简单，运算速度快，但是进行超分辨率重建时，并不会消除模糊、强噪和恢复光照失常区域，还会使起车牌影像边缘失真，产生明显的马赛克和锯齿现象。随着深度学习的快速发展，基于深度学习的超分辨率重建方法已成为主流，即通过构建深度神经网络，自动学习低分辨率图片到高分辨率图片的非线性映射，来提升图片的高频细节，相较于基于插值的方法具有更好的重建效果，且具有更强的自适应能力。swinir采用了transformer架构，将其应用于图片复原任务中，这种创新使得网络能够更好地捕捉图片中的全局依赖关系，有助于提高超分辨率性能；rlfn构建了一个改进的特征提取器，可以有效地提取边缘和细节，并提出了一种新颖的多阶段
3、目前，有少数专家也开展了面向道路场景的车牌影像重建技术的研究，相比于其他领域，道路场景采集到的低质车牌影像存在角度偏转的现象，且存在强噪和模糊的不确定性、过曝或者欠曝导致车牌字符不完整的研究难点。吴玮等人提出基于核偏最小二乘算法回归的超分辨率复原算法，首先将高分辨率图像块的高频信息和中频信息作为建立回归关系的特征，然后使用构建起来的回归模型生成高分辨率图像块，并拼接为高分辨率图像；徐胜军等人提出一种编解码结构的车牌图像超分辨率网络，利用编码器对车牌影像的纹理、字符等特征进行提取，解码器对车牌特征进行重构，并且引入ctc损失，增强生成器网络对车牌影像语义特征的表征能力；lin等人提出基于生成对抗网络的车牌图像重建方法，该方法对输入图像进行预处理，利用残差密集网络提取图像特征并引入渐进式采样，来提供更大的感受野和更多的信息细节，最后使用马尔可夫判别器指导生成器重建质量和细节更高的图像；e等人提出由生成对抗神经网络提供支持的车牌影像分析，通过有效改变srgan网络的层数，激活函数，以及引入新的正则化函数，来生成高分辨率的车牌影像，并将字符分割和识别与超分辨率重建网络相结合，来提高低质车牌信息识别的效率。
4、综上所述，现有的超分辨率重建研究多集中在开放世界领域，针对低质车牌影像超分辨率重建的相关研究取得了一定的效果，但是目前还处于起步阶段，现有研究多是集中在解决某一问题或某些问题，针对低质车牌影像中含有强躁、模糊、过曝或者欠曝的重建效果并不理想，还需要进一步优化完善。
技术实现思路
1、针对现有技术存在的不足，本专利技术目的在于提供一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，主要用于智能车牌检测中低质车牌影像存在的强躁、模糊、过曝和欠曝的问题。
2、本专利技术是采用如下技术方案实现的：
3、一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，步骤如下：
4、步骤1、对车牌影像进行采集构建超分辨率重建数据集；
5、超分辨率重建数据集由若干图片对构成的，每个图片对包含一张低分辨率lr车牌影像和对应的高分辨率hr车牌影像；
6、采用相机拍摄高分辨率hr车牌影像，选用双三次插值下采样，并考虑到影响低质车牌信息检测因素：强噪、模糊、过曝、欠曝等，对于下采样后的车牌影像添加关键像素影响因素，随机选择添加噪声、运动模糊或高斯模糊、欠曝或过曝，通过如下公式完成低分辨率lr车牌影像的生成，从而构成图片对；
7、
8、式中：↓表示双三次插值下采样，表示与选取的卷积核进行卷积计算，rc为随机选取，k1,k2为高斯模糊核和运动模糊核，p表示添加干扰因素的概率，n1,n2,n3分别为高斯噪声、椒盐噪声和改变曝光。
9、为进一步提升本专利技术方法的鲁棒能力和抗干扰能力，在输入网络训练之前对构建好的数据集进行旋转、反转等操作进行数据增强。
10、步骤2、构建pcm模块
11、pcm模块采用残差连接，将均噪模块(average noise module，anm)，像素信息增强模块(pixel information enhancement module，piem)、字符矫正模块(charactercorrection module，ccm)串联，分别从相邻特征关联关系、不同感受野和不同维度、像素语义前后关联分析等角度对低质车牌信息进行特征提取和融合，通过挖掘车牌影像底层信息局部特征之间的关联性，提升低质车牌影像的高频细节，从而减小在低质车牌信息的超分辨率重建中，由于强噪、模糊的不确定性和曝光造成车牌影像信息不完整所产生的影响。
12、步骤2.1、构建anm模块：
13、anm模块包括亚像素卷积上采样模块、步长为2的3×3卷积以及一个用来升维和降低强躁点占比的1×1卷积；表示为下式：
14、y＝c1×1(c3×3(pixelshuffle(x)))
15、式中：c1×1和c3×3分别代表1×1卷积和3×3卷积，pixelshuffle代表亚像素卷积上采样，x代表输入特征，y代表输出特征。
16、步骤2.2、构建piem模块：
17、piem模块根据r操作的不同共分为两个子模块：spiem和cpiem，二者在整体流程上一致，模块包含：layernorm2d归一化和注意力操作。其中注意力操作流程为：①通过1×1卷积和3×3卷积生成注意力所需要的q、k、v特征矩阵；②通过自定义函数pad进行边缘填充，以完成不同的r操作，并使用r操作生成不同具有隐式编码全局上下文的注意力图；③注意力图和具有反向传播的通道权重动态参数进行注意力的计算。
18、步骤2.3、构建ccm模块：
19、ccm模块采用并联不同感受野大小的卷积核，大卷积核(13×13)和小卷积核(3×3)获取低质车牌影像不同尺度的信息，并用1×1卷积对拼接后的矩阵融本文档来自技高网...
【技术保护点】
1.一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：步骤1中，HR车牌影像的筛选原则：①车牌占比尽可能小，贴合道路场景下车牌占比小的场景，②拍摄到的车牌影像包含多种角度偏情况，③包含多种类型车牌以及多种车身颜色。
3.根据权利要求2所述的一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：步骤2.1中，ANM模块通过分析特征点在经过亚像素卷积上采样时的运算过程，对于某一个特征点来说，跨通道邻居CCN和空间邻居SN在经过亚像素卷积上采样生成HR车牌影像后，在不同维度的CCN和SN会处于同一纬度，且仍然和原特征点保持空间上的邻近关系；采用亚像素卷积上采样模块和步长为2的3×3卷积聚合CCN和SN特征点，挖掘特征点在空间和通道上协同卷积计算的关联关系，将强噪特征点的影响均分到通道和空间两个维度的邻居像素；再使用1×1卷积进行通道升维，减小强噪特征点占比和恢复通道到原有维度，从而在该位置减小强噪所产生的影
4.根据权利要求3所述的一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：步骤2.2中，SPIEM和CPIEM的整体结构一样，其输入特征y和输出特征x其关系描述为：y＝f(x)+x；
5.根据权利要求4所述的一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：步骤2.3中，CCM模块从不同尺度学习车牌信息的特征，通过一个大卷积核CB×B从大感受野学习车牌字符的整体轮廓，减少由于曝光失常区域像素所占比重，并行短接一个小卷积核CS×S用来恢复车牌字符的细节，对于得到的特征，先进行拼接和用1×1卷积核促进不同感受野特征的跨通道像素级融合；数学模型如式所示：
6.根据权利要求1所述的一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：步骤3中，在输入网络训练之前对构建好的数据集进行旋转、反转、裁剪数据增强处理。
...【技术特征摘要】
1.一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：步骤1中，hr车牌影像的筛选原则：①车牌占比尽可能小，贴合道路场景下车牌占比小的场景，②拍摄到的车牌影像包含多种角度偏情况，③包含多种类型车牌以及多种车身颜色。
3.根据权利要求2所述的一种基于堆叠式多维信息增强卷积的低质车牌影像超分辨率重建方法，其特征在于：步骤2.1中，anm模块通过分析特征点在经过亚像素卷积上采样时的运算过程，对于某一个特征点来说，跨通道邻居ccn和空间邻居sn在经过亚像素卷积上采样生成hr车牌影像后，在不同维度的ccn和sn会处于同一纬度，且仍然和原特征点保持空间上的邻近关系；采用亚像素卷积上采样模块和步长为2的3×3卷积聚合ccn和sn特征点，挖掘特征点在空间和通道上协同卷积计算的关联关系，将强噪特征点的影响均分到通道和空间两个维度的邻居像素；再使用1×1卷...
【专利技术属性】
技术研发人员：张睿，惠永科，李心宇，白峭峰，张延军，傅留虎，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。