一种基于空洞卷积扩大感受野的车牌图像去模糊方法技术

本发明专利技术属于图像处理技术领域，涉及一种基于空洞卷积扩大感受野的车牌图像去模糊方法，先将原始视频抽取图像序列，将图像序列分成多个间隔，再将从个间隔抽取一张图像组成图像子序列，然后将图像子序列中的图像输入训练好的模型，得到恢复的清晰图像，所采用的多尺度空洞卷积特征提取模块充分提取不同大小分辨率图像所包含的特征信息，同时多尺度注意力模块对来自不同尺度大小的特征图进行融合过滤，减少图像特征的损失，放大重要的特征信息，同时改进了能量损失函数，提升网络模型的整体训练效果，该方法可以但不限于应用在车牌图像去模糊任务中，能够有效的实现车牌图像的去模糊。能够有效的实现车牌图像的去模糊。能够有效的实现车牌图像的去模糊。

【技术实现步骤摘要】
一种基于空洞卷积扩大感受野的车牌图像去模糊方法


[0001]本专利技术属于图像处理
，涉及一种基于空洞卷积扩大感受野的车牌图像去模糊方法。

技术介绍

[0002]图像去模糊是通过深度学习算法将车牌图像中存在的模糊区域消除，该任务属于图像修复任务中的一种。图像修复技术是计算机视觉的底层任务，是图像，视频识别等任务的基础，在计算机视觉领域具有很重要的地位，被广泛应用于交通监控、医学检测和雷达遥感等场景之中。
[0003]在对模糊的车牌图像进行修复的过程中，现有的基于卷积神经网络的深度学习方法要点主要如下：（1）通过加深网络层次或者多个网络堆叠，逐步恢复清晰图像；（2）使用特征提取模块提取图像特征，使用同样的卷积核不能很好的处理不同分辨率大小的车牌图像，不能充分提取图像特征信息；（3）网络加深，车牌图像特征在传输的过程中，将会丢失许多信息，不利于恢复清晰的图像，上述方法存在的问题导致其在实际应用场景中无法取得满意的效果，急需更加高效方法进行车牌图像去模糊。

技术实现思路

[0004]本专利技术的目的在于克服现有技术存在的缺点，设计提供了一种基于空洞卷积扩大感受野的车牌图像去模糊方法，用于解决实际应用场景中拍摄的车牌图像存在模糊导致后续无法识别的情况。
[0005]为实现上述目的，本专利技术先将原始视频抽取图像序列，将图像序列分成多个间隔，再将从个间隔抽取一张图像组成图像子序列，然后将图像子序列中的图像输入训练好的模型，得到恢复的清晰图像，具体步骤如下：（1）从原始视频中抽取原始图像序列；（2）将原始图像分成多个间隔，每个间隔抽取一张图像组成子序列，对图像子序列模糊处理生成车牌模糊图像子序列；对车牌模糊图像子序列进行特征提取，得到的特征维度，其中B是批次维度，表示训练时的批次大小；T为时间维度，表示每个视频选取的序列间隔的数量；C为特征通道数量；W为特征在空间上的宽度；H为特征在空间上的高度；（3）设计并建立基于空洞卷积扩大感受野的车牌图像去模糊网络，车牌图像去模糊网络分为两部分逐步恢复清晰的车牌图像，相邻部分间采用多尺度注意力模块连接，将步骤（2）得到的图片子序列的特征维度分别作为车牌图像去模糊网络两部分的输入，采用加入多尺度空洞卷积特征提取模块的多阶段卷积神经网络模型作为学习器，学习用于图像去模糊的模糊核；（4）训练基于空洞卷积扩大感受野的车牌图像去模糊网络，得到训练好的网络模型；
（5）将模糊车牌图像输入到训练好的网络模型中，输出恢复的清晰图像，实现基于空洞卷积扩大感受野的车牌图像去模糊。
[0006]作为本专利技术的进一步技术方案，步骤（3）的具体过程为：（31）将特征维度F重新排列为；（32）将重新排列后的特征维度输入采用包含不同膨胀系数空洞卷积的多尺度空洞卷积特征提取模块，利用不同的感受野充分提取图像的空间特征；（33）将步骤（32）输出的特征输入多尺度注意力模块，提取车牌图像的注意力特征图。
[0007]作为本专利技术的进一步技术方案，步骤（33）所述多尺度空洞卷积特征提取模块由四个多尺度空洞卷积残差块构成，每个多尺度空洞卷积残差块对于输入的图像特征，先经过膨胀系数分别为1、2、3的空洞卷积对图像特征进行处理，再将得到的三个特征图进行拼接操作得到拼接后的特征图，将拼接后的特征图输入由ReLu、3
×
3卷积和ReLu构成的残差块中对特征进一步处理得到处理后的特征；将输入的图像特征与处理后的特征相加后输入由3
×
3卷积和ReLu组成的模块进行特征细化得到细化后的特征，最后将第四个多尺度空洞卷积残差块输出的特征与输入的图像特征相加，得到多尺度空洞卷积特征提取模块的输出特征。
[0008]作为本专利技术的进一步技术方案，步骤（32）所述多尺度注意力模块的工作过程为：将来自两个不同多尺度空洞卷积特征提取模块、大小不同的特征图像输入多尺度注意力模块时，先经过卷积层使两个特征图像的大小一致，再依次经过3
×
3卷积、LeakyReLU、3
×
3卷积全局平均池化、3
×
3卷积、LeakyReLU和3
×
3卷积处理，最后通过Sigmoid激活函数对特征图分配权重生成注意力特征图，使得两个不同尺度之间的特征图融合生成注意力热度图。
[0009]作为本专利技术的进一步技术方案，步骤（4）的具体过程如下：（41）数据增广：将车牌图像随机裁剪为256
×
256大小，然后采取90
°
，180
°
，270
°
旋转图像以及对图像进行翻转增广训练数据，得到一对256
×
256大小、新的清晰车牌图像和模糊车牌图像组成的图像对；（42）使用恢复的清晰图像与所有阶段生成的真实的清晰图像的均方误差作为损失函数：；其中I
b，i
为输入的第i个模糊图像，I
g，i
为第i个模糊图像真实的清晰图像，θ为卷积神经网络中学习的权重参数，为第i个模糊图像恢复的清晰图像，N为图像样本总数，为第j阶段的损失占比，训练中设置λ1为0.3，λ2为0.7；（43）经过设定次数迭代训练后，保存结果最好的模型参数，作为最终模型训练好的参数，即得到训练好的网络模型。
[0010]本专利技术设计了多尺度空洞卷积特征提取模块，该模块通过使用不同膨胀系数的空洞卷积扩大感受野，这样能够使用比正常卷积更少的参数达到更大的感受野，通过使用多个不同膨胀系数的空洞卷积，能够充分的处理输入网络中不同分辨率的车牌图像，能够很好的提取图像特征信息；同时在两个阶段之间设计了多尺度注意力模块，将来自相邻两个
不同尺度的特征图进行融合，能够弥补特征在传输时的损失，同时生成的注意力热度图能够放大更有价值的图像特征，使网络在训练过程中逐渐关注有利于去模糊的特征信息。
[0011]与现有技术相比，本专利技术所采用的多尺度空洞卷积特征提取模块充分提取不同大小分辨率图像所包含的特征信息，同时多尺度注意力模块对来自不同尺度大小的特征图进行融合过滤，减少图像特征的损失，放大重要的特征信息，同时改进了能量损失函数，提升网络模型的整体训练效果，该方法可以但不限于应用在车牌图像去模糊任务中，能够有效的实现车牌图像的去模糊。
附图说明
[0012]图1为本专利技术所述基于空洞卷积扩大感受野的车牌图像去模糊网络的结构框架示意图。
[0013]图2为本专利技术所述多尺度空洞卷积特征提取模块的结构图。
[0014]图3为本专利技术所述多尺度注意力模块的结构图。
[0015]图4为本专利技术所述车牌图像去模糊的流程框图。
具体实施方式
[0016]下面结合附图并通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0017]实施例：本实施例采用如图4所示的车牌图像去模糊流程，具体实施包括如下步骤：（1）从视频抽取原始图像序列：通过对原始车辆视频抽取出图像序列，作为初始车牌数据形式，抽取时保持原视频图像长宽以及视频帧数不变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空洞卷积扩大感受野的车牌图像去模糊方法，其特征在于，具体包括以下过程：（1）从原始视频中抽取原始图像序列；（2）将原始图像分成多个间隔，每个间隔抽取一张图像组成子序列，对图像子序列模糊处理生成车牌模糊图像子序列；对车牌模糊图像子序列进行特征提取，得到的特征维度，其中B是批次维度，表示训练时的批次大小；T为时间维度，表示每个视频选取的序列间隔的数量；C为特征通道数量；W为特征在空间上的宽度；H为特征在空间上的高度；（3）设计并建立基于空洞卷积扩大感受野的车牌图像去模糊网络，车牌图像去模糊网络分为两部分逐步恢复清晰的车牌图像，相邻部分间采用多尺度注意力模块连接，将步骤（2）得到的图片子序列的特征维度分别作为车牌图像去模糊网络两部分的输入，采用加入多尺度空洞卷积特征提取模块的多阶段卷积神经网络模型作为学习器，学习用于图像去模糊的模糊核；（4）训练基于空洞卷积扩大感受野的车牌图像去模糊网络，得到训练好的网络模型；（5）将模糊车牌图像输入到训练好的网络模型中，输出恢复的清晰图像，实现基于空洞卷积扩大感受野的车牌图像去模糊。2.根据权利要求1所述基于空洞卷积扩大感受野的车牌图像去模糊方法，其特征在于，步骤（3）的具体过程为：（31）将特征维度F重新排列为；（32）将重新排列后的特征维度输入采用包含不同膨胀系数空洞卷积的多尺度空洞卷积特征提取模块，利用不同的感受野充分提取图像的空间特征；（33）将步骤（32）输出的特征输入多尺度注意力模块，提取车牌图像的注意力特征图。3.根据权利要求2所述基于空洞卷积扩大感受野的车牌图像去模糊方法，其特征在于，步骤（33）所述多尺度空洞卷积特征提取模块由四个多尺度空洞卷积残差块构成，每个多尺度空洞卷积残差块对于输入的图像特征，先经过膨胀系数分别为1、2、3的空洞卷积对图像特征进行处理，再将得到的三个特征图进行拼接操作得到拼接后的特征图，将拼接后的特征图输入由ReLu、3
×
3卷积和ReLu构成的残差块中对特征进一步处理得到处理后的特征；将输入的图像特征与处...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，李贤超，焦安健，谭连胜，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：