一种基于语义信息和梯度监督的船牌图像超分辨方法技术

本发明专利技术公开了一种基于语义信息和梯度监督的船牌图像超分辨方法。本发明专利技术包括：1、收集船舶原始图像并进行预处理。2、针对于船牌文字，构建特征提取网络和超分辨重建网络，形成生成网络模型。然后通过DF2K数据集进行对抗学习预训练，得到生成网络预训练模型。3、在生成网络预训练模型中引入BLSTM结构后采用船牌文字数据集，进行训练。4：在进行对抗学习训练时，由于船牌文字区域具有一定的锐度，因此为了更好的指导网络生成超分辨的船牌文字，增加文字梯度损失函数以加强对生成网络的监督。本发明专利技术能够明显提升船牌文字的清晰程度，帮助人工快速的辨识船牌信息，方便海河航运的交通管制，提高水路航运的安全性。提高水路航运的安全性。提高水路航运的安全性。

【技术实现步骤摘要】
一种基于语义信息和梯度监督的船牌图像超分辨方法


[0001]本专利技术属于深度学习、图像处理、航运河道船只智能管理与监控、超分辨重建的
，涉及一种基于生成对抗网络，以语义信息和梯度监督为指导的船牌图像超分辨率方法。

技术介绍

[0002]中国航运水路运输系统发达，内河网络结构完善，港口分布稠密，极大地推动了货船航运产业的发展。内河航运已然成为现代综合运输体系的重要组成部分，是水资源合理开发和综合利用的主要内容之一。据统计，仅2020年10月份全国水路货物运输总量就达到了70,659万吨，货物周转量达到92,539,819万吨。因此保证船只行驶规范、高效和安全，对于打造全信息化、智能化内河航运系统具有重要意义，是构建智慧型水上“高速公路”的基础。
[0003]对船舶的监管，目前主要靠通过运河两岸、码头、港口等地安装监控摄像头，通过拍摄船只图像(主要是船只上悬挂的船牌文字图像)进行监管。然而在实际获取船牌文字的场景中，由于船舶距离摄像头过远、空气质量较差、硬件设备老旧、图像传输等因素，常常会造成摄像头采集到的船牌文字图像变得模糊，模糊的船牌文字图像不利于进一步的船牌文字识别工作，也不利于作为船舶违规行驶的证据保留，更不利于船舶在交管部门监管下的安全行驶。因此急需一种解决船牌文字图像模糊、提升船牌文字分辨率的方案。
[0004]目前主要的解决方案有基于传统方法和基于深度学习两种，但这些方案在船牌文字超分辨中又存在着诸多问题：1)传统的图像超分辨方法由于算法相对简单，在模糊船牌文字上的表现效果不佳。2)深度学习方法中，用双三次线性插值构建训练数据集的方法不能满足实际场景的应用。3)深度学习的超分辨方法缺乏对船牌文字区域语义特征的研究，使得算法针对文字超分辨的效果不理想。4)现有的深度学习方法在处理文字锐化效果方面仍有欠缺。因此，目前依然缺乏针对船牌文字超分辨方法。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足，提供一种基于语义信息和梯度监督的船牌图像超分辨方法。
[0006]本专利技术采取的技术方案包含以下步骤：
[0007]步骤1：收集船舶原始图像并进行预处理。
[0008]首先拍摄河道中原始船舶图像(含船牌文字)，并进行人工标注船牌文字位置，裁剪得到高分辨率船牌文字区域图像(以下简称HR文字图像)。随后对HR文字图像进行降采样操作并加入噪声，生成低分辨率船牌文字区域图像(以下简称LR文字图像)，完成船牌文字数据集的构造。
[0009]步骤2：针对于船牌文字，构建特征提取网络和超分辨重建网络，形成生成网络模型。然后通过DF2K数据集进行对抗学习预训练，在判别器的指导下，通过对抗学习对生成网
络模型参数进行预训练，得到生成网络预训练模型。
[0010]步骤3：在生成网络预训练模型基础上引入双向LSTM(BLSTM)结构，增强对船牌文字区域的语义特征提取；采用船牌文字数据集，进行训练。
[0011]步骤4：在进行对抗学习训练时，由于船牌文字区域具有一定的锐度，因此为了更好的指导网络生成超分辨的船牌文字，增加文字梯度损失函数以加强对生成网络的监督。
[0012]所述步骤1，具体操作如下：
[0013]1‑
1、根据不同光照、距离、清晰(模糊)程度，在河道中拍摄船舶的高清图像和真实模糊图像，以增强数据集分布的多样性。然后对其中的高清图像和模糊图像中的船牌文字区域进行剪裁，对应得到HR文字图像和真实低分辨船牌文字图像，其中真实低分辨船牌文字图像作为测试集在训练完成后进行模型验证。
[0014]1‑
2、对于提取船牌文字图像原生噪声部分，根据设定的船牌文字噪声patch大小，对噪声patch的方差和均值进行限制，选取方差和均值均在设定阈值区间内的噪声patch区域并保存，遍历所有HR文字图像后得到噪声patch池。
[0015]船牌文字图像中噪声patch的均值、方差计算公式如下：
[0016][0017][0018]其中x
p
代表噪声patch中的第p个像素值，p代表每个噪声patch中的像素总个数，M代表噪声patch的均值，s2代表噪声patch的方差。
[0019]由于需要构建低分辨船牌文字图像，使用双三次插值(bicubic)的方式，对HR文字图像进行缩放，形成初步人工模糊图像。降采样公式如下：
[0020]I
D
＝(I
HR
*K
bic
)
↓
s
ꢀꢀ
(3)
[0021]其中，I
D
表示初步人工模糊图像，I
HR
表示HR文字图像，K
bic
表示双三次插值核，s表示降采样倍数。
[0022]1‑
3、对初步人工模糊图像添加噪声。噪声的来源有3个方面，包括高斯噪声、JPEG压缩噪声和步骤1
‑
2提取到的真实噪声。依次按照高斯噪声、JPEG压缩噪声和真实噪声的顺序，对初步人工模糊图像进行噪声添加，获取最终的LR文字图像，此时便完成对船牌文字数据集的构建。高斯噪声的概率密度计算方式如下：
[0023][0024]其中x为随机变量，p(x)为概率密度，δ为标准差，μ为均值。依次添加高斯噪声、JPEG压缩噪声和真实噪声patch的公式如下：
[0025]I
LR
＝I
D
+n
g
+n
jpeg
+n
i
,i∈{1,2,...,m}
ꢀꢀ
(5)
[0026]其中，I
LR
表示LR文字图像，I
D
表示初步人工模糊图像，n
g
表示高斯噪声，n
jpeg
表示JPEG压缩噪声，n
i
表示从噪声patch池中随机提取的一个噪声patch。m表示噪声patch池中的噪声patch的数量。
[0027]所述步骤2，具体操作如下:
[0028]2‑
1、针对于船牌文字，构建输入数据形状为(N,C,H,W)的特征提取网络和超分辨重建网络，形成生成网络模型。因为最终是为了训练船牌数据，所以此处直接针对船牌训练设置有网络输入形状。
[0029]在特征提取部分，为保证将来生成图像的多样性和细节丰富，网络中不使用标准的BN层。网络首先采用标准卷积层，对输入的DF2K数据集中的低分辨图像特征进行简单提取。然后通过一系列的卷积模块，搭建足够深的神经网络对图像的抽象特征进行提取，为保证浅层网络特征高效传播和避免梯度消失，本方法采用了残差连接和密集连接的方式，对深层网络进行优化。残差连接的计算公式如下：
[0030]x
l
＝F(x
l
‑1)+x
l
‑1ꢀꢀ
(6)
[0031]其中，x
l
‑1表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义信息和梯度监督的船牌图像超分辨方法，其特征在于包括以下步骤：步骤1：收集船舶原始图像并进行预处理；首先拍摄河道中含船牌文字的原始船舶图像，并进行人工标注船牌文字位置，裁剪得到高分辨率船牌文字区域图像，记为HR文字图像；随后对HR文字图像进行降采样操作并加入噪声，生成低分辨率船牌文字区域图像，记为LR文字图像；完成船牌文字数据集的构造；步骤2：针对于船牌文字，构建特征提取网络和超分辨重建网络，形成生成网络模型；然后通过DF2K数据集进行对抗学习预训练，在判别器的指导下，通过对抗学习对生成网络模型参数进行预训练，得到生成网络预训练模型；步骤3：在生成网络预训练模型基础上引入双向LSTM结构，增强对船牌文字区域的语义特征提取；采用船牌文字数据集，进行训练；步骤4：在进行对抗学习训练时，由于船牌文字区域具有一定的锐度，因此为了更好的指导网络生成超分辨的船牌文字，增加文字梯度损失函数以加强对生成网络的监督。2.根据权利要求1所述的一种基于语义信息和梯度监督的船牌图像超分辨方法，其特征在于所述步骤1具体操作如下：1
‑
1、根据不同光照、距离、清晰程度，在河道中拍摄船舶的高清图像和真实模糊图像，以增强数据集分布的多样性；然后对其中的高清图像和真实模糊图像中的船牌文字区域进行剪裁，对应得到HR文字图像和真实低分辨船牌文字图像，其中真实低分辨船牌文字图像作为测试集在训练完成后进行模型验证；1
‑
2、提取船牌文字图像原生噪声，根据设定的船牌文字噪声patch大小，对噪声patch的方差和均值进行限制，选取方差和均值均在设定阈值区间内的噪声patch区域并保存，遍历所有HR文字图像后得到噪声池；船牌文字图像中噪声patch的均值、方差计算公式如下：船牌文字图像中噪声patch的均值、方差计算公式如下：其中x
p
代表噪声patch中的第p个像素值，p代表每个噪声patch中的像素总个数，M代表噪声patch的均值，s2代表噪声patch的方差；由于需要构建低分辨船牌文字图像，使用双三次插值的方式，对HR文字图像进行缩放，形成初步人工模糊图像；降采样公式如下：I
D
＝(I
HR
*K
bic
)
↓
s (3)其中，I
D
表示初步人工模糊图像，I
HR
表示HR文字图像，K
bic
表示双三次插值核，s表示降采样倍数；1
‑
3、对初步人工模糊图像添加噪声；噪声的来源包括高斯噪声、JPEG压缩噪声和步骤1
‑
2提取到的真实噪声；依次按照高斯噪声、JPEG压缩噪声和真实噪声的顺序，对初步人工模糊图像进行噪声添加，获取最终的LR文字图像，此时便完成对船牌文字数据集的构建；高斯噪声的概率密度计算方式如下：
其中x为随机变量，p(x)为概率密度，δ为标准差，μ为均值；依次添加高斯噪声、JPEG压缩噪声和真实噪声patch的公式如下：I
LR
＝I
D
+n
g
+n
jpeg
+n
i
,i∈{1,2,...,m} (5)其中，I
LR
表示LR文字图像，I
D
表示初步人工模糊图像，n
g
表示高斯噪声，n
jpeg
表示JPEG压缩噪声，n
i
表示从噪声patch池中随机提取的一个噪声patch；m表示噪声patch池中的噪声patch的数量。3.根据权利要求1或2所述的一种基于语义信息和梯度监督的船牌图像超分辨方法，其特征在于所述步骤2具体操作如下：2
‑
1、针对于船牌文字，构建输入数据形状为(N,C,H,W)的特征提取网络和超分辨重建网络，形成生成网络模型；在特征提取部分，网络首先采用标准卷积层，对输入的DF2K数据集中的低分辨图像特征进行简单提取；然后通过一系列的卷积模块，搭建足够深的神经网络对图像的抽象特征进行提取，为保证浅层网络特征高效传播和避免梯度消失，采用残差连接和密集连接的方式，对深层网络进行优化；残差连接的计算公式如下：x
l
＝F(x
l
‑1)+x
l
‑
1 (6)其中，x
l
‑1表示残差单元的输入特征，F(x
l
‑1)表示学习到的加权后的残差映射，x
l
表示残差单元的输出特征；密集连接的计算公式如下：x
l
＝F([x1,x2,...,x
l
‑1]) (7)其中，x1,x2,...,x
l
‑1表示密集连接单元的各个输入特征，F([x1,x2,...,x
l
‑1])表示密集连接的映射函数，x
l
表示密集连接单元的输出特征；最后，通过插值、卷积并激活的操作，对特征提取后的图像进行超分辨率重建，得到超分辨率重建图像；卷积并激活的公式如下：其中x为输入特征，y为激活后的输出特征，w为卷积层权重，b为卷积层偏置，relu为激活函数；2
‑
2、通过DF2K数据集进行对抗学习预训练；在判别网络中，输入超分辨率重建图像和DF2K数据集中的高分辨图像，通过对抗学习对生成网络模型参数进行预训练，最终得到一个参数初始化良好的生成网络预训练模型；这部分主要包括判别网络的搭建和损失函数的构建；在搭建判别网络时，使用卷积层、B...

【专利技术属性】
技术研发人员：曹九稳，毋华华，王天磊，杨洁，陈家贵，
申请(专利权)人：杭州志创科技有限公司，
类型：发明
国别省市：