生成网络模型、DD-SRGAN模型及红外图像超分辨重建算法制造技术

本发明专利技术公开了一种生成网络模型、DD

【技术实现步骤摘要】
生成网络模型、DD
‑
SRGAN模型及红外图像超分辨重建算法


[0001]本专利技术涉及信息技术与信息化领域，具体涉及一种生成网络模型、DD
‑
SRGAN双判别生成对抗网络模型及红外图像超分辨重建算法。

技术介绍

[0002]红外图像是通过“测量”物体向外辐射的热量而获得的，因此和可见光相比，能够在恶劣环境下有效获取图像信息。但由于硬件条件限制，红外图像分辨率差、对比度低、信噪比低、视觉效果模糊等。因此利用图像处理的方法获取高分辨率红外图像在遥感、监控、目标检测、军事等领域有重要的现实意义。
[0003]图像超分辨重建技术SR(Super Resolution)借助相关网络模型，可以有效地提高图像的质量。其主要分为三个方向：基于插值的方法、基于重建的方法、基于学习的方法。
[0004]基于插值的方法是通过将低分辨率图像的像素点映射到高分辨率图像上，对缺失的像素点用已知的像素点来估计，经典的方法有局部边缘自适应法、双三插值法。
[0005]基于重建的方法是通过挖掘低分辨率图像中高频信息，结合图像的先验信息，求解低分辨率成像的逆过程，从而恢复图像中的高频信息。如相似性冗余先验、梯度轮廓先验算法等。基于插值和重建的方法相对较为简单，虽能实现图像的超分辨重建但效果并不理想。
[0006]基于学习的方法是通过学习大量的样本集，从而构建出含有先验信息的低分辨率图像到高分辨图像之间的映射关系，实现图像超分辨重建。该方法相比于传统算法在图像特征提取方面表现出更大优势，后来随着深度学习的发展，该方法在图像超分辨领域中占据着主导地位。
[0007]2014年，Chao Dong等人提出的SRCNN算法用三层卷积网络对图像进行超分辨重建，首次实现了深度学习在图像超分辨重建上的应用。
[0008]此后，又有学者在此基础上对网络模型进行改进优化，2016年Kim所提出的VSDR、DRCN算法，通过加深网络模型深度来重建出质量更好的高分辨率图像。
[0009]2017年Ledig等人提出基于GAN网络的SRGAN算法，采用判别对抗的训练模式，使超分辨重建出的图像在视觉感知上达到了更好的效果。
[0010]2018年，Zhang等人提出的RDN算法，利用密集连接的思想能充分提取底层模型的低分辨率图像特征。RDN中的局部特征融合能自适应地学习来自先前和当前局部特征的有效信息，实现连续记忆(CM)机制，从而降低数据维度，增强模型的泛化能力，使训练更加稳定。
[0011]特别地，2018年SRGAN算法在红外图像领域的应用，取得了较好的效果。但该算法在生成器上采用常规的SRCNN网络结构，相对来说模型较为简单，特征提取不够充分，使得生成的红外图像在高频细节上存在丢失问题。此外，该网络层中，BN层结构限制了模型的泛化能力，会造成红外图像产生不好的伪影。

技术实现思路

[0012]由于现有技术存在上述缺陷，本专利技术提供了一种红外图像超分辨重建算法，以解决现有红外图像超分辨能力差、效果不突出、伪影以及图像模糊的问题。
[0013]为实现上述目的，本专利技术提供如下技术方案：
[0014]一种生成网络模型，包括16个外部残差块、4个内部残差块、两个亚像素卷积层和多个跳跃连接，其中，子像素卷积层使用64个滤波器，剩余卷积层均采用128个滤波器；残差块中去掉BN层，只保留卷积层和池化层。
[0015]所述生成网络的具体实现过程如下：
[0016]步骤1、对输入的图像进行一层9
×
9的卷积，提取低频图像特征；
[0017]步骤2、利用密集连接的RIRB加深网络深度，学习若干非线性和更大感受野的高频图像特征；
[0018]步骤3、通过对每个外部残差块的输出进行一次1
×
1的卷积，聚合不同残差块图像的特征；
[0019]步骤4、将RIRB中获得的高频图像特征通过两个亚像素卷积层，实现对低分辨图像的4倍上采样；
[0020]步骤5、通过3
×
3卷积，对图像进行超分辨重建，获取超分辨图像。
[0021]DD
‑
SRGAN双判别生成对抗网络模型，包括生成网络和判别网络，所述生成网络为上述的生成网络模型；所述判别网络包括两个判别器，分别为图像判别器和特征判别器，其中，图像判别器在像素域上对输入的图像进行判别；特征判别器通过对特征图结构信息进行编码，并利用高频分量和结构分量来区分超分辨图像和真实高分辨图像。
[0022]所述判别网络以生成的超分辨图像和原始高分辨图像为输入样本，通过8个卷积层提取图像的512维特征，作为两个全连接层、sigmoid激活函数的输入，再计算样本分类概率，以此判定图像来源。
[0023]所述样本分类概率的计算方法如下：
[0024]将生成的超分辨图像和原始高分辨图像进行对比，通过训练得到损失函数的收敛情况，设定阈值相似度判断样本的分类概率，根据峰值信噪比和结构相似性两个指标判定生成的超分辨图像的指标。
[0025]所述损失函数的定义如下：
[0026][0027][0028]其中，L
P
为感知相似性损失，λ为GAN损失项权重，定义为其中为像素域合成的高频细节特征GAN损失，为特征域上合成的结构细节特征GAN损失。
[0029]通过感知相似度损失分量和双判别网络损失分量对损失函数不断训练优化，直至损失函数达到收敛。
[0030]一种红外图像超分辨重建算法，在SRGAN网络模型基础上，构建双判别生成对抗网络模型，在生成网络中，引入无BN层的RIRB，内部残差块密集连接，外部残差块远、近跳跃连接的方式，将红外图像信息传递到深层网络；在判别网络中，采用图像判别器在像素域上对
输入的红外图像进行判别；特征判别器对特征图结构信息进行编码，获取高频细节特征，并利用高频分量和结构分量来区分超分辨红外图像和真实高分辨红外图像。
[0031]获取高频细节特征过程中，采用感知相似度损失分量和双判别网络损失分量，根据像素域合成的高频细节特征GAN损失和特征域上合成的结构细节特征GAN损失判断生成的红外图像接近于真实的红外图像的程度，值越接近于0，生成的红外图像在高频细节特征上越接近于真实的红外图像；值越接近于0，生成的红外图像在结构整体性上越接近于真实的红外图像。
[0032]通过一个生成器和两个判别器之间的对抗训练，使生成器生成的图像在判别网络的测试下不断更新迭代，直至生成的图像模型无限接近原始真实图像，实现红外图像的超分辨重建。
[0033]与现有技术相比，上述专利技术具有如下优点或者有益效果：
[0034]1、利用感知损失和双判别损失函数优化训练，并根据红外图像特征性质减少数据通道参数，简化训练过程提出的一种双判别生成对抗网络红外图像超分辨重建算法，有效地提高了红外图像的质量，弱化了图像细节伪影问题，使得图像的边缘和纹理特征更加明显。
...

【技术保护点】

【技术特征摘要】
1.一种生成网络模型，其特征在于：包括16个外部残差块、4个内部残差块、两个亚像素卷积层和多个跳跃连接，其中，子像素卷积层使用64个滤波器，剩余卷积层均采用128个滤波器；残差块中去掉BN层，只保留卷积层和池化层。2.根据权利要求1所述的生成网络模型，其特征在于：所述生成网络的具体实现过程如下：步骤1、对输入的图像进行一层9
×
9的卷积，提取低频图像特征；步骤2、利用密集连接的RIRB加深网络深度，学习若干非线性和更大感受野的高频图像特征；步骤3、通过对每个外部残差块的输出进行一次1
×
1的卷积，聚合不同残差块图像的特征；步骤4、将RIRB中获得的高频图像特征通过两个亚像素卷积层，实现对低分辨图像的4倍上采样；步骤5、通过3
×
3卷积，对图像进行超分辨重建，获取超分辨图像。3.DD
‑
SRGAN双判别生成对抗网络模型，其特征在于：包括生成网络和判别网络，所述生成网络为权利要求1或2所述的生成网络模型；所述判别网络包括两个判别器，分别为图像判别器和特征判别器，其中，图像判别器在像素域上对输入的图像进行判别；特征判别器通过对特征图结构信息进行编码，并利用高频分量和结构分量来区分超分辨图像和真实高分辨图像。4.根据权利要求3所述的DD
‑
SRGAN双判别生成对抗网络模型，其特征在于：所述判别网络以生成的超分辨图像和原始高分辨图像为输入样本，通过8个卷积层提取图像的512维特征，作为两个全连接层、sigmoid激活函数的输入，再计算样本分类概率，以此判定图像来源。5.根据权利要求4所述的DD
‑
SRGAN双判别生成对抗网络模型，其特征在于：所述样本分类概率的计算方法如下：将生成的超分辨图像和原始高分辨图像进行对比，通过训练得到损失函数的收敛情况，设定阈值相似度判断样...

【专利技术属性】
技术研发人员：邢志勇，李凯，侯振峰，韩魏静，杨彦盈，倪永祥，郝杰，
申请(专利权)人：上海宝冶集团有限公司，
类型：发明
国别省市：