【技术实现步骤摘要】
本专利技术属于计算机视觉及图像处理，涉及一种退化图像重建方法。
技术介绍
1、图像处理及计算机视觉技术在过去十年中发展迅速，解决了诸多业界难以克服的问题，在良好气象条件下的计算机视觉算法在诸多领域取得了令人瞩目的成果，然而恶劣天气(雨雪雾等天气)及强电磁干扰情况下雨雪雾和干扰噪声等会显著降低图像中各类目标的可见度及清晰度，此类情况对于图像质量的破坏是显而易见的，从而会严重影响现有计算机视觉任务的鲁棒性及准确度，故从低质量退化图像中重建高质量图像是很有必要的。
2、在利用传统的退化图像重建方法进行图像质量恢复时，常用的方法为模型驱动方法，典型技术有小波变换滤波、稀疏编码、形态成分分析等。在利用人工智能重建方法时，常用的方法为数据驱动方法，通过设计特定的网络结构、损失函数及优化策略，使得神经网络学习到训练数据集中退化图像与高质量图像的映射关系，从而实现退化图像重建。典型的网络结构基于卷积神经网络(convolutional neural networks,cnn)，其具有较好地局部特征捕捉能力，可以实现比传统退化图像重建方法更好的效果。而近期基于transformer结构的网络具有全局感受野，可以更好的捕捉整体图像细节，从而使其更充分地学习退化图像与高质量图像之间的映射关系。但基于transformer结构的网络也存在缺少对图像局部细节的捕捉能力且网络规模较大的不足。
3、现有方法中，传统的退化图像重建方法利用雨雪雾的物理特性及背景场景的先验知识，在频率域或空间域进行图像重建。此类重建方法存在计算复杂度高，运
4、现有方法中，基于卷积网络的退化图像重建方法通过设计提取特征能力较强的卷积网络结构，学习原始图像和退化图像间的映射关系，完成图像重建。但是，卷积由于局部感知的特性，无法捕获图像的全局感受野，难以对图像高层信息进行充分的表达。同时特征提取能力较强的卷积神经网络具有参数量大的特点，在训练和推理阶段具有较高的算法复杂度，一定程度上制约了其性能。
5、现有方法中，基于transformer网络的退化图像重建方法通过将图像划分为多个图像片段token，利用图像片段混合器token mixer及前馈网络feed forward network等网络结构，学习原始图像和退化图像间图像片段的映射关系，完成图像重建。但是，基于transformer网络结构具有网络参数量大的特点，在训练和推理阶段具有较高的算法复杂度，一定程度上制约了其性能。同时对图像局部细节的捕捉能力弱于卷积网络结构。
技术实现思路
1、本专利技术解决的技术问题是：克服现有技术的不足，提出一种退化图像重建方法，使网络可以捕捉到更丰富、更精细的图像细节，同时整体网络结构简洁，减少计算量和网络参数，减少网络延时，在去噪、去雨、去雾、去模糊等图像重建任务具有更好的重建能力，细节准确丰富，视觉效果更加逼真。
2、本专利技术解决技术的方案是：一种退化图像重建方法，包括以下步骤：
3、(1)构建退化图像重建网络，退化图像重建网络包括两个并行的子网络：transformer结构子网络和卷积结构子网络，以及混合输出卷积层；
4、transformer结构子网络包括依次连接的输入投影卷积层、稠密连接的transformer块、输出投影卷积层，输入投影卷积层用于将退化图像进行图像编码，提取图像特征形成多通道特征图m；稠密连接的transformer块用于从多通道特征图m中进行细节提取与重建，生成细节丰富的多通道特征图；输出投影卷积层将细节丰富的多通道特征图进行聚合特征、恢复原有尺寸操作，并结合原始输入的退化图像生成transformer结构重建图像；
5、卷积结构子网络包括依次连接的退化图像投影层、分组特征编码层、分组特征解码层，退化图像投影层用于将退化图像投影映射为多通道特征图n；分组特征编码层对多通道特征图n进行精细化特征提取得到多通道精细化特征图，分组特征解码层对多通道精细化特征图进行解码，得到卷积网络重建图像；
6、混合输出卷积层将transformer结构重建图像以及卷积网络重建图像进行融合并选择化输出重建结果，得到最终重建图像；
7、(2)退化图像及无退化图像送入退化图像重建网络训练之前，进行图像增强操作扩充样本；
8、(3)对退化图像重建网络进行训练：将退化图像输入退化图像重建网络，得到预测的最终重建图像，利用预测的最终重建图像和无退化图像计算损失，梯度回传并优化网络参数；
9、(4)重复步骤(3)网络训练过程，直至达到指定的训练轮次，结束训练。
10、进一步的，所述输入投影卷积层包括依次连接的第零卷积层、批归一化层和dropout层；其中，第零卷积层的卷积核为2×2，卷积步长为p，输入通道为3，输出通道为cdim；用于将输入尺寸为(h,w,3)的图像变换成尺寸为(h/p,w/p,cdim)的多通道特征图x，其中h代表图像的高，w代表图像的宽；
11、多通道特征图x经过批归一化层进行批归一化处理以及dropout层进行随机舍弃操作后，输出多通道特征图m到稠密连接的transformer块。
12、进一步的，所述稠密连接的transformer块，每个稠密连接的transformer块称为稠密连接块dfb，dfb之间通过稠密连接方式构成网络的骨干；
13、dfb之间稠密连接方式具体为：第一个稠密连接块dfb1接收输入投影卷积层输出的多通道特征图m，进行图像全局特征提取处理，输出提取得到的特征图x0至其后的每一个dfb；第二个稠密连接块dfb2接收第一个dfb1输出的特征图x0，进行图像全局特征提取处理，输出特征图x1至其后的每一个dfb；第三个稠密连接块dfb3接收输入第一个dfb1输出的特征图x0和第二个dfb2输出的特征图x1，进行图像全局特征提取处理，输出特征图x2至其后的每一个dfb；以此类推，直到最后一个dfbl的输入为特征图x0,x1,……，xl-2输出为特征图xl-1；所述稠密连接的transformer块的输出包括每一个dfb输出的特征图x0,x1,……，xl-1。
14、进一步的，所述稠密连接块dfb的结构为：
15、将第一聚合卷积层作为dfb的聚合器，用于将输入的多通道特征图x0,x1,……，xl-3聚合为尺寸为(h/p,w/p,cdim)的聚合特征图f1，进而特征图f1与前一个dfb的输出xl-2共同经过第二聚合卷积层生成中间特征图zl-1，zl-1经过前馈网络得到同样尺寸的输出特征图xl-1；
16、所述前馈网络的结构包括依次连接的第一前馈卷积层、gelu函数、第二前馈卷积层；其中，第一前馈卷积层的卷积核尺寸为5×5，第二前馈卷积层的卷积核尺寸为1×1。
17、进一步的，所述输出投影卷积层包括依次连接的前卷积层、后卷积层、像素洗牌模块、残差连接模块；<本文档来自技高网...
【技术保护点】
1.一种退化图像重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种退化图像重建方法，其特征在于，所述输入投影卷积层包括依次连接的第零卷积层、批归一化层和Dropout层；其中，第零卷积层的卷积核为2×2，卷积步长为p，输入通道为3，输出通道为Cdim；用于将输入尺寸为(H,W,3)的图像变换成尺寸为(H/p,W/p,Cdim)的多通道特征图X，其中H代表图像的高，W代表图像的宽；
3.根据权利要求1所述的一种退化图像重建方法，其特征在于，所述稠密连接的Transformer块，每个稠密连接的Transformer块称为稠密连接块DFB，DFB之间通过稠密连接方式构成网络的骨干；
4.根据权利要求3所述的一种退化图像重建方法，其特征在于，所述稠密连接块DFB的结构为：
5.根据权利要求4所述的一种退化图像重建方法，其特征在于，所述输出投影卷积层包括依次连接的前卷积层、后卷积层、像素洗牌模块、残差连接模块；
6.根据权利要求1所述的一种退化图像重建方法，其特征在于，所述退化图像投影层包括依次连接的第一投影卷积
7.根据权利要求1所述的一种退化图像重建方法，其特征在于，所述分组特征编码层包括第一空洞卷积层、第一编码卷积层、第二空洞卷积层、批归一化操作、Gelu激活函数；
8.根据权利要求7所述的一种退化图像重建方法，其特征在于，所述分组特征解码层包括第一空洞反卷积层、第一编码反卷积层、第二空洞反卷积层、批归一化操作、Gelu激活函数；
9.根据权利要求1所述的一种退化图像重建方法，其特征在于，所述混合输出卷积层包括第一混合卷积层、第二混合卷积层、Leaky ReLU激活函数、Cat拼接操作、第三混合卷积层；
10.根据权利要求1所述的一种退化图像重建方法，其特征在于，对退化图像重建网络进行训练时，损失函数使用SSIM Loss损失函数和PSNR Loss损失函数，网络参数优化使用Adam优化器。
...【技术特征摘要】
1.一种退化图像重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种退化图像重建方法，其特征在于，所述输入投影卷积层包括依次连接的第零卷积层、批归一化层和dropout层；其中，第零卷积层的卷积核为2×2，卷积步长为p，输入通道为3，输出通道为cdim；用于将输入尺寸为(h,w,3)的图像变换成尺寸为(h/p,w/p,cdim)的多通道特征图x，其中h代表图像的高，w代表图像的宽；
3.根据权利要求1所述的一种退化图像重建方法，其特征在于，所述稠密连接的transformer块，每个稠密连接的transformer块称为稠密连接块dfb，dfb之间通过稠密连接方式构成网络的骨干；
4.根据权利要求3所述的一种退化图像重建方法，其特征在于，所述稠密连接块dfb的结构为：
5.根据权利要求4所述的一种退化图像重建方法，其特征在于，所述输出投影卷积层包括依次连接的前卷积层、后卷积层、像素洗牌模块、残差连接模块；
<...【专利技术属性】
技术研发人员：王凯歌，汪兆秋，李傲宇，马继峰，赵晓宁，
申请(专利权)人：中国航天科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。