基于双重控制网络的图像去模糊系统及方法技术方案

本发明专利技术提出了一种基于双重控制网络的图像去模糊系统及方法，所述系统包括：用于对输入的图像进行图像特征提取编码模块；用于根据提取的图像特征进行退化处理和进一步特征提取处理的数据模块；用于对数据模块的处理过程进行控制的控制模块；用于根据处理后的数据进行解码获得重构特征的解码模块；其中在编码模块和解码模块之间建立有循环跳步连接，经由所述循环跳步连接编码模块的输出被加入到解码模块的输入，并且解码模块的输出被加入到编码模块的输入中。本发明专利技术通过双重控制改善了基于深度学习网络的有效性问题和解决了基于模型的灵活性问题，大大提高了图像去模糊SSIM、PSNR指标，提升视觉效果。提升视觉效果。提升视觉效果。

【技术实现步骤摘要】
基于双重控制网络的图像去模糊系统及方法


[0001]本专利技术涉及图像处理，具体涉及一种图像去模糊系统及方法。

技术介绍

[0002]传统的图像去模糊采用滤波的方法，将图像划分为不同的成分，滤除影响图像质量的模糊成分，合成清晰图像。随着人工智能的发展，深度学习端到端处理图像复原任务被广泛研究。通过构建一个深度学习网络架构，不断地学习组成清晰图像的特征，然后通过模糊图像对比，形成特征图映射，最后特征融合恢复清晰图像。
[0003]现有基于深度学习去模糊的方法大都是以编解码器结构为基础，在输出端加注意模块，增强输出特征。此类图像去模糊方法计算过程复杂，参数量大，存在严重振铃效应，复原效果存在很大提高空间，识别模糊核等能力亦大有不足。

技术实现思路

[0004]专利技术目的：针对现有技术的不足，本专利技术提供一种基于双重控制网络的图像去模糊系统及方法，在节省计算成本的同时保持良好的图像复原效果。
[0005]技术方案：第一方面，一种基于双重控制网络的图像去模糊系统，包括：用于对输入的图像进行图像特征提取编码模块；用于根据提取的图像特征进行退化处理和进一步特征提取处理的数据模块；用于对数据模块的处理过程进行控制的控制模块；用于根据处理后的数据进行解码获得重构特征的解码模块；其中在编码模块和解码模块之间建立有循环跳步连接，经由所述循环跳步连接编码模块的输出被加入到解码模块的输入，并且解码模块的输出被加入到编码模块的输入中。
[0006]进一步地，数据模块包含退化分支和处理分支，所述退化分支根据编码模块提取的图像特征利用模糊核生成模糊图像，生成的模糊图像被添加至输入图像中；所述处理分支利用残差网络模块对图像特征进行进一步特征提取，获取符合清晰条件的特征；所述控制模块在退化分支生成退化图像时，控制模糊核生成模糊图像，并在处理分支进行处理时将退化图像作为输入以供处理分支进行处理。
[0007]进一步地，编码模块和解码模块为堆叠结构，编码模块提取图像特征包括通道不同的三个阶段，每个阶段都通过一层特征提取块提取图像特征，再通过两层非线性变换块对提取的图像特征进行数学变换；解码模块包括和编码模块相对应的三个阶段，每个阶段都通过两个非线性变换层和一个特征重构层完成解码。
[0008]进一步地，编码模块第一阶段的特征提取层输出的特征正向跳跃连接至解码模块的相对应阶段的特征重构层，编码模块第一阶段和第二阶段的第二非线性变换层输出的特征分别正向跳跃连接至解码模块对应的下一阶段的特征重构层。
[0009]进一步地，所述残差网络模块为残差模块结合U
‑
Net的ResUNet。
[0010]第二方面，一种基于双重控制网络的图像去模糊方法，包括以下步骤：
[0011]编码模块根据输入图像提取图像特征；
[0012]控制模块对提取的图像特征施加模糊核，经过数据模块的处理生成退化的模糊图像，控制模块将退化的模糊图像添加到输入图像中；
[0013]编码模块根据更新后的输入图像提取特征，提取的特征经过数据模块的处理，得到符合清晰条件的特征，同时编码模块提取的特征经由循环跳步连接添加到解码模块的输入端；
[0014]解码模块根据符合清晰条件的特征以及循环跳步连接传递的特征，完成特征的重构，复原出清晰的图像，其中解码模块的输出经由循环跳步连接加入到编码模块的输入中。
[0015]进一步地，编码模块提取图像特征包括通道不同的三个阶段，每个阶段都通过一层特征提取块提取图像特征，再通过两层非线性变换块对提取的图像特征进行数学变换；解码模块包括和编码模块相对应的三个阶段，每个阶段都通过两个非线性变换层和一个特征重构层完成解码。
[0016]进一步地，编码模块第一阶段的特征提取层输出的特征正向跳跃连接至解码模块的相对应阶段的特征重构层，编码模块第一阶段和第二阶段的第二非线性变换层输出的特征分别正向跳跃连接至解码模块对应的下一阶段的特征重构层。
[0017]根据本专利技术的第三方面，提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，当所述一个或多个程序被所述一个或多个处理器执行时实现本专利技术第二方面的基于双重控制网络的图像去模糊方法。
[0018]有益效果：本专利技术提供一种基于双重控制网络的图像去模糊系统及方法，使用双重控制模块分别控制退化分支和处理分支，能够识别12种不同的模糊核，简化了大量网络参数，此网络结构有良好的灵活性和有效性，增强图像去模糊的清晰程度，具有杰出的复原效果。
附图说明
[0019]图1为根据本专利技术实施例的基于双重控制网络的图像去模糊系统总体结构示意图；
[0020]图2为根据本专利技术实施例的编解码器结构示意图；
[0021]图3为根据本专利技术实施例的两种测试集上不同方法的去模糊对比；
[0022]图4为根据本专利技术实施例的经过DCNet网络处理前后真实模糊图像对比；
[0023]图5为根据本专利技术实施例的真实模糊图像的复原效果。
具体实施方式
[0024]下面结合附图对本专利技术的技术方案作进一步说明。
[0025]本专利技术提供一种基于双重控制网络的图像去模糊系统，其总体结构如图1所示。该图像去模糊系统包括：用于输入图像的输入模块；用于对输入的图像进行编码，提取图像特征的编码模块；用于对提取的图像特征数据进行退化处理和特征提取处理的数据模块；用于对特征数据的处理过程进行控制的控制模块；用于对处理后的数据进行解码，复原出图像的解码模块；以及用于在编码模块和解码模块之间进行循环跳步处理的循环跳步连接模块。参照图1，在该系统结构中，X
i
、X
d
分别表示输入和输出图像；数据模块包含处理分支和退
化分支，其中D
n
表示退化分支，S
n
表示处理分支，退化分支用于对图像进行退化处理，处理分支则用于对图像进行特征提取，控制模块通过参数控制退化分支和处理分支。D
image
表示的是经退化分支得到的模糊图像，再输入到系统中。循环跳步连接指的是将输出特征放入输入端进一步提取特征，以增强输出特征。
[0026]基于该图像去模糊系统，大量的训练数据集经过网络学习，通过编码器提取特征，通过退化分支生成退化空间数据集，通过处理分支处理特征，最后经解码器重构特征，获得清晰图像。
[0027]本专利技术中编码模块和解码模块下文中简称为编解码器结构，如图2所示，编解码器结构采用了堆叠式结构，包括特征提取层、非线性变换层和特征重构层，堆叠式编解码器结构有助于更深度的提取和学习并重构特征。在编解码器结构中采用了循环跳步连接，这种连接方式加强底层和顶层的特征映射关系。
[0028]具体而言，参照图2，在编码器阶段包含特征提取块和非线性变换块，因为图像去模糊需要提取模糊特征和清晰背景层，也是一种图像特征。所以为了提取这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双重控制网络的图像去模糊系统，其特征在于，包括：用于对输入的图像进行图像特征提取编码模块；用于根据提取的图像特征进行退化处理和进一步特征提取处理的数据模块；用于对数据模块的处理过程进行控制的控制模块；用于根据处理后的数据进行解码获得重构特征的解码模块；其中在编码模块和解码模块之间建立有循环跳步连接，经由所述循环跳步连接编码模块的输出被加入到解码模块的输入，并且解码模块的输出被加入到编码模块的输入中。2.根据权利要求1所述的基于双重控制网络的图像去模糊系统，其特征在于，数据模块包含退化分支和处理分支，所述退化分支根据编码模块提取的图像特征利用模糊核生成模糊图像，生成的模糊图像被添加至输入图像中；所述处理分支利用残差网络模块对图像特征进行进一步特征提取，获取符合清晰条件的特征；所述控制模块在退化分支生成退化图像时，控制模糊核生成模糊图像，并在处理分支进行处理时将退化图像作为输入以供处理分支进行处理。3.根据权利要求1所述的基于双重控制网络的图像去模糊系统，其特征在于，编码模块和解码模块为堆叠结构，编码模块提取图像特征包括通道不同的三个阶段，每个阶段都通过一层特征提取块提取图像特征，再通过两层非线性变换块对提取的图像特征进行数学变换；解码模块包括和编码模块相对应的三个阶段，每个阶段都通过两个非线性变换层和一个特征重构层完成解码。4.根据权利要求3所述的基于双重控制网络的图像去模糊系统，其特征在于，编码模块第一阶段的特征提取层输出的特征正向跳跃连接至解码模块的相对应阶段的特征重构层，编码模块第一阶段和第二阶段的第二非线性变换层输出的特征分别正向跳跃连接至解码模块对应的下一阶段的特征重构层。5.根据权利要求1所述的基于双重控制网络的图像去模糊系统，其特征在于，所述残差网络...

【专利技术属性】
技术研发人员：李晨，李佳，郭业才，赵东，李红旭，
申请(专利权)人：无锡学院，
类型：发明
国别省市：