一种基于边缘增强和失真估计的混合失真图像复原方法技术

本发明专利技术公开了一种基于边缘增强和失真估计的混合失真图像复原方法，涉及图像处理技术领域。该方法的具体实施方式包括：获取待复原图像；其中，待复原图像包括一种或多种失真；将包括一种或多种失真的待复原图像输入图像复原模型，将待复原图像输入特征提取模块，得到待复原图像的图像特征图；将图像特征图输入边缘检测模块，根据边缘检测模块的输出，得到边缘图像；将图像特征图输入失真估计模块，对待复原图像中的失真信息进行估计，得到失真向量；将图像特征图、边缘图像和失真向量输入图像重建模块，根据图像重建模块的输出，得到复原图像。该实施方式能够基于图像特征图、失真向量、边缘图像进行重建，得到复原后的图像，提高图像复原质量。高图像复原质量。高图像复原质量。

【技术实现步骤摘要】
一种基于边缘增强和失真估计的混合失真图像复原方法


[0001]本专利技术属于图像处理
，具体涉及一种基于边缘增强和失真估计的混合失真图像复原方法。

技术介绍

[0002]图像复原是指对失真图像进行分析，以重建出高质量的清晰图像，能够有效提高后续图像利用过程中目标检测、图像分割等高级视觉任务的准确率，可以应用于工业生产、公共安全领域、医学工程等各种领域。
[0003]失真图像通常包括多种失真方式，包括图像噪声、图像模糊、压缩失真等，现有的混合失真的图像复原方法通常包括预知失真类型的混合失真复原和未知失真类型的混合失真复原，前者采用去噪、超分辨率、去马赛克等方式流水线地对失真图像进行操作，后者采用双重先验(失真先验和图像先验)学习的混合多失真增强算法、SVM判断失真类型+流水线处理方法、失真检测与复原一体化的图像复原方法等。
[0004]然而，预知失真类型的混合失真图像复原方法无法处理单一失真图像，兼容性较差。双重先验学习的混合多失真增强算法处理时间超长、复原效果和迭代次数相关，导致使用成本极高，效率低下；SVM判断失真类型+流水线处理方法并未考虑失真类型之间的相互干扰，去除一种失真的同时会引入新的失真干扰，导致复原出的图像质量欠佳；失真检测与复原一体化的图像复原方法无法较为准确地描述各种失真的失真程度，失真检测和复原衔接松散，复原质量差。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于边缘增强和失真估计的混合失真图像复原方法，能够首先提取输入图像的图像特征图，对图像的失真信息进行估计，得到失真向量，同时利用图像特征图对图像的边缘进行检测得到边缘图像，基于图像特征图、失真向量、边缘图像进行重建，得到复原后的图像，可以充分利用图像的边缘特征，丰富图像复原过程中的边缘细节，提高图像复原质量。
[0006]实现本专利技术的技术方案如下：
[0007]一种基于边缘增强和失真估计的混合失真图像复原方法，包括：
[0008]获取待复原图像；其中，所述待复原图像包括一种或多种失真；
[0009]将包括一种或多种失真的所述待复原图像输入图像复原模型，所述图像复原模型包括特征提取模块、边缘检测模块、失真估计模块和图像重建模块，其中：
[0010]所述图像复原模型将所述待复原图像输入所述特征提取模块，得到所述待复原图像的图像特征图；
[0011]将所述待复原图像的图像特征图输入所述边缘检测模块，根据所述边缘检测模块的输出，得到边缘图像；
[0012]将所述待复原图像的图像特征图输入所述失真估计模块，对所述待复原图像中的
失真信息进行估计，得到所述待复原图像的失真向量；
[0013]将所述图像特征图、所述边缘图像和所述失真向量输入所述图像重建模块，根据所述图像重建模块的输出，得到所述待复原图像的复原图像。
[0014]可选地，所述特征提取模块由1个卷积层和m个残差块组成，每个残差块包含2个3
×
3的卷积层，2个卷积层之间使用LeakyReLU激活函数进行激活；其中，5<m<10。
[0015]可选地，所述边缘检测模块由n个残差块、2个卷积层和1个LeakyReLU激活函数组成；其中，5<n<10。
[0016]可选地，所述失真估计模块由1个下采样层、1个全局平均池化层、3个全连接层、2个LeakyReLU激活函数和1个Sigmoid激活函数组成；其中，所述下采样层采用步长为2的2
×
2卷积层。
[0017]可选地，所述图像重建模块由3个卷积层、p个特征融合块和1个LeakyReLU激活函数组成；其中，20<p<40。
[0018]可选地，每一个所述特征融合块由4个卷积层、2个LeakyReLU激活函数、1个全连接层和1个Sigmoid激活函数组成。
[0019]可选地，在所述图像复原模型的训练过程中，还包括：
[0020]将样本图像作为待训练图像复原模型的输入，根据所述待训练图像复原模型的输出和所述原始图像的对比，确定模型损失函数为：
[0021]其中，N为样本图像的批量大小，为所述待训练图像复原模型复原后的图像、为样本图像，λ为第一平衡因子，为失真估计模块估计出的样本图像的边缘图像、为样本图像的真实的边缘图像，μ为第二平衡因子，为失真估计模块估计出的样本图像的失真向量、为样本图像的真实的失真向量；
[0022]对所述待训练图像复原模型进行迭代训练；
[0023]根据所述迭代训练的训练结果，确定最终的图像复原模型。
[0024]有益效果：
[0025](1)本专利技术对失真图像的边缘信息和失真信息进行估计，并利用得到的边缘图像和失真向量重建图像，一方面，通过特征融合块中的边缘特征图的处理分支增强复原图像的边缘细节，复原效果更好；另一方面，依据失真向量生成调节变量，为每个特征融合块中的图像特征图的处理分支分配权重，通过联合训练各模块，使得网络可以复原不同类型、不同程度的混合失真图像，达到全局最优，复原结果稳定，避免多种失真之间的干扰。
[0026](2)本专利技术的失真估计模块可以判断待复原图像所含失真的类型并估计相应的失真程度，从而更准确地描述图像的失真信息。
[0027](3)本专利技术将边缘特征图融合到图像特征图中，充分利用图像的边缘信息，在图像的重建过程中逐步增强图像的边缘特征，使得复原的图像的边缘细节更加丰富。
附图说明
[0028]图1为根据本专利技术实施例的基于边缘增强和失真估计的混合失真图像复原方法的主要流程的示意图。
[0029]图2为根据本专利技术实施例的图像复原模型的结构示意图。
[0030]图3为根据本专利技术实施例的图像复原模型的使用方法的主要流程的示意图。
[0031]图4为根据本专利技术实施例的特征提取模块的结构示意图。
[0032]图5为根据本专利技术实施例的边缘检测模块的结构示意图。
[0033]图6为根据本专利技术实施例的失真估计模块的结构示意图。
[0034]图7为根据本专利技术实施例的图像重建模块的结构示意图。
[0035]图8为根据本专利技术实施例的图像重建模块的特征融合块的结构示意图。
具体实施方式
[0036]下面结合附图并举实施例，对本专利技术进行详细描述。
[0037]本专利技术提供了一种基于边缘增强和失真估计的混合失真图像复原方法，如图1所示，本专利技术的基于边缘增强和失真估计的混合失真图像复原方法包括如下步骤：
[0038]步骤11，获取待复原图像；其中，所述待复原图像包括一种或多种失真。
[0039]在本专利技术实施例中，待复原图像存在未知类型、未知程度的混合失真，失真方式可以是雾、高斯模糊、高斯噪声和JPEG压缩失真等。
[0040]进一步地，待复原图像可以包括一种或者多种失真，或者，待复原图像可以不包含失真，本专利技术的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘增强和失真估计的混合失真图像复原方法，其特征在于，包括：获取待复原图像；其中，所述待复原图像包括一种或多种失真；将包括一种或多种失真的所述待复原图像输入图像复原模型，所述图像复原模型包括特征提取模块、边缘检测模块、失真估计模块和图像重建模块，其中：所述图像复原模型将所述待复原图像输入所述特征提取模块，得到所述待复原图像的图像特征图；将所述待复原图像的图像特征图输入所述边缘检测模块，根据所述边缘检测模块的输出，得到边缘图像；将所述待复原图像的图像特征图输入所述失真估计模块，对所述待复原图像中的失真信息进行估计，得到所述待复原图像的失真向量；将所述图像特征图、所述边缘图像和所述失真向量输入所述图像重建模块，根据所述图像重建模块的输出，得到所述待复原图像的复原图像。2.如权利要求1所述的方法，其特征在于，所述特征提取模块由1个卷积层和m个残差块组成，每个残差块包含2个3
×
3的卷积层，2个卷积层之间使用LeakyReLU激活函数进行激活；其中，5<m<10。3.如权利要求1所述的方法，其特征在于，所述边缘检测模块由n个残差块、2个卷积层和1个LeakyReLU激活函数组成；其中，5<n<10。4.如权利要...

【专利技术属性】
技术研发人员：侯舒娟，王宇航，李海，张钦，宋政育，武毅，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：