基于退化模型的超分辨率图像重建方法及系统技术方案

本发明专利技术涉及图像处理技术领域，公开了一种基于退化模型的超分辨率图像重建方法及系统，旨在解决现有的超分辨率图像重建方法在实际应用时存在效果不佳的问题，主要包括：采集真实的图像数据，构成源数据集，并从源数据集中随机抽取部分图像数据进行清洗得到高分辨率图像数据集；基于源数据集估计模糊核并提取噪声块，分别搭建模糊核收集池和噪声收集池；基于采用插值的降采样方法的广义退化模型，将高分辨率图像数据集中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；训练基于深度残差网络的图像超分模型，基于图像超分模型获得超分辨率图像。本发明专利技术提高了超分效果，特别适用于盲超分场景。别适用于盲超分场景。别适用于盲超分场景。

【技术实现步骤摘要】
基于退化模型的超分辨率图像重建方法及系统


[0001]本专利技术涉及图像处理
，具体来说涉及一种基于退化模型的超分辨率图像重建方法及系统。

技术介绍

[0002]随着移动互联网的快速发展，智能设备逐渐普及到生活的每个角落。随之而来的是大量真实的图像数据，由于存储和传输的需要，这些图片的质量会被压缩，为了使用户获得更加高质量的视觉体验，图像恢复/超分辨率算法应运而生。超分辨率作为一项底层视觉任务，广泛应用于图片、视频修复技术中，从而实现以较低的储存和传输成本获得更高清的视觉感受。
[0003]图像超分辨率(Super Resolution，SR)是指从低分辨率(Low Resolution，LR)图像中恢复高分辨率(High Resolution，HR)图像的过程，其研究方向大致可以归结为两类：一类是研究超分模型，随着深度学习技术的飞速发展，基于深度学习的图像超分模型得到了积极探索，并经常在SR的各种基准上取得良好的性能，这些模型大多都是基于模拟数据集训练的，例如EDSR、ESRGAN等；另一类是研究退化模型，模拟真实世界的图像退化过程，用来构造训练数据对，实现盲超分，同时改善真实世界图像的超分效果，例如KernelGAN、RealSR等。
[0004]实际应用中，低分辨率图像的退化过程往往是非常复杂而且不可知的，当图像超分的预假设退化模型与真实图像的退化方式不匹配时，模型的性能会下降，甚至出现负面效果现象，因此在模拟数据集上训练的单图像超分辨率(Single Image Super Resolution，SISR)算法在实际应用场景下往往效果不佳。

技术实现思路

[0005]本专利技术旨在解决现有的基于退化模型的超分辨率图像重建方法在实际应用时存在效果不佳的问题，提出一种基于退化模型的超分辨率图像重建方法及系统。
[0006]本专利技术解决上述技术问题所采用的技术方案是：一方面，本专利技术提出一种基于退化模型的超分辨率图像重建方法，包括以下步骤：
[0007]步骤1、采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
[0008]步骤2、基于源数据集X估计模糊核，搭建模糊核收集池；
[0009]步骤3、基于源数据集X提取噪声块，搭建噪声收集池；
[0010]步骤4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；
[0011]步骤5、使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。
[0012]进一步地，步骤1中，所述真实的图像数据通过图像采集设备进行采集，具体方法包括：通过调节图像采集设备的分辨率，采集不同分辨率的真实图像。
[0013]进一步地，步骤1中，对部分图像数据进行清洗的方法包括：
[0014]I
HR
＝(I
src
*k
bic
)
↓
sc
；
[0015]其中，I
src
∈X，I
src
表示真实的图像数据，k
bic
属于双三次核，
↓
sc
表示步长为sc的降采样方法。
[0016]进一步地，步骤2中，所述搭建模糊核收集池的方法包括：
[0017]将模糊核收集池初始化为空集；
[0018]分别针对源数据集X中的所有低分辨率图像估计模糊核，并将模糊核加入模糊核收集池中。
[0019]进一步地，所述模糊核的估计方法为KernelGAN方法。
[0020]进一步地，步骤3中，所述搭建噪声收集池的方法包括：
[0021]将噪声收集池初始化为空集；
[0022]分别针对源数据集X中的所有低分辨率图像采集噪声块，判断采集的噪声块是否满足预设滤波规则，若是，则将噪声块添加到噪声收集池中，所述预设滤波规则为：
[0023]f(n
i
)＜v；
[0024]其中，n
i
表示采集的第i个噪声块，f(n
i
)表示方差计算函数，v表示方差最大值。
[0025]进一步地，所述噪声块的采集方法包括：
[0026]假设噪声块n为零均值的加性噪声，则I
noise
＝I
clean
+n，其中，I
clean
表示干净不含噪声的图像，I
noise
表示含有噪声的图像；
[0027]定义两种大小的图像块p
i
和其中，p
i
∈R
d
×
d
，定义两种步长s
g
和s
l
；
[0028]在含有噪声的图像上，以全局步长s
g
滑动截取全局图像块p
i
,在全局图像块p
i
上，以局部步长s
l
滑动截取局部图像块
[0029]若全局图像块p
i
和局部图像块满足如下性质，则该全局图像块p
i
为平滑图像块，将其添加到集合S中；
[0030][0031]遍历所有的图片，最终得到平滑图像块集合S＝{s1,s2,...,s
t
}；
[0032]根据平滑图像块集合获取噪声块集合V＝{v1,v2,...,v
t
}，其中，v
i
＝s
i
‑
Mean(s
i
)，i∈(1,t)。
[0033]进一步地，步骤4中，所述退化模型为：
[0034][0035]其中，I
LR
表示低分辨率图像数据，I
HR
表示高分辨率图像数据，k表示模糊核，
↓
s
表示降采样方法，n表示噪声块。
[0036]进一步地，所述降采样方法包括：最近邻插值降采样方法、双线性插值降采样方法和双三次插值降采样方法。
[0037]进一步地，步骤5中，所述基于深度残差网络的图像超分模型为后上采样超分模
型，上采样方法为亚像素卷积上采样方法。
[0038]进一步地，步骤5中，所述残差网络中的残差块不包括BN层，并且残差块相加后不经过Relu层。
[0039]另一方面，本专利技术还提出一种基于退化模型的超分辨率图像重建系统，包括：
[0040]数据采集模块，用于采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；
[0041]模糊估计模块，用于基于源数据集X估计模糊核，搭建模糊核收集池；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于退化模型的超分辨率图像重建方法，其特征在于，包括以下步骤：步骤1、采集真实的图像数据，构成源数据集X，并从源数据集X中随机抽取部分图像数据进行清洗得到高分辨率图像数据集Y；步骤2、基于源数据集X估计模糊核，搭建模糊核收集池；步骤3、基于源数据集X提取噪声块，搭建噪声收集池；步骤4、分别从模糊核收集池和噪声收集池中随机挑选模糊核和噪声块，基于广义的退化模型，根据挑选的模糊核和噪声块并采用基于插值的降采样方法，将高分辨率图像数据集Y中的高分辨率图像退化成低分辨率图像，构造有监督的SR样本；步骤5、使用构造的有监督的SR样本，训练基于深度残差网络的图像超分模型，基于所述图像超分模型获得超分辨率图像。2.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤1中，所述真实的图像数据通过图像采集设备进行采集，具体方法包括：通过调节图像采集设备的分辨率，采集不同分辨率的真实图像。3.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤1中，对部分图像数据进行清洗的方法包括：I
HR
＝(I
src
*k
bic
)
↓
sc
；其中，I
src
∈X，I
src
表示真实的图像数据，k
bic
属于双三次核，
↓
sc
表示步长为sc的降采样方法。4.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤2中，所述搭建模糊核收集池的方法包括：将模糊核收集池初始化为空集；分别针对源数据集X中的所有低分辨率图像估计模糊核，并将模糊核加入模糊核收集池中。5.如权利要求4所述的基于退化模型的超分辨率图像重建方法，其特征在于，所述模糊核的估计方法为KernelGAN方法。6.如权利要求1所述的基于退化模型的超分辨率图像重建方法，其特征在于，步骤3中，所述搭建噪声收集池的方法包括：将噪声收集池初始化为空集；分别针对源数据集X中的所有低分辨率图像采集噪声块，判断采集的噪声块是否满足预设滤波规则，若是，则将噪声块添加到噪声收集池中，所述预设滤波规则为：f(n
i
)＜v；其中，n
i
表示采集的第i个噪声块，f(n
i
)表示方差计算函数，v表示方差最大值。7.如权利要求6所述的基于退化模型的超分辨率图像重建方法，其特征在于，所述噪声块的采集方法包括：假设噪声块n为零均值的加性噪声，则I
noise
＝I
clean
+n，其中，I
clean
表示干净不含噪声的图像，I
noise
表...

【专利技术属性】
技术研发人员：郑敏娥，胡亮，张聃，展华益，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：