一种基于融合退化先验的盲图像超分辨率重建方法和系统技术方案

本发明专利技术提供一种基于融合退化先验的核反卷积盲图像超分辨率重建网络；低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像；将所述过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建。本发明专利技术通过引入退化建模的方式，将盲图像超分辨率重建解耦，并将完整原始模糊核显式引入重建过程中，避免了由于引入预生成的模糊核降维手段而带来的模糊核信息丢失，以及面对未知退化核而带来的泛化性问题，端到端的实现了盲图像超分辨率重建。端到端的实现了盲图像超分辨率重建。端到端的实现了盲图像超分辨率重建。

【技术实现步骤摘要】
一种基于融合退化先验的盲图像超分辨率重建方法和系统


[0001]本专利技术涉及图像处理
，具体地，涉及一种基于融合退化先验的盲图像超分辨率重建方法。

技术介绍

[0002]图像超分辨率重建，是指在给定低分辨率图像的条件下，重建恢复出与之对应的高分辨率图像。由于高分辨率的图像不仅意味分辨率的提升，还需要保证高频细节的呈现能力，以及图像内容的一致性；好的高分辨率重建图像，不仅带来显著的视觉效果提升，还可以有效的服务与下游数字图像处理任务。因此，图像超分辨率重建作为数字图像处理领域最为基础以及经典的任务，经历了数十年的研究仍旧是一个较为火热的领域。
[0003]而在现实生活中，压缩编码、网络传输和终端显示设备的快速发展促进了视频产业朝着4K甚至8K超高清发展，以满足用户不断增长的高画质需求，超高清视频已经打通了从摄制到用户端到端的技术链路。然而，与之矛盾的是现存大量优秀历史影像资源例如各类珍贵历史影像、专题纪录片、经典影视作品等，受限于摄制时代等因素，仍以标清、高清分辨率为主，并且存在不同程度的质量损失，在如今的高清显示设备上观看体验不佳，导致其优秀艺术和珍贵历史价值等无法很好地呈现。另外，由于超高清内容拍摄成本高、制作难度大，导致当前超高清视频内容依旧非常缺乏，远无法满足用户对多样化高画质内容的需求，将众多现存的优秀历史影像资源进行视频质量的提升，既能缓解如今超高清视频内容缺乏的问题，也能使历史影像资源重获新生，经典再现。针对历史影像的修复增强任务，其中较为关键的是如何高质量的进行像素的补充，在保真细节的条件下实现分辨率的提升，被称为图像超分辨率重建。然而由于历史影像在摄制的年代，设备，场景等方面都各有不同，其图像质量则面临着不同种类，程度的退化，使得设计出一种通用有效的图像超分辨率方法成为了一个颇具挑战的问题。
[0004]自深度学习在图像识别领域成功应用，并获得了远超传统方法的性能以来，深度学习已被广泛用于各类数字图像处理领域。对于图像超分辨率重建任务而言，已经取得了远超传统插值方法，基于优化的重建方法的重建质量。
[0005]基于深度学习的图像超分辨率方法通过构建高，低分辨率匹配数据集的方式，将低分辨率图像作为输入，用对应的高分辨率图像作为监督，对深度网络参数进行拟合。因此，网络参数学习的信息往往是深度取绝于高、低分辨率匹配数据集的产生方式。早期基于深度学习的图像超分辨重建工作往往假定低分辨率图像是由高分辨率图像经过双三次插值(Bicubic)得到，并以此构建训练数据集和测试集，对网络进行训练和评估。
[0006]但在真实场景下，图像的退化是由景深、相机特性、光照等因素共同决定，退化往往复杂且不可知，致使在Bicubic假设下训练的网络参数，在面对真实场景时，往往性能会出现严重下降甚至失效。面对退化未知的图像超分辨率重建场景，盲图像超分辨率重建工作被提出，为了简化问题，退化过程被建模为I
LR
＝(I
HR
*k)
↓
s
+n，式中I
LR
，I
HR
分别为低，高分辨率图像，k为模糊核函数，*为卷积操作，
↓
s
以及n分别为下采样操作和加性噪声。上述建模
过程，假设了低分辨率图像是由高分辨率图像经过未知的模糊核卷积及下采样，再加上加性噪声得到。模糊操作，下采样，噪声在相机内部信号处理过程中都常常被用到，因此，与Bicubic假设相比，盲图像超分辨的退化建模更具理论和实际意义，有更强的泛化性。与传统Bicubic假设相比，盲图像超分辨率重建，在以低分百年率图像为输入的条件下，其未知参量出了对应的高分辨率图像之外，还有模糊核，下采样方式，噪声等信息。而在后者中，下采样方式和噪声强度相对较为单一，可以使用前级网络进行处理，关键的阻碍已经影响网络泛化性的因素为未知的模糊核信息。因此，当前盲图像超分辨率重建工作，通常是分两部的策略，第一步估计出相应模糊核，第二部结合模糊核以及低分辨率图像信息，进行高分辨率图像的重建。然而，已有方法通常会选择使用预生成的主成分分析(PCA)对估计出的模糊核进行降维，以节省计算量，再朴素的将降维后的模糊核信息与低分辨率图像进行拼接，建模模糊核与图像之间的关系，实现重建。这带来了以下问题：(1).预生成的降维手段不仅造成了模糊核信息的丢失，也严重限制了网络的泛化能力，因为预生成的降维手段在面对未见过的模糊核会失效，致使整个重建网络都需重新训练。(2).依靠网络建模模糊核与图像之间的关系，丢弃了模糊核的物理意义。
[0007]经检索，公开号为CN111369442A的中国专利技术，公开了一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，首先给定某一地区对应的高、低分辨率光学遥感图像并划分测试样本和训练样本，其次对数据中所有低分辨率图像进行模糊核估计，接着使用训练集所有样本的模糊核进行K均值聚类，再利用聚类的模型对测试集高、低分辨率图像对进行分类，然后构建基于注意力机制的神经网络模型，并设定高、低分辨率图像的绝对值误差作为损失函数，根据测试集重建结果得到最优模型，最后根据该模型对输入图像进行重建，输出最终的结果图。该专利技术也存在预生成的降维手段在面对未见过的模糊核会失效，致使整个重建网络都需重新训练等问题。

技术实现思路

[0008]针对现有技术中的缺陷，本专利技术的目的是提供一种基于融合退化先验的盲图像超分辨率重建方法和系统。
[0009]根据本专利技术的一个方面，提供一种基于融合退化先验的盲图像超分辨率重建方法，包括：
[0010]将盲图像超分辨率重建任务解耦成上采样网络和反卷积网络；
[0011]低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像；
[0012]将所述过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建。
[0013]优选地，所述低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像，包括：
[0014]低分辨率图像输入所述上采样网络；
[0015]对所述低分辨率图像进行特征提取和映射，获得低分辨率图像特征；
[0016]将所述低分辨率图像特征进行尺度变换并映射回图像域；
[0017]生成高分辨率尺度过渡图像。
[0018]优选地，所述低分辨率图像输入所述上采样网络，其中：仅以sRGB空间的低分辨率图像I
LR
∈R
H
×
W
×3作为所述上采样网络的输入，其中H,W为输入图像尺寸；
[0019]所述对所述低分辨率图像进行特征提取和映射，其中，使用卷积网络对输入图像进行特征提取；
[0020]所述将所述低分辨率图像特征进行尺度变换，其中，使用特征通道变换将输出图像尺寸进行提升；
[0021]所述生成高分辨率尺度过渡图像，其中，输出满足模糊核约束的高分辨率尺度过渡图像I
SRBlur
∈R
sH<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，包括：将盲图像超分辨率重建任务解耦成上采样网络和反卷积网络；低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像；将所述过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建。2.根据权利要求1所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述低分辨率图像输入所述上采样网络，重建出满足原始模糊核约束的高分辨率尺度的过渡图像，包括：低分辨率图像输入所述上采样网络；对所述低分辨率图像进行特征提取和映射，获得低分辨率图像特征；将所述低分辨率图像特征进行尺度变换并映射回图像域；生成高分辨率尺度过渡图像。3.根据权利要求2所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述低分辨率图像输入所述上采样网络，其中：仅以sRGB空间的低分辨率图像I
LR
∈R
H
×
W
×3作为所述上采样网络的输入，其中H,W为输入图像尺寸；所述对所述低分辨率图像进行特征提取和映射，其中，使用卷积网络对输入图像进行特征提取；所述将所述低分辨率图像特征进行尺度变换，其中，使用特征通道变换将输出图像尺寸进行提升；所述生成高分辨率尺度过渡图像，其中，输出满足模糊核约束的高分辨率尺度过渡图像I
SRBlur
∈R
sH
×
sW
×3，其中s为分辨率提升的尺度，表示为4.根据权利要求1所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，将所述过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建，包括：对上采样网络输出的高分辨率尺度过渡图经过卷积神经网络提取图像特征；对所述图像特征和所述原始模糊核分别进行傅里叶变换，从特征区到频域，对应得到特征图频域特征和模糊核频域特征；将所述特征图频域特征和所述模糊核频域特征分别进行变换；在频域使用变换后的模糊核频域特征对变换后的特征图频域特征进行滤波和校正；重建出对应高分辨率清晰图像。5.根据权利要求4所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述重建出对应高分辨率清晰图像，包括：对于滤波和校正后的图像特征，采用傅里叶反变换回到空间域；使用卷积网络进行特征映射，实现最终的高分辨清晰图像的重建。6.根据权利要求4所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述将过渡图像和所述原始模糊核输入所述反卷积网络，实现高分辨率图像的重建，包括：以所述上采样网络输出的过渡图像I
SRBlur
以及原始模糊核k∈R
m
×
m
为输入，其中m表示模
糊核窗函数尺度，通过反卷积网络完成对于卷积作用的去除，生成最终的高分辨率清晰图像I
SR
∈R
sH
×
sW
×3，表示为7.根据权利要求5所述的一种基于融合退化先验的盲图像超分辨率重建方法，其特征在于，所述对上采样网络输出的高分辨率尺度过渡图经过卷积神经网络提取图像特征，其中...

【专利技术属性】
技术研发人员：张小云，付裕，张娅，王延峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：