一种基于融合退化先验的盲图像超分辨率重建方法和系统技术方案

技术编号:34733657 阅读:86 留言:0更新日期:2022-08-31 18:23
本发明专利技术提供一种基于融合退化先验的核反卷积盲图像超分辨率重建网络;低分辨率图像输入所述上采样网络,重建出满足原始模糊核约束的高分辨率尺度的过渡图像;将所述过渡图像和所述原始模糊核输入所述反卷积网络,实现高分辨率图像的重建。本发明专利技术通过引入退化建模的方式,将盲图像超分辨率重建解耦,并将完整原始模糊核显式引入重建过程中,避免了由于引入预生成的模糊核降维手段而带来的模糊核信息丢失,以及面对未知退化核而带来的泛化性问题,端到端的实现了盲图像超分辨率重建。端到端的实现了盲图像超分辨率重建。端到端的实现了盲图像超分辨率重建。

【技术实现步骤摘要】
一种基于融合退化先验的盲图像超分辨率重建方法和系统


[0001]本专利技术涉及图像处理
,具体地,涉及一种基于融合退化先验的盲图像超分辨率重建方法。

技术介绍

[0002]图像超分辨率重建,是指在给定低分辨率图像的条件下,重建恢复出与之对应的高分辨率图像。由于高分辨率的图像不仅意味分辨率的提升,还需要保证高频细节的呈现能力,以及图像内容的一致性;好的高分辨率重建图像,不仅带来显著的视觉效果提升,还可以有效的服务与下游数字图像处理任务。因此,图像超分辨率重建作为数字图像处理领域最为基础以及经典的任务,经历了数十年的研究仍旧是一个较为火热的领域。
[0003]而在现实生活中,压缩编码、网络传输和终端显示设备的快速发展促进了视频产业朝着4K甚至8K超高清发展,以满足用户不断增长的高画质需求,超高清视频已经打通了从摄制到用户端到端的技术链路。然而,与之矛盾的是现存大量优秀历史影像资源例如各类珍贵历史影像、专题纪录片、经典影视作品等,受限于摄制时代等因素,仍以标清、高清分辨率为主,并且存在不同程度的质量损失,在如今的高清显示设备上观看体验不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合退化先验的盲图像超分辨率重建方法,其特征在于,包括:将盲图像超分辨率重建任务解耦成上采样网络和反卷积网络;低分辨率图像输入所述上采样网络,重建出满足原始模糊核约束的高分辨率尺度的过渡图像;将所述过渡图像和所述原始模糊核输入所述反卷积网络,实现高分辨率图像的重建。2.根据权利要求1所述的一种基于融合退化先验的盲图像超分辨率重建方法,其特征在于,所述低分辨率图像输入所述上采样网络,重建出满足原始模糊核约束的高分辨率尺度的过渡图像,包括:低分辨率图像输入所述上采样网络;对所述低分辨率图像进行特征提取和映射,获得低分辨率图像特征;将所述低分辨率图像特征进行尺度变换并映射回图像域;生成高分辨率尺度过渡图像。3.根据权利要求2所述的一种基于融合退化先验的盲图像超分辨率重建方法,其特征在于,所述低分辨率图像输入所述上采样网络,其中:仅以sRGB空间的低分辨率图像I
LR
∈R
H
×
W
×3作为所述上采样网络的输入,其中H,W为输入图像尺寸;所述对所述低分辨率图像进行特征提取和映射,其中,使用卷积网络对输入图像进行特征提取;所述将所述低分辨率图像特征进行尺度变换,其中,使用特征通道变换将输出图像尺寸进行提升;所述生成高分辨率尺度过渡图像,其中,输出满足模糊核约束的高分辨率尺度过渡图像I
SRBlur
∈R
sH
×
sW
×3,其中s为分辨率提升的尺度,表示为4.根据权利要求1所述的一种基于融合退化先验的盲图像超分辨率重建方法,其特征在于,将所述过渡图像和所述原始模糊核输入所述反卷积网络,实现高分辨率图像的重建,包括:对上采样网络输出的高分辨率尺度过渡图经过卷积神经网络提取图像特征;对所述图像特征和所述原始模糊核分别进行傅里叶变换,从特征区到频域,对应得到特征图频域特征和模糊核频域特征;将所述特征图频域特征和所述模糊核频域特征分别进行变换;在频域使用变换后的模糊核频域特征对变换后的特征图频域特征进行滤波和校正;重建出对应高分辨率清晰图像。5.根据权利要求4所述的一种基于融合退化先验的盲图像超分辨率重建方法,其特征在于,所述重建出对应高分辨率清晰图像,包括:对于滤波和校正后的图像特征,采用傅里叶反变换回到空间域;使用卷积网络进行特征映射,实现最终的高分辨清晰图像的重建。6.根据权利要求4所述的一种基于融合退化先验的盲图像超分辨率重建方法,其特征在于,所述将过渡图像和所述原始模糊核输入所述反卷积网络,实现高分辨率图像的重建,包括:以所述上采样网络输出的过渡图像I
SRBlur
以及原始模糊核k∈R
m
×
m
为输入,其中m表示模
糊核窗函数尺度,通过反卷积网络完成对于卷积作用的去除,生成最终的高分辨率清晰图像I
SR
∈R
sH
×
sW
×3,表示为7.根据权利要求5所述的一种基于融合退化先验的盲图像超分辨率重建方法,其特征在于,所述对上采样网络输出的高分辨率尺度过渡图经过卷积神经网络提取图像特征,其中...

【专利技术属性】
技术研发人员:张小云付裕张娅王延峰
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1