【技术实现步骤摘要】
一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
本专利技术属于图像处理
,特别涉及一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法。
技术介绍
随着数字多媒体技术的快速发展,数字图像成为信息传达的重要表现形式。图像分辨率的高低、携带有用信息量的多少直接关系到人们对信息认知程度的深浅,这使得人们对图像和视频质量的要求越来越高。然而,在实际获取数字图像的过程中,往往会受到诸多因素的影响而导致获取的图像质量下降,例如成像系统内外各种噪声,再加上一些特殊场合需要对数据进行传输、保存、下采样或者压缩,使图像的分辨率及质量进一步恶化,导致人们获取的有价值的图像细节信息大大减少。所以如何有效地提高图像的分辨率及质量以满足应用需求是需要解决的一个问题。一般地,可通过提高硬件性能来提升图像的分辨率,方式有两种:一是通过制造工艺的更新换代,例如增大CCD或CMOS传感器上传感元件的密度;二是通过扩大成像芯片的尺寸来增大传感元件的绝对数目。但这两种方式都存在着瓶颈,第一种方法无法无限制地 ...
【技术保护点】
1.一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法,其特征在于:包括以下步骤:/n图像预处理:/nS1:将训练集中的高分辨率图像进行YCbCr颜色空间转换,然后提取Y通道,将得到的Y通道图像记为Y
【技术特征摘要】
1.一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法,其特征在于:包括以下步骤:
图像预处理:
S1:将训练集中的高分辨率图像进行YCbCr颜色空间转换,然后提取Y通道,将得到的Y通道图像记为YH;
S2:将YH图像分别按照不同缩放尺度的因子进行下采样,得到不同模糊程度的低分辨率图像;
S3:将低分辨率图像不重叠裁剪出子图像块,并进行对应尺度因子的简单上采样,再将YH不重叠裁剪成相对应的子图像块作为标签;
S4:相对应的子图像块对,作为卷积神经网络输入层的数据;
图像特征提取:
S1:输入的图像通过第一层卷积层,再进入MSB1模块;
S2:进入MSB1模块后,采用含有不同大小卷积核的卷积层分别进行特征提取,再采用密集连接的方式进行特征重复学习,各分支的特征进行融合,输出特征图Feature_MSB1;
S3:将特征图Feature_MSB1输入到MSB2模块中,重复S2中学习步骤,将得到的特征图记为Feature_MSB2,再将其输入到下一个MSB模块中;
S4:当特征图从最后一个MSB模块中输出时,将之前学习得到的所有特征图进行融合得到特征图Feature_Sum;
S5:将Feature_Sum通过卷积层进行降维,得到维度为1的残差特征图re;
图像重建:
S1:在其中一个MSB模块后设计监督层,用监督层的输出修正模型的重建误差,
S2:利用输入的低分辨率图像与模型之前学到的残差特征图re进行特征融合,重建出最终的高分辨率图像。
2.如权利要求1所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法,其特征在于:图像预处理步骤中,
S1:将训练集中的高分辨率RGB图像进行YCbCr颜色空间转换,然后提取Y通道,将得到的Y通道图像记为YH;
S2:将YH图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像,分别记为YL2、YL3、YL4;
S3:将YL2、YL3、YL4不重叠裁剪为41×41大小的子图像块,分别记为YL2-sub、YL3-sub、YL4-sub;将YL2-sub、YL3-sub、YL4-sub进行对应尺度因子的简单上采样,得到的结果记为YIL2-sub、YIL3-sub、YIL4-sub,再将YH不重叠裁剪成与YIL2-sub、YIL3-sub、YIL4-sub相对应的子图像块作为标签,分别记为YH2-sub、YH3-sub、YH4-sub;
S4:按照YIL2-sub-YH2-sub、YIL3-sub-YH3-sub、YIL4-sub-YH4-sub相对应的图像对形式保存,作为卷积神经网络输入层的数据。
...
【专利技术属性】
技术研发人员:孙叶美,张艳,刘树东,鲁维佳,李现国,
申请(专利权)人:天津城建大学,
类型:发明
国别省市:天津;12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。