一种基于多尺度优化的图像超分辨率方法技术

本发明专利技术公开了一种基于多尺度优化的图像超分辨率方法，包括训练样本、数据增强模块、联集特征采样模块、多尺度特征图输出模块，所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法，所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层，所述多尺度特征图输出模块包括多尺度因子、上采样卷积核、FC层、RelU层、输出特征矩阵和映射特征矩阵。本发明专利技术用于模糊图像进行高分辨率修复得到高清图像，本发明专利技术在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。等多个领域都有广泛的应用。等多个领域都有广泛的应用。

【技术实现步骤摘要】
一种基于多尺度优化的图像超分辨率方法


[0001]本专利技术涉及图像处理领域，具体为一种基于多尺度优化的图像超分辨率方法。

技术介绍

[0002]超分辨率图像重建是指用信号处理和图像处理的方法，通过软件算法的方式将已有的低分辨率图像转换成高分辨率图像的技术。它在视频监控、图像打印、刑侦分析、医学图像处理、卫星成像等领域有较广泛的应用。
[0003]目前广泛认可的单幅图像SR方法主要为基于结构自相似性的SR方法。基于正则化约束的SR方法将附加信息作为正则化约束项加入到图像重构过程中，将图像重构问题转换为寻求满足特定限制条件解的最优化问题。基于结构自相似性的SR方法利用了图像广泛具有的结构自相似性，并将这种结构自相似性作为图像重构过程中的附加信息。近年来相继出现了一些利用非局部自相似结构的SR方法，这种方法的基本思路是在整幅图像中搜索相同尺度的相似图像块，利用这些相似图像块所提供的互补信息重构高分辨率图像。由于图像自身中相同尺度相似图像块所提供的附加信息具有一定的局限性，因而制约了这种方法图像重构效果的进一步提升。构建与图像高、低频子图所对应的高、低频码本，并通过高频码本所提供的附加信息实现图像重构，这种方法实际上是利用了图像自身不同尺度相似图像块所提供的附加信息将相同尺度和不同尺度相似图像块所提供的附加信息均加入到图像重构过程中，利用相同尺度相似图像块就如同利用多幅低分辨率图像，而不同尺度相似图像块又提供了不同分辨率图像块间的对应关系文献在整幅图像中搜索具有相似结构的图像块,因此存在运算复杂度较高的问题。/>
技术实现思路

[0004]本专利技术的目的是针对现有技术的缺陷，提供一种基于多尺度优化的图像超分辨率方法，以解决上述
技术介绍
提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于多尺度优化的图像超分辨率方法，包括训练样本、数据增强模块、联集特征采样模块和多尺度特征图输出模块。
[0006]作为本专利技术的一种优选技术方案，所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法。
[0007]作为本专利技术的一种优选技术方案，所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层。
[0008]作为本专利技术的一种优选技术方案，所述多尺度特征图输出模块包括多尺度因子、上采样卷积核、FC层、RelU层、输出特征矩阵和映射特征矩阵。
[0009]作为本专利技术的一种优选技术方案，具体方法如下：
[0010]步骤一：成对的训练样本经过数据增强模块得到待训练数据；
[0011]步骤二：待训练数据经过联集特征采样得到中间采样特征图；
[0012]步骤三：由不同的尺度因子生成多个上采样卷积核；
[0013]步骤四：中间采样特征图经过多个上采样卷积核得到多个输出特征矩阵；
[0014]步骤五：多个输出特征矩阵经过FC层全连接操作、RelU层激活计算、FC层全连接操作从而得到位置映射特征矩阵。
[0015]本专利技术的有益效果是：本专利技术用于模糊图像进行高分辨率修复得到高清图像，本专利技术在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。
附图说明
[0016]图1为本专利技术的流程图；
[0017]图2为本专利技术的效果图，其中附图2(左)为待修复区域，附图2(右)为本专利技术提供方法训练得到模型的输出结果。
具体实施方式
[0018]下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易被本领域人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。
[0019]实施例：请参阅图1-2，本专利技术提供一种技术方案：一种基于多尺度优化的图像超分辨率方法，包括训练样本、数据增强模块、联集特征采样模块、多尺度特征图输出模块。
[0020]所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法。所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层。所述多尺度特征图输出模块包括多尺度因子、上采样卷积核、FC层、RelU层、输出特征矩阵和映射特征矩阵。
[0021]具体方法如下：
[0022]步骤一：成对的训练样本经过数据增强模块得到待训练数据；
[0023]步骤二：待训练数据经过联集特征采样得到中间采样特征图；
[0024]步骤三：由不同的尺度因子生成多个上采样卷积核；
[0025]步骤四：中间采样特征图经过多个上采样卷积核得到多个输出特征矩阵；
[0026]步骤五：多个输出特征矩阵经过FC层全连接操作、RelU层激活计算、FC层全连接操作从而得到位置映射特征矩阵。
[0027]参见图1，上述专利技术所述方法主要包括训练样本、数据增强模块、联集特征采样模块、多尺度特征图输出模块。
[0028]目前有一份待训练的模糊样本和清晰样本数据，经过上述方法构建的模型进行训练，包括正则化方法、数据增强、数据清晰等技巧，使得模型训练区域收敛后得到较优模型参数固化。
[0029]输入一张模糊图片，经过联集特征采样得到中间采样特征图，经过多个上采样卷积核得到多个输出特征矩阵，经过多个上采样卷积核得到多个输出特征矩阵，经过FC层全连接操作、RelU层激活计算、FC层全连接操作最终输出的便是修复好的高分辨率图像，具体效果如图2所示。
[0030]本专利技术用于模糊图像进行高分辨率修复得到高清图像，本专利技术在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。
[0031]上实施例仅表达了本专利技术的几种实施方式，其描述较为具体和详细，但并不能因
此而理解为对专利技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进，这些都属于本专利技术的保护范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度优化的图像超分辨率方法，其特征在于：包括训练样本、数据增强模块、联集特征采样模块和多尺度特征图输出模块。2.根据权利要求1所述的一种基于多尺度优化的图像超分辨率方法，其特征在于：所述数据增强模块包括：多尺度下采样增强算法、高斯滤波增强算法和混合增强算法。3.根据权利要求1所述的一种基于多尺度优化的图像超分辨率方法，其特征在于：所述联集特征采样模块包括两个卷积层、两个残差整合层、两个特征拼接层和两个上采样卷积层。4.根据权利要求1所述的一种基于多尺度优化的图像超分辨率方法，其特征在于：所述多尺度特...

【专利技术属性】
技术研发人员：卢学凤，宋清昆，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：