【技术实现步骤摘要】
本专利技术属于数字图像处理中的图像超分处理领域，具体涉及基于深度学习的单张图像超分辨率重建方法，注重高性能且能够重建任意分辨率的算法处理。
技术介绍
1、图像超分辨率(super-resolution,sr)是指由一幅低分辨率图像
2、(low-resolution,lr)或图像序列恢复出高分辨率图像(high-resolution,hr)。hr意味着图像具有高像素密度，可以提供更多的图像细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过基于深度学习的超分辨率技术来获取hr图像具有非常重要的现实意义。
3、单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以分为插值算法，重建模型算法和学习算法三大类。其中，最常见的单图像超分辨率插值算法包括最近邻插值，双线性插值，双三次插值等算法。而基于重建模型的方法是将图像的先验知识输入到图像超分辨重建过程中，使单张图像超分辨重建的不适定性变得似乎有解。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。
4、近年来，随着研究人员对深度学习的领域不断挖掘，基于深度学习的图像超分辨算法也得到
技术实现思路
1、由于现存的基于深度学习的真实图像超分辨率重建网络都是在处理整数倍数的比例因子，不能处理任意的比例因子。本专利技术提供一种基于全局分布学习的真实图像超分辨率重建方法，用于重建任意比例因子的超分辨率图像。
2、本专利技术旨在提供一种能够重建任意比例因子的超分辨率图像，且性能高的真实图像超分辨率重建网络。该网络模型包含三个模块：全局分布学习模块、采样点计算模块以及图像重建模块。全局分布学习模块用于学习图像的连续分布函数的参数，从而构造图像的真实分布。采样点计算模块则用于计算采样坐标，从而在学习出来的真实分布中进行采样。图像重建模块则用于重建出超分辨率图像。
3、一种基于全局分布学习的真实图像超分辨率重建方法，步骤如下：
4、步骤(1)、数据预处理：
5、首先获取数据集，进行训练集和测试集的划分，然后对数据集中的图像进行格式转换，裁剪和数据增强操作。
6、步骤(2)、构建基于全局分布学习的真实图像超分辨率重建网络；
7、真实图像超分辨率重建网络包括三个模块：全局分布学习模块、采样点计算模块和图像重建模块。通过低分辨率图像学习出图像的真实场景分布函数，再估计出采样点坐标，从而进行重新采样，构建出超分辨率图像。
8、步骤(3)、通过预处理后的数据集训练构建的真实图像超分辨率重建网络。
9、进一步的，数据预处理具体方法如下：
10、1-1：数据集下载：采用realsr数据集。realsr数据集是由两款全帧dslr相机(佳能5d3和尼康d810)来捕捉图像收集得到的。它在每个比例因子分别包含183(x2)，234(x3)和178(x4)对lr-hr图像对。所有图像的高度在700到3100间，宽度在600到3500之间。对于训练集和测试集，从每个相机的每个比例因子上随机选择15对图像对来作为测试集，同时使用剩下的图像对作为训练集。
11、1-2：数据处理：对realsr数据集中的图像进行格式转换，将图像统一转换成ycrcb格式，并只保留图像的y通道信息。对于训练集，则再进一步以步长为192对数据集进行裁剪，得到192*192大小的图像块，并将其进行顺时针旋转90°，180°，270°以及水平旋转，以达到数据增强的目的。通过上述数据处理在每个比例因子上分别能够得到43490(x2)，61500(x3)和41765(x4)不重叠的训练lr-hr图像对。
12、进一步的，步骤(2)具体方法如下；
13、2-1：确定图像超分辨率重建理论。
14、数字图像实际上就是对所拍摄场景的连续信号进行采样，然后通过量化得到的。本专利技术的真实图像超分辨重建方法目的就是模仿这一过程。通过低分辨率图像学习出图像的真实场景分布函数，再估计出采样点坐标，从而进行重新采样，构建出超分辨率图像。
15、2-2：构建基于全局分布学习的真实图像超分辨率重建网络。
16、真实图像超分辨率重建网络包括三个模块：全局分布学习模块、采样点计算模块和图像重建模块。
17、全局分布学习模块学习估计出用于构建图像全局分布函数的参数。其结构主要包含三部分：浅层特征提取部分、深层特征提取部分和参数生成部分。浅层特征提取部分由1个卷积层和1个激活层组成。卷积层的输入通道为1，输出通道为64，滤波核尺寸为3*3。激活函数则为relu非线性激活函数。为了保证输出与输入的尺寸相同，卷积层对图像进行相应的像素填充，填充为n/2，其中n为滤波核尺寸的大小。深层特征提取部分则由4个rstb模块组成，每个rstb模块又由2个窗口注意力机制层(stl,swin transformer layer)、1个卷积层和一个激活函数组成。卷积层的输入通道为64，输出通道为64，滤波核尺寸为3*3。激活函数为leakyrelu激活函数。参数生成部分则由1个卷积层和1个自适应平均池化层组成。卷积层的输入通道为64，输出通道k，滤波核尺寸为3*3。k的计算公式如下：
18、
19、其中li为图像重建模块的线性层的第i层的神经元数。
20、具体来说，对于全局分布学习模块，给定一张输入的低分辨图像首先通过浅层特征提取部分提取浅层特征f0∈ic×h×w，公式如下：
21、f0＝ε(cn1(ilr))
22、其中，cin和c分别表示为输入图像和中间特征的通道数，cn1(·)表示一个3*3卷积层，ε(·)为激活函数。然后通过深层特征提取部分获取各像素点的相互关系以及深层次的特征信息fd∈ic×h×w，公本文档来自技高网...
【技术保护点】
1.一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，步骤如下：
2.根据权利要求1所述的一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，数据预处理具体方法如下：
3.根据权利要求1所述的一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，步骤(2)具体方法如下；
4.根据权利要求3所述的一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，对于全局分布学习模块，给定一张输入的低分辨图像首先通过浅层特征提取部分提取浅层特征F0∈IC×H×W，公式如下：
5.根据权利要求3或4所述的一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，步骤(3)具体方法如下：
【技术特征摘要】
1.一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，步骤如下：
2.根据权利要求1所述的一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，数据预处理具体方法如下：
3.根据权利要求1所述的一种基于全局分布学习的真实图像超分辨率重建方法，其特征在于，步骤(2)具体方法如下；
<...【专利技术属性】
技术研发人员：徐文，颜成钢，殷海兵，王帅，张继勇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。