一种基于深度残差网络的单照片超分辨增强方法技术

本发明专利技术中提出的一种基于深度残差网络的单照片超分辨增强方法，其主要内容包括：卷积模块、独立结构层、变换模型、损失函数，其过程为，首先使用一系列卷积模块和像素重整模块搭建深度残差网络，使用独立的卷积层和数据叠加层进行图像残差的提炼和叠加，然后中间数据经过像素重整模块，里面的上采样操作将输入图像的清晰度提高。本发明专利技术可以处理不同尺寸图像的超分辨率增强，提供单变换和多变换框架解决图像生成，同时在控制图像视觉上的扭曲程度下提高图像的清晰度和分辨率。

【技术实现步骤摘要】
一种基于深度残差网络的单照片超分辨增强方法
本专利技术涉及图像增强领域，尤其是涉及了一种基于深度残差网络的单照片超分辨增强方法。
技术介绍
分辨率增强技术是一种有效的克服传感器技术限制，提高图像空间分辨率的方法。因为它的应用可以提高图像的空间分辨率，这样人们更容易分辨和识别出图像中的细节信息，因此分辨率增强技术对提高目标检测能力具有重要意义。例如，在军事上，高的空间分辨率遥感图像更容易获取坦克、飞机等目标的信息，为进一步的军事指挥计划、实施军事打击等提供必要的帮助；在医学上，更高空间分辨率的CT或MRI等图像可以使医生对微小病变组织等进行精确识别，更准确地诊断病人的病情，为人类健康造福；在抢险救灾中，更高空间分辨率的图像对于准确地检测出起火点、溃堤点位置等，对及时挽救人民生命财产安全具有重要意义。因此针对高光谱图像特点进一步研究新的空间分辨率增强方法，对提高目标检测能力是非常必要的，对加强我国国防建设，发展国民经济等都具有重要的意义。此外，随着高新技术的出现，提高图像的分辨率有助于智能导航、人机交互机器人、交通工具自动停泊等新兴领域的发展。传统方法中，在观察者对场景采用了变焦观察方法时，观察者需要在不同的焦距下观察场景的局部细节特征。然而为了保证场景的效果，图像不可能无限制地放大。采用传统插值方法对图像进行数倍放大处理后，图像将会变得整体模糊，边缘处更会产生锯齿现象。如果继续提高图像的放大倍数，图像的质量将下降得非常快。因此，如何有效的提高图像的分辨率已成为基于图像的虚拟现实系统需要解决的一个重要问题。本专利技术提出了一种基于深度残差卷积与叠加的新框架。使用一系列卷积模块和像素重整模块搭建深度残差网络，使用独立的卷积层和数据叠加层进行图像残差的提炼和叠加，然后中间数据经过像素重整模块，里面的上采样操作将输入图像的清晰度提高。本专利技术可以处理不同尺寸图像的超分辨率增强，提供单变换和多变换框架解决图像生成，同时在控制图像视觉上的扭曲程度下提高图像的清晰度和分辨率。
技术实现思路
针对解决在常规不定尺寸图像中进行图像分辨率增强的问题，本专利技术的目的在于提供一种基于深度残差网络的单照片超分辨增强方法，提出了一种基于深度残差卷积与叠加的新框架。为解决上述问题，本专利技术提供一种基于深度残差网络的单照片超分辨增强方法，其主要内容包括：(一)卷积模块；(二)独立结构层；(三)变换模型；(四)损失函数。其中，所述的卷积模块，包括一般结构层和数据叠加层。所述的一般结构层，将中间数据依次经过第一卷积层、非线性激活函数层和第二卷积层，具体地：(1)第一卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1；(2)非线性激活函数：采用ReLU激活函数，其函数特性及作用为引入非线性操作，将特征图中小于零的值变成零，而大于零的值维持不变：f(x)＝max(0,x),(1)(3)第二卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1。所述的数据叠加层，包括局部叠加和全局叠加两部分，具体为：(1)局部叠加：在处理中间数据时，输入到每一个卷积模块时的数据流和该数据流经过一般结构层处理后的数据流进行合并，并且作为该卷积模块的输出，继续输入到下一卷积模块；(2)全局叠加：最初的输入图像经过卷积层后的数据流与经过全部卷积模块和批归一化处理后的数据流进行叠加，输入到像素重整模块。所述的像素重整模块，包括一个卷积层和一个像素重整层，具体为：(1)卷积层：卷积核大小为3×3，输出特征图个数为256，卷积步长为1；(2)像素重整层：使用比例系数C，对输入数据流进行上采样操作。所述的独立结构层，包括三个独立卷积层一个批归一化处理层，分别应用在网络框架前端、中端和终端，具体设置为：(1)卷积层I1：卷积核大小为9×9，输出特征图个数为64，卷积步长为1；(2)卷积层I2：卷积核大小为3×3，输出特征图个数为64，卷积步长为1；(3)批归一化处理层：在训练过程中，按照每批次训练的方式，将数据x进行归一化处理，具体为：其中，E(·)和Var(·)分别表示取绝对值操作和取方差操作；(4)卷积层I3：卷积核大小为9×9，输出特征图个数为F，卷积步长为1。所述的变换模型参数设置，包括单变换模型参数设置和多变换模型参数设置。所述的单变换模型，按照串联方式将所有卷积模块依次排列，并设置卷积模块总数B为32，输出特征图个数F为256，上采样比例系数为C为0.1。所述的多变换模型，在单变换模型的基础上，先在图像传输前端增加一个并行的残差网络，具体为3个卷积模块并行放置，然后再将输出的数据合并输入到后续的串联卷积模块序列中；设置串联卷积模块总数B为80，输出特征图个数F为64，上采样比例系数为C为0.1。所述的损失函数，用均方差函数进行图像视觉上的扭曲程度控制，以降低卷积操作对图像的破坏，具体为：给定低分辨率图像ILR、真实超分辨图像IHR和通过本网络产生的超分辨率图像G(ILR)，有：其中，W、H分别是该图像的宽度与高度。附图说明图1是本专利技术一种基于深度残差网络的单照片超分辨增强方法的系统流程图。图2是本专利技术一种基于深度残差网络的单照片超分辨增强方法的效果图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。图1是本专利技术一种基于深度残差网络的单照片超分辨增强方法的系统流程图。主要包括卷积模块；独立层结构；变换模型；损失函数。其中，卷积模块，包括一般结构层和数据叠加层。一般结构层，将中间数据依次经过第一卷积层、非线性激活函数层和第二卷积层，具体地：(1)第一卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1；(2)非线性激活函数：采用ReLU激活函数，其函数特性及作用为引入非线性操作，将特征图中小于零的值变成零，而大于零的值维持不变：f(x)＝max(0,x),(1)(3)第二卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1。数据叠加层，包括局部叠加和全局叠加两部分，具体为：(1)局部叠加：在处理中间数据时，输入到每一个卷积模块时的数据流和该数据流经过一般结构层处理后的数据流进行合并，并且作为该卷积模块的输出，继续输入到下一卷积模块；(2)全局叠加：最初的输入图像经过卷积层后的数据流与经过全部卷积模块和批归一化处理后的数据流进行叠加，输入到像素重整模块。像素重整模块，包括一个卷积层和一个像素重整层，具体为：(1)卷积层：卷积核大小为3×3，输出特征图个数为256，卷积步长为1；(2)像素重整层：使用比例系数C，对输入数据流进行上采样操作。独立结构层，包括三个独立卷积层一个批归一化处理层，分别应用在网络框架前端、中端和终端，具体设置为：(1)卷积层I1：卷积核大小为9×9，输出特征图个数为64，卷积步长为1；(2)卷积层I2：卷积核大小为3×3，输出特征图个数为64，卷积步长为1；(3)批归一化处理层：在训练过程中，按照每批次训练的方式，将数据x进行归一化处理，具体为：其中，E(·)和Var(·)分别表示取绝对值操作和取方差操作；(4)卷积层I3：卷积核大小为9×9，输出特征图个数为F，卷积步长为1。变换模型参数设置，包括单变换模型参数设置和多变本文档来自技高网...

【技术保护点】
一种基于深度残差网络的单照片超分辨增强方法，其特征在于，主要包括卷积模块(一)；独立结构层(二)；变换模型(三)；损失函数(四)。

【技术特征摘要】
1.一种基于深度残差网络的单照片超分辨增强方法，其特征在于，主要包括卷积模块(一)；独立结构层(二)；变换模型(三)；损失函数(四)。2.基于权利要求书1所述的卷积模块(一)，其特征在于，包括一般结构层和数据叠加层。3.基于权利要求书2所述的一般结构层，其特征在于，将中间数据依次经过第一卷积层、非线性激活函数层和第二卷积层，具体地：(1)第一卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1；(2)非线性激活函数：采用ReLU激活函数，其函数特性及作用为引入非线性操作，将特征图中小于零的值变成零，而大于零的值维持不变：f(x)＝max(0,x),(1)(3)第二卷积层：卷积核大小为3×3，输出特征图个数为64，卷积步长为1。4.基于权利要求书2所述的数据叠加层，其特征在于，包括局部叠加和全局叠加两部分，具体为：(1)局部叠加：在处理中间数据时，输入到每一个卷积模块时的数据流和该数据流经过一般结构层处理后的数据流进行合并，并且作为该卷积模块的输出，继续输入到下一卷积模块；(2)全局叠加：最初的输入图像经过卷积层后的数据流与经过全部卷积模块和批归一化处理后的数据流进行叠加，输入到像素重整模块。5.基于权利要求书4所述的像素重整模块，其特征在于，包括一个卷积层和一个像素重整层，具体为：(1)卷积层：卷积核大小为3×3，输出特征图个数为256，卷积步长为1；(2)像素重整层：使用比例系数C，对输入数据流进行上采样操作。6.基于权利要求书1所述的独立结构层(二)，其特征在于，包括三个独立卷积层一...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44