一种分层图像超分辨率方法、系统、计算机设备及应用技术方案

本发明专利技术属于图像处理技术领域，公开了一种分层图像超分辨率方法、系统、计算机设备及应用，使用图像数据集DIV2K作为训练集，基于引导滤波器对训练样本进行分层；设计两个深度残差卷积网络DLRCN和DGRCN，分别用于细节图像的训练和平滑图像的训练；分别用细节图像样本训练集对深度局部残差卷积网DLRCN进行训练，用平滑图像样本训练集对深度全局残差卷积网DGRCN进行训练；分别用细节图像测试样本集对深度局部残差卷积网DLRCN进行训练，用平滑图像测试样本集对深度全局残差卷积网DGRCN进行训练，验证所提模型的准确性和可靠性。本发明专利技术分别对细节层和平滑层进行超分辨率和融合，提高了图像分辨率和增强细节。

【技术实现步骤摘要】
一种分层图像超分辨率方法、系统、计算机设备及应用
本专利技术属于图像处理
，尤其涉及一种分层图像超分辨率方法、系统、计算机设备及应用。
技术介绍
目前，医学图像、遥感图像、天文图像、SRA雷达图像、军用夜视图像等不同领域的图像，在成像和传输过程中都会受到设备本身和外界信号的干扰，造成图像伴有大量的噪声，导致图像细节淹没在噪声中，或者使得图像分辨率降低，严重影响图像质量，使得后续的图像分割、图像识别等图像处理任务不能顺利进行。图像超分辨重建技术就是一种在不改变现有硬件成像设备及工艺水平条件下，利用软件处理的方法对同一场景的低分辨率图像进行处理得到高分辨率图像的技术。该技术可以经济、高效地提高图像的分辨率和视觉质量，已成为图像处理领域的研究热点。近些年来，基于深度学习的图像超分辨率技术得到了学界广泛的研究。香港中文大学的Dong等首次将卷积神经网络引入图像超分辨率，构建了SRCNN网络模型，该网络仅由三层构成，分为特征提取层，非线性映射层以及重构层。该模型虽然取得了优于传统算法的效果，但存在收敛速度慢、不同放大倍数需要重新进行训练。针本文档来自技高网...

【技术保护点】
1.一种分层图像超分辨率方法，其特征在于，所述分层图像超分辨率方法包括：/n使用图像数据集DIV2K作为训练集，基于引导滤波器对训练样本进行分层，利用公式分别将LR样本图像分为细节图像和平滑图像，将HR样本图像分为细节图像和平滑图像，并建立一一对应关系；形成了两个样本训练库，一个是细节图像样本训练库，一个是平滑图像样本训练库；/n设计两个深度残差卷积网络DLRCN和DGRCN，分别用于细节图像的训练和平滑图像的训练；/n分别用细节图像样本训练集对深度局部残差卷积网DLRCN进行训练，用平滑图像样本训练集对深度全局残差卷积网DGRCN进行训练；/n分别用细节图像测试样本集对深度局部残差卷积网DL...

【技术特征摘要】
1.一种分层图像超分辨率方法，其特征在于，所述分层图像超分辨率方法包括：
使用图像数据集DIV2K作为训练集，基于引导滤波器对训练样本进行分层，利用公式分别将LR样本图像分为细节图像和平滑图像，将HR样本图像分为细节图像和平滑图像，并建立一一对应关系；形成了两个样本训练库，一个是细节图像样本训练库，一个是平滑图像样本训练库；
设计两个深度残差卷积网络DLRCN和DGRCN，分别用于细节图像的训练和平滑图像的训练；
分别用细节图像样本训练集对深度局部残差卷积网DLRCN进行训练，用平滑图像样本训练集对深度全局残差卷积网DGRCN进行训练；
分别用细节图像测试样本集对深度局部残差卷积网DLRCN进行训练，用平滑图像测试样本集对深度全局残差卷积网DGRCN进行训练，验证所提模型的准确性和可靠性。


2.如权利要求1所述的分层图像超分辨率方法，其特征在于，所述分层图像超分辨率方法建立训练集：使用图像数据集DIV2K作为训练集，从DIV2K中选取400幅图像来构建LR-HR训练样本库。


3.如权利要求1所述的分层图像超分辨率方法，其特征在于，所述分层图像超分辨率方法的图像分层利用引导图像的结构变化，对输入的图像进行引导滤波，最终输出图像既保留了输入图像的整体特征，获取引导图像的变化细节；引导滤波器的算法为引导图像I和滤波输出图像q之间是局部线性模型，在以像素点k为中心的窗口wk中，输出图像q是引导图像I的线性变换：
qi＝akIi+bk
式中：(ak,bk)为常量，该线性模型假定当且仅当引导图像I有边缘时q才会有边缘，▽q＝a▽I，为了求出线性系数(ak,bk)要对滤波输入图像p进行约束；输出图像q是由输入图像p减去噪声n得到的：
qi＝pi-ni；
为了求出线性系数(ak,bk)的最优解，要使q和p之间的差异最小，等价为最小化窗口wk中的代价函数：



其中λ为小于1的正则化参数，公式是一个线性回归模型，最优解是：

bk＝μk-akμk；
由引导滤波器的性质知，由式qi＝akIi+bk得到的引导滤波器的输出图像q，其保持了引导图像I的边缘，于是利用式Ienhance＝k(I-q)+q对引导滤波器输出图像q进行细节增强：
Ienhance＝k(I-q)+q；
其中，Ienhance表示细节增强图像，k表示细节放大倍数，在文中选用，根据式Ienhance＝k(I-q)+q对图像I进行分层，分为细节层Idetail和平滑层Ismooth，用公式表示如下：
Idetail＝Ienhance-I；
Ismooth＝2I-Ienhance；
I＝Idetail+Ismooth；
图像经过分层后就分为两部分，分别为细节层和平滑层，即一幅图像由细节图像和平滑图像构成，细节图像代表图像的高频部分，平滑图像道标图像的低频部分。


4.如权利要求1所述的分层图像超分辨率方法，其特征在于，所述分层图像超分辨率方法的建立模型通过引导滤波器可以把一幅图像分为细节图像和平滑图像两部分，根据细节图像和平滑图像的不同特性，采用不同的网络结构对细节图像和平滑图像分别进行超分辨率重建，合并这部分的超分辨率结果，得到整幅图像的超分辨率结果；
深度局部残差卷积网DLRCN用于细节图像超分辨率重建，为局部残差卷积网，该网络结构由3部分组成，分别是：
a)特征提取层Conv+PReLU：采用核尺寸为3×3×c的64个卷积核生成64个特征图，使用PReLU对特征图进行非线性变换，形成非线性特征映射图，设步长为1，c为通道数，灰度图像通道数为1，彩色图像通道数为3；
b)局部残差非线性映射层：局部残差非线性映射层由k个残差卷积块ResidualBlock串联构成，ResidualBlock的结构，每个ResidualBlock由Conv+BN+PReLU+Conv构成：非线性映射层由k层ResidualBlock构成，每层中包含64个大小为3×3的卷积核，完成对64个特征图的滤波，并且将批量归一化BN加在卷积和PReLU之间，以解决网络内部协变量转变的问题，步长设为1；
c)反卷积层Deconv：网络末端为反卷积层，该层使用一组反卷积滤波器对输出的残差图像进行上采样；反卷积层使用5×5卷积核，步长为放大因子n。


5.如权利要求1所述的分层图像超分辨率方法，其特征在于，所述分层图像超分辨率方法的建立深度全局残差卷积网DGRCN用于平滑图像超分辨率重建，为全局残差卷积网，该网络结构也由3部分组成，分别是：
a)特征提取层Conv+PReLU：采用核尺寸为3×3×c的64个卷积核生成64个特征图，使用PReLU对特征图进行非线性变换，形成非线性特征映射图，设步长为1，c为通道数，灰度图像通道数为1，彩色图像通道数为；
b)非线性映射层：非线性映射层由k个卷积块ConvBlock串联构成，ConvBlock的结构，每个ConvBlock由Conv+BN+PReLU构成：非线性映射层每层中包含64个大小为3×3的卷积核，完成对64个特征图的滤波，并且将批量归一化BN加...

【专利技术属性】
技术研发人员：刘哲，任义烽，乌伟，
申请(专利权)人：西京学院，
类型：发明
国别省市：陕西;61