一种任意比率图像超分辨率方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种任意比率图像超分辨率方法。包括：搭建生成器，包括其中的特征提取模块与Meta

【技术实现步骤摘要】
一种任意比率图像超分辨率方法、系统、设备及存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种任意比率图像超分辨率方法、任意比率图像超分辨率系统、计算机设备及计算机可读存储介质。

技术介绍

[0002]近年来，随着视觉传感器性能的大幅提升，视觉数据量大幅增加。然而，通过视觉传感器获得的图像在传输过程中常常受到噪声、降采样等因素的影响，使得图像的质量下降，分辨率降低，原始场景中的一些细节也会因此而损失。面对大量的视觉数据，人们对于高分辨率的图像和视频要求越来越高。
[0003]超分辨率技术是图像处理和计算机视觉的一项重要课题。它是指将一副或多幅低分辨率图像作为输入，构造其没有的细节从而获取高分辨率图像的方法。图像的超分辨率技术可以应用于多个领域，比如监控视频缩放、医学图像恢复重建、恢复低清卫星图像细节和低分辨率文字图像复原等。
[0004]随着深度学习的流行，人们也成功的将其应用在图像超分辨率方法当中，并取得出色效果。基于深度学习的超分辨率方法的操纵过程如下，首先要将低分辨率图像作为输入，然后再利用训练好的网络结构进行重建，最后输出高分辨率图像。近几年来，深度学习在超分辨率重建方面得到广泛应用和发展，模型结构变得更加简约并且重建图像质量更加优秀，极大地推动了该领域技术的进步。
[0005]目前的现有技术之一是Wang等的《Esrgan：Enhanced super
‑
resolutiongenerative adversarial networks》以及Ledig等的《Photo
‑
realistic single image super
‑
resolution using a generative adversarial network》所提出的基于生成对抗网络的图像超分辨率方法，方法思路都是：1)利用残差网络组成的残差块再将多个残差块用密集连接的方式连接在一起，构建生成器；判别器采用相对平均判别器(Relativistic average Discriminator,RaD)；2)设计总损失函数，其中包含感知损失和对抗损失，利用构建好的损失函数对模型进行对抗训练，得到训练好的模型；3)最后，将低分辨率图像输入训练好的生成器中，输出的结果就是超分辨率重建后的图像。这类方法的缺点是：其所使用的上采样模块无法实现对低分辨率图像的任意比率放大，仅适用于整数放大比率；对于不同的放大比率，这类方法必须专门设计对应的放大模块，即针对不同的放大比率必须训练不同的模型。
[0006]目前的现有技术之二是Hu等的《Meta
‑
SR：a magnification
‑
arbitrary networkfor super
‑
resolution》提出的基于卷积神经网络任意比率放大的单图像超分辨率方法，其引入残差网络、跳跃连接和注意力机制等技术使网络结构变得更深，最后通过Meta
‑
Upscale模块进行上采样，实现任意比率放大的图像超分辨率。具体包括：1)先构建低分辨率图像和高分辨率图像的数据对作为训练集，输入模型中；2)模型首先对输入的单张低分辨率图像提取特征，即对图像进行卷积得到低分辨率特征图；3)将提取的低分辨率特征图输入到后续的网络模型中进行非线性映射，得到高分辨率特征图；4)最后基于Meta
‑
Upscale模块对高分辨率特征图进行上采样重建，恢复成高分辨率图像；5)利用像素损失函数计算生成的高分辨率图像和真实的高分辨率图像的损失，然后反向更新网络模型的权重，将上面的步骤重复多次，得到训练好的超分辨率模型；6)将要重建的图像输入训练好的超分辨率模型，得到重建后的图像，作为超分辨率重建的结果。该方法的缺点是：1)使用的L1、均方误差(MSE)这样的像素损失函数难以恢复丢失的高频细节(如纹理)，会导致处理后图像的质量较差；2)对于较高的图像放大尺度，这种超分辨率技术处理后的图像会趋于平滑，存在细节信息丢失的情况。

技术实现思路

[0007]本专利技术的目的是克服现有方法的不足，提出了一种任意比率图像超分辨率方法、系统、设备及存储介质。本专利技术解决的主要问题，是如何实现单个模型对低分辨率图像的任意比率放大，且对于较高放大比率的超分辨率重建任务，如何恢复高频信息，使重建后的图像不会过于平滑。
[0008]为了解决上述问题，本专利技术提出了一种任意比率图像超分辨率方法，所述方法包括：
[0009]收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集；
[0010]搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及 Meta
‑
Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta
‑
Upscale上采样结构中，输出生成的超分辨率图像；
[0011]以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用VGG 网络搭建生成对抗网络中的相对平均判别器(Relativistic average Discriminator， RaD)；
[0012]将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器；
[0013]重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型；
[0014]将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。
[0015]优选地，所述特征提取模块，具体为：
[0016]特征提取模块的输入为低分辨率图像，输出为低分辨率特征图，其基于一个大的残差网络，第一层卷积块用于提取低分辨率图像特征，后续连接23个 Basic Block模块，Basic Block模块是残差中的残差密集块(Residualin ResidualDense Block，RRDB)，Basic Block模块结合了多层残差网络和密集连接。
[0017]优选地，所述Meta
‑
Upscale上采样结构，具体为：
[0018]Meta
‑
Upscale上采样结构的输入为低分辨率特征图，输出为生成的超分辨率图像，Meta
‑
Upscale上采样结构进行三个操作：位置投影、权重预测以及特征映射；
[0019]位置投影的目标是找到超分辨率图像每一个像素所对应的低分辨率图像像素；
[0020]权重预测能够根据尺度相关和坐标相关的向量去预测滤波器的权重和数量，而不用直接从训练数据集学习；
[0021]特征映射是利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任意比率图像超分辨率方法，其特征在于，所述方法包括：收集图像数据集，对其中的原始高分辨率图像做双三次插值，完成任意比率的下采样，获得对应的低分辨率图像，将这些成对的低分辨率图像和原始高分辨率图像作为训练数据集；搭建生成对抗网络中的生成器，包括搭建其中的特征提取模块以及Meta
‑
Upscale上采样结构，其中，所述低分辨率图像输入到特征提取模块中，输出低分辨率特征图，然后低分辨率特征图输入到Meta
‑
Upscale上采样结构中，输出生成的超分辨率图像；以所述生成的超分辨率图像和所述原始高分辨率图像作为输入，使用VGG网络搭建生成对抗网络中的相对平均判别器(Relativistic average Discriminator，RaD)；将所述训练数据集中的低分辨率图像输入所述生成器中，得到生成的超分辨率图像，构建用于训练所述生成器的损失函数和训练所述相对平均判别器的损失函数以计算生成的超分辨率图像和原始高分辨率图像的损失，然后反向更新所述生成器和所述相对平均判别器；重复训练预先设定的次数，得到训练好的生成器，即超分辨率重建模型；将待处理的低分辨率图像输入所述超分辨率重建模型中，输出的图像就是重建后的超分辨率图像。2.如权利要求1所述的一种任意比率图像超分辨率方法，其特征在于，所述特征提取模块，具体为：特征提取模块的输入为低分辨率图像，输出为低分辨率特征图，其基于一个大的残差网络，第一层卷积块用于提取低分辨率图像特征，后续连接23个Basic Block模块，Basic Block模块是残差中的残差密集块(Residual in Residual Dense Block，RRDB)，Basic Block模块结合了多层残差网络和密集连接。3.如权利要求1所述的一种任意比率图像超分辨率方法，其特征在于，所述Meta
‑
Upscale上采样结构，具体为：Meta
‑
Upscale上采样结构的输入为低分辨率特征图，输出为生成的超分辨率图像，Meta
‑
Upscale模块进行三个操作：位置投影、权重预测以及特征映射；位置投影的目标是找到超分辨率图像每一个像素所对应的低分辨率图像像素；权重预测能够根据尺度相关和坐标相关的向量去预测滤波器的权重和数量，而不用直接从训练数据集学习；特征映射是利用预测出的滤波器权重，将低分辨率特征图映射到目标超分辨率图像。4.如权利要求1所述的一种任意比率图像超分辨率方法，其特征在于，所述搭建生成对抗网络中的相对平均判别器，具体为：相对平均判别器记作D
Ra
(
·
)，如下所示：所示：C表示通用判别器的原始输出结果，即单幅图像放入通用判别器后的输出值，x
r
表示原始高分辨率图像，x
f
表示生成的超分辨率图像，σ表示sigmoid激活函数，E表示期望值。
5.如权利要求4所述的一种任意比率图像超分辨率方法，其特征在于，所述生成器的损失函数，具体为：生成器的损失函数包括感知损失、对抗损失以及L1损失：其中L
percep
表示感知损失，其操作方式是利用VGG网络在激活层前提取高分辨率图像和低分辨率图像的特征，并计算它们之间的损失；是对抗损失，如下所示：L1损失如下所示：其中G(...

【专利技术属性】
技术研发人员：林格，全绍军，刘海亮，
申请(专利权)人：长视科技股份有限公司，
类型：发明
国别省市：