图像超分辨率重建方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像超分辨率重建方法、装置、设备及存储介质，所述方法中，包括获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；构建包括生成器网络和判别器网络的生成对抗网络模型，将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模型进行训练，该损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函数包括内容损失函数和对抗损失函数，所述内容损失函数包括VGG网络损失函数，光照损失函数和结构相似性损失函数，所述生成器网络的损失函数的表达式为：。本方案能够使得生成对抗网络模型对光照强度更加敏感，以及使得生成的图像视觉质量更好。以及使得生成的图像视觉质量更好。以及使得生成的图像视觉质量更好。

【技术实现步骤摘要】
图像超分辨率重建方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像超分辨率重建方法、装置、设备及存储介质。

技术介绍

[0002]单幅图像的超分辨率(SISR)旨在从低分辨率图像(LR)恢复超分辨率图像(SR)，以此来得到近似真实的高分辨率图像（HR）。这在许多领域中直接应用，如医学成像、卫星成像、人脸识别和视频监控等。目前，人们对图像的要求越来越高，尤其是清晰度方面。单纯从硬件方面提高图像清晰度不仅成本较高且技术上也达到一定的瓶颈，同时在图像存储及夜间光照不足情况下也会产生低分辨率的图像。从软件方面提高图像分辨率，一定程度上克服了上述不足。因此，图像超分辨率重建成为研究热点之一。
[0003]目前超分辨率重建的方法主要有基于深度学习的超分辨率重构方法。Dong等首先提出了一种基于深度学习的方法——基于卷积神经网络的超分方法(SRCNN)，证明卷积神经网络可以被有效应用于端到端的学习LR到SR的映射。Shi等人提出了亚像素卷积的方法 (ESPCN)，直接在低分辨率图像LR上进行特征提取，通过亚像素卷积层将特征图像进行重新排列，得到超分辨率图像。
[0004]Ledig等把生成对抗网络(Generative Adversarial Network，GAN)应用于超分辨率重建，提出了基于生成对抗网络的超分辨率(Super
‑
Resolution Using a Generative Adversarial Network，SRGAN)算法，虽然这种博弈式的优化SRGAN能够生成高质量的图像，但是细节效果较差，并且对光照变化的敏感度不够，往往无法很好的解决低光照下单一图像超分辨率问题。

技术实现思路

[0005]本申请实施例提供一种图像超分辨率重建方法、装置、设备及存储介质，能够使得生成对抗网络模型对光照强度更加敏感，解决了低光照下单一图像超分辨率问题，并且可以使得生成的图像视觉质量更好，更加自然。
[0006]为了解决上述技术问题，本申请一方面提供一种基于生成对抗网络的图像超分辨率重建方法，包括：获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函
数包括内容损失函数和对抗损失函数，所述内容损失函数包括VGG网络损失函数，光照损失函数和结构相似性损失函数，所述生成器网络的损失函数的表达式为：；将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。
[0007]更进一步地，所述光照损失函数的表达式为：；其中，；；所述x1代表所述超分辨率图像SR的亮度，R1，G1，B1分别代表所述超分辨率图像SR的RGB三通道值，x2代表所述高分辨率图像HR的亮度，R2，G2，B2分别代表所述高分辨率图像的RGB三通道值。
[0008]更进一步地，所述结构相似性损失函数的表达式为：=1
‑
tf.image.ssim(img1，img2，max_val)；其中，tf.image.ssim(img1，img2，max_val)表示tensorflow算法中封装好的计算img1和img2两张图像结构相似性的方法，img1代表所述超分辨率图像SR，img2代表所述高分辨率图像HR，max_val代表图像的动态范围。
[0009]更进一步地，所述获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集，包括：从预定数据集中选取预设数量的高分辨率样本图像；对每张所述高分辨率样本图像进行随机裁剪得到高分辨率图像HR；对得到的所述高分辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，所有所述高分辨率图像HR和所述高分辨率图像HR对应的所述低分辨率图像LR构成训练集。
[0010]更进一步地，所述对得到的所述高分辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，包括：利用如下公式对所述高分辨率图像HR进行先变黑后下采样处理：其中，y表示所求的所述低分辨率图像LR，x表示所述高分辨率图像HR，表示下采样，s表示下采样的尺度因子，表示用于将所述高分辨率图像HR进行变黑处理的图像叠加函数，其中，所述，所述dst代表对所述高分辨率图像HR进行变黑后得到的图像，src1代表待变黑的所述高分辨率图像HR，src2代表叠加的图像，src1和src2的大小相同，alpha和beta代表权重，gamma代表黑度参数。
[0011]更进一步地，所述生成对抗网络模型的对抗过程用如下目标函数表示：其中，G表示所述生成器网络，D表示所述判别器网络，E表示期望，表示所述高分辨率图像HR的分布，x表示所述高分辨率图像HR，表示所述低分辨率图像LR的分布，y表示所述低分辨率图像LR，G(y)表示所述生成器网络生成的所述超分辨率图像SR，D(x)表示当输入图像为所述高分辨率图像HR时判别真伪，D(G(y))表示输入图像为所述超分辨率图像SR时判别真伪。
[0012]更进一步地，所述生成器网络包括特征提取单元、深度残差单元以及上采样单元；所述特征提取单元包括64个卷积核大小为9x9的卷积层和ReLU函数，用于对输入的所述低分辨率图像LR进行特征图提取；所述深度残差单元包括多个残差块，用于对提取到的所述特征图进行特征学习，提取高频信息；所述上采样单元包括一个反卷积层和ReLU函数，用于根据所述高频信息将所述低分辨率图像LR进行指定倍数的放大，从而得到所述超分辨率图像SR。
[0013]更进一步地，所述利用损失函数对所述生成对抗网络模型进行训练，包括：通过Adam优化算法对所述生成对抗网络模型进行训练，所述Adam优化算法的学习率为0.0002。
[0014]本申请实施例的另一方面，提供一种基于生成对抗网络的图像超分辨率重建装置，包括：获取模块，用于获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；构建模块，用于构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；训练模块，用于将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的图像超分辨率重建方法，其特征在于，包括：获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集；构建包括生成器网络和判别器网络的生成对抗网络模型，所述生成器网络用于输入所述低分辨率图像LR，生成趋近于所述高分辨率图像HR的超分辨率图像SR，所述判别器网络用于区分所述高分辨率图像HR和所述超分辨率图像SR；将所述训练集输入至所述生成对抗网络模型中，利用损失函数对所述生成对抗网络模型进行训练，当所述生成对抗网络模型收敛后停止训练，保存训练好的所述生成对抗网络模型，其中所述损失函数包括所述生成器网络的损失函数，所述生成器网络的损失函数包括内容损失函数和对抗损失函数，所述内容损失函数包括VGG网络损失函数，光照损失函数和结构相似性损失函数，所述生成器网络的损失函数的表达式为：；将待重建的低分辨率测试图像输入到训练好的所述生成对抗网络模型，以得到重建后的高分辨率目标图像。2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述光照损失函数的表达式为：；其中， ；；所述x1代表所述超分辨率图像SR的亮度，R1，G1，B1分别代表所述超分辨率图像SR的RGB三通道值，x2代表所述高分辨率图像HR的亮度，R2，G2，B2分别代表所述高分辨率图像HR的RGB三通道值。3.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述结构相似性损失函数的表达式为：=1
‑
tf.image.ssim(img1，img2，max_val)；其中，tf.image.ssim(img1，img2，max_val)表示tensorflow算法中封装好的计算img1和img2两张图像结构相似性的方法，img1代表所述超分辨率图像SR，img2代表所述高分辨率图像HR，max_val代表图像的动态范围。4.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述获取由高分辨率图像HR和由所述高分辨率图像HR进行下采样得到的低分辨率图像LR构成的训练集，包括：从预定数据集中选取预设数量的高分辨率样本图像；对每张所述高分辨率样本图像进行随机裁剪得到高分辨率图像HR；对得到的所述高分辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，所有所述高分辨率图像HR和所述高分辨率图像HR对应的所述低分辨率图像LR构成训练集。5.根据权利要求4所述的图像超分辨率重建方法，其特征在于，所述对得到的所述高分
辨率图像HR进行先变黑后下采样处理，从而得到低分辨率图像LR，包括：利用如下公式对所述高分辨率图像HR进行先变黑后下采样处理：其中，y表示所求的所述低分辨率图像LR，x表示所述高分辨率图像HR，表示下采样，s表示下采样的尺度因子，表示用于将所述高分辨率图像HR进行变黑处理的图像叠加函数，其中，所述，所述dst代表对所述高分辨率图像HR进行变黑后得到的图像，src1代表待变黑的所述高分辨率图像HR，src2代表叠...

【专利技术属性】
技术研发人员：陈亚瑞，丁文强，杨剑宁，张志远，徐肖阳，闫潇宁，
申请(专利权)人：深圳市安软慧视科技有限公司，
类型：发明
国别省市：