一种基于生成式对抗网络的超分辨率图像修复方法技术

本发明专利技术公开了一种基于生成式对抗网络的超分辨率图像修复方法，具体为：步骤1，收集整理真实图像数据，将收集到的图像处理成尺寸相同的图像，将处理后的尺寸相同的图像组成训练数据集；步骤2，构建生成式对抗网络模型，其包括生成器和判别器；步骤3，将训练数据集中的每一张图像打上大小相同的掩膜，得到待修复图像，将待修复图像导入生成式对抗网络模型，并采用弱监督学习方式对生成式对抗网络模型进行训练，得到训练后图像；步骤4，将训练图像输入到U‑Net生成网络中对训练后的待修复图像进行修复，输出修复好的高分辨率图像。解决了现有技术中存在的图像大面积缺失修复后分辨率低的现象、视觉效果不连贯的问题。

A super-resolution image restoration method based on generative countermeasure network

【技术实现步骤摘要】
一种基于生成式对抗网络的超分辨率图像修复方法
本专利技术属于计算机视觉与图像处理
，具体涉及一种基于生成式对抗网络的超分辨率图像修复方法。
技术介绍
近年来，计算机图形学和计计算机视觉的快速发展，图像修复的方法也多种多样，早在文艺复兴时期就出现了图像修复技术，它是一种历史悠久的技艺，在较早时期经常会出现由于保存不当或其他不同的原因而损坏的艺术品，工匠们通过他们掌握的技艺做一些填补工作保持工艺品的完整性。随着计算机视觉技术的迅猛发展，数字图像处理技术逐渐取代了手工图像修复技术。目前，图像修复作为计算机视觉领域研究的一项重要内容，其目的是根据图像中已知内容来自动地恢复丢失的内容，在图像编辑、影视特技制作、虚拟现实及数字文化遗产保护等领域都具有广泛的应用价值。传统图像修复方法例如基于扩散的方法，该方法通过参数模型或者偏微分方程引入平滑先验，对待修复区域由外向内传播或扩散局部结构对纹理简单，损坏面积小的图像修复效果良好，但是对复杂图像的修复容易产生模糊及伪影现象，导致图像修复后分辨率低；基于变分偏微分方程算法的图像修复法主要从像素点着手，本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，具体按照以下步骤实施：/n步骤1，收集整理真实图像数据，形成真实图像数据样本集，将收集到的图像处理成尺寸相同的图像，将处理后的尺寸相同的图像组成训练数据集；/n步骤2，构建生成式对抗网络模型，生成式对抗网络模型包括生成器和判别器；/n步骤3，将步骤1组成的训练数据集中的每一张低分辨率图像打上大小相同的掩膜，得到待修复图像，将待修复图像导入步骤2构建的生成式对抗网络模型，并采用弱监督学习方式对生成式对抗网络模型进行训练，得到训练后图像，在训练过程中对生成器和VDB判别器的权重进行更新，利用对抗损失、内容损失、感知损失及重建损失进行系统...

【技术特征摘要】
1.一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，具体按照以下步骤实施：
步骤1，收集整理真实图像数据，形成真实图像数据样本集，将收集到的图像处理成尺寸相同的图像，将处理后的尺寸相同的图像组成训练数据集；
步骤2，构建生成式对抗网络模型，生成式对抗网络模型包括生成器和判别器；
步骤3，将步骤1组成的训练数据集中的每一张低分辨率图像打上大小相同的掩膜，得到待修复图像，将待修复图像导入步骤2构建的生成式对抗网络模型，并采用弱监督学习方式对生成式对抗网络模型进行训练，得到训练后图像，在训练过程中对生成器和VDB判别器的权重进行更新，利用对抗损失、内容损失、感知损失及重建损失进行系统损失计算；
步骤4，将步骤3得到的训练图像输入到U-Net生成网络中对训练后的待修复图像进行修复，输出修复好的高分辨率图像。


2.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤2中，生成式对抗网络模型的目标函数表达式为：



其中，D表示判别器，G表示生成器，E表示数学期望；x～p(x)表示x服从真实图像数据样本集中的图像分布p(x)；z～G(z)表示z服从图像的生成分布G(z)，x为真实图像数据，z为随机噪声，D(x)表示判别器函数，D(z|x)表示真实图像数据x的条件下随机噪声z的判别函数。


3.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤2中，变分判别器瓶颈VDB对判别器目标函数为：
J(D,E)＝minD,EEx～p(x)[Ez～E(z|x)[-log(D(x))]]+Ez～G(z)[Ez～E(z|x)[-log(1-D(z))]](2)



其中，D表示判别器，E表示图像信息编码后的期望，x～p*(x)表示x服从生成图像数据分布p*(x)；z～E(z|x)表示z服从高斯分布E(z|x)，KL为散度又称相对熵信息概率分布的一种方法，r(z)为随机噪声z的特征分布，Ic为生成器生成图像数据的互信息，D(z)表示随机噪声z的判别函数，公式(3)为公式(2)的约束条件。


4.根据权利要求3所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，由引入判别器拉格朗日优化目标函数：






其中，β为拉格朗日乘子，公式(5)为公式(4)的约束条件，互信息Ic表示变量之间的相关性，用于限制真实图像数据x和随机噪声z的相关性。


5.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，步骤2中，VDB判别器是一个二分类判别器，通过生成器生成图像信息的相关性来判别真假，利用为限制条件，限制图像数据样本的互信息，对真假图像信息进行混淆，VDB判别器的参数更新为：






其中，Ir表示真实图像数据的特征互信息，r(x)为真实图像数据的特征分布。


6.根据权利要求1所述的一种基于生成式对抗网络的超分辨率图像修复方法，其特征在于，在步骤2中，生成器采用U-Net生成网络，所述U-Net生成网络由收缩路径和扩张路径组成，且收缩路径和扩张路径相互对称，所述U-Net生成网络共包括23层卷积层，所述收缩路径上每两个3*3的卷积层后为一个2*2的最大池化层，且每个卷积层后面使用relu激活函数对训练数据集中的图像进行降采样操作，其中每一次降采样操作均会增加一杯通道数，用于获取真实图像的上下文...

【专利技术属性】
技术研发人员：李云红，穆兴，汤汶，朱绵云，罗雪敏，姚兰，刘畅，喻晓航，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：陕西;61