【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种用于提升超分gan网络感知能力的训练系统及方法。
技术介绍
1、超分任务旨在输入ilr，输出通过人的感知清晰度更高、质感更好、信息更多的isr，以逼近真实的ihr的效果。目前，解决超分问题的主流方法是使用深度学习技术，网络通常基于卷积神经网络结构，分为对抗网络和非对抗网络两种架构。前者在后者的基础上，增加了判别器用于学习区分isr和ihr以约束生成器的训练过程。对抗网络的代表网络有bsrgan、esrgan、real-esrgan等，非对抗网络的代表网络有srcnn、realsr等。基于深度学习的超分方法拥有较高的计算效率和精度，但受限于其损失函数的构成往往是l1损失、感知损失和对抗损失，并且其对应的权重固定设置为1，1，0.1，这会对输入的训练数据对一视同仁，然而对于数据集而言，可将所输入的原始图片分为4类，第一类是高频信息居多，低频信息居少的图片；第二类是高低频信息各自接近一半；第三类是低频信息居多，高频信息居少的图片；第四类是全是低频信息(也就是背景图片)，而神经网络学习过程中所需要的是数据信息较多的图片，因此对于那些数据信息较多的图片的损失函数的构成和信息较少的图片的损失函数构成要区分开来，用于针对性训练网络，这样可以有效提升生成器对于细节信息的恢复能力和判别器对isr及ihr的细节区分能力。而采用原始的固定权重来设置损失函数的方法，其生成的isr可能会存在丢失原图中的高频细节信息、产生影响观感的伪影等缺陷。此外，之前对抗网络的降质过程生成低清图片时所采用的下采样方法常常是作用于整张原
2、为了解决上述问题，本专利技术提出了一种用于提升超分gan网络感知能力的训练系统及方法。
技术实现思路
1、本专利技术的目的在于提供一种用于提升超分gan网络感知能力的训练系统及方法以解决
技术介绍
中所提出的问题。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种用于提升超分gan网络感知能力的训练系统，所述系统包括有下采样组件和损失组件；
4、所述下采样组件包括图片拆分模块、降质模块和图片重构模块；
5、所述图片拆分模块用于对图片进行分片；所述降质模块用于对分片处理后的图片进行降质操作；所述图片重构模块用于将各个降质后的分片图片进行拼接，得到最后的降质结果；
6、所述损失组件包括边缘检测模块、权重设置模块和损失构建模块；
7、所述边缘检测模块用于单张或批量分析图片训练样本，获取图片的高频信息占比；
8、所述权重设置模块基于边缘检测模块所得的高频信息占比进行损失函数权重设置；
9、所述损失构建模块基于权重设置模块所得的损失权重构建相应损失函数，所述损失函数包括l1损失、感知损失和对抗损失。
10、一种用于提升超分gan网络感知能力的训练方法，包括如下内容：
11、s1、向训练系统中输入训练图像样本，所述训练图像样本来源为真实的ihr数据集；
12、s2、对输入的高分辨率图像进行预处理，基于下采样组件，构建训练数据对样本；
13、s3、基于损失组件，构建损失函数；
14、s4、构建生成器，载入预训练的生成器权重；
15、s5、构建判别器，初始化判别器权重；
16、s6、基于s1-s5所述操作，使用训练样本训练对抗网络至指定迭代次数，得到最终的超分网络模型并予以存储；
17、s7、基于s6中所得的训练好的超分网络模型，执行模型推断流程，提升图像分辨率，获得最终的超分辨率图像。
18、优选地，s2中所述训练数据对样本由高分辨率图像和低分辨率图像组成，所述低分辨率图像由高分辨率图像经过放缩、裁剪获得。
19、优选地，s2中所述预处理包括有图像裁剪、数据增强、模糊化、插值下采样、注入噪声和jpeg压缩；其中，所述插值下采样通过对一张图片采用多种插值算法进行计算，具体内容如下：
20、a1、使用图片拆分模块将待处理图片划分为四块；
21、a2、使用降质模块对分块后的每张图片连续的两块采用不同的插值方法；
22、a3、使用图片重构模块将每张插值后的图片拼接为一张。
23、优选地，所述s3具体包括如下内容：
24、s3.1、使用canny检测算子对训练数据对样本进行边缘检测，计算得出高频信息占比；
25、s3.2、根据训练数据对样本所对应的高频占比进行筛选，以0.2为分界线，高于0.2的，将对应的l1损失权重设置为0，感知损失权重设置为1.0，对抗损失权重设置为0.1；低于0.2的，将对应的l1损失权重设置为(1-高频信息占比)*10，感知损失权重设置为1.0，对抗损失权重设置为0.1；
26、s3.3、将一个batch图片对应的损失权重取均值作为此batch图片整体的损失权重，从而构建出该batch所对应的损失函数，所述损失函数包括l1损失、感知损失和对抗损失，其各自对应函数表示如下：
27、
28、
29、
30、其中，lpixel为l1损失，xi表示图像样本对应的降质图像，是降质图像xi的期望值，g(xi)表示生成器生成的图像，y表示真实图像；像素损失函数的含义是生成的超分辨率图像与真实的图像样本在像素级别上的差异，即每个像素点的差值的绝对值之和取均值；
31、lpercep为感知损失；vgg(g(xi))和vgg(y)分别表示生成的超分辨率图像和图像样本在vgg网络中的特征表示，感知损失的目标是最小化超分辨率图像和图像样本在特征空间的距离。
32、lgan为对抗损失；表示图像样本xhr的期望值；表示降质图像xlr通过生成器生成的超分辨率图像xsr的期望值，与上述g(xi)相对应；d(xhr，xsr)为判别器网络的输出，表示xhr和xsr之间的相似度；对抗损失函数lgan分为两部分：第一部分是d(xhr，xsr)输出0，使得判别器无法区分xhr和xsr；第二部分是d(xsr，xhr)输出1，使得判别器能够区分生成的超分辨率图像与真实的图像样本；生成器生成接近图像样本的超分辨率图像，以欺骗判别器，并且使对抗损失函数lgan的值最小化；
33、综上所述，融合损失函数表示为：
34、lg＝αlgan+βlpixel+γlpercep
35、其中，α、β和γ分别表示对抗损失函数权重、像素损失函数整体权重和感知损失函数权重。
36、优选地，s6中所述训练对抗网络具体包括以下内容：
37、b1、对生成器进行训练，将低分辨率图像输入至生成器，输出超分辨率图像，计算损失本文档来自技高网...
【技术保护点】
1.一种用于提升超分GAN网络感知能力的训练系统，其特征在于，所述系统包括有下采样组件和损失组件；
2.一种基于权利要求1所述系统进行的用于提升超分GAN网络感知能力的训练方法，其特征在于，包括如下内容：
3.根据权利要求2所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，S2中所述训练数据对样本由高分辨率图像和低分辨率图像组成，所述低分辨率图像由高分辨率图像经过放缩、裁剪获得。
4.根据权利要求2所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，S2中所述预处理包括有模糊化、插值下采样、注入噪声和JPEG压缩；其中，所述插值下采样通过对一张图片采用多种插值算法进行计算，具体内容如下：
5.根据权利要求2所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，所述S3具体包括如下内容：
6.根据权利要求2所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，S6中所述训练对抗网络具体包括以下内容：
7.根据权利要求6所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，训练
8.根据权利要求7所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，训练生成器时，冻结判别器的权重，所应用的生成器损失函数包含像素损失、判别损失和感知损失三部分；生成器的优化目标为最大化判别损失函数，通过提升生成器生成的超分辨率图像在判别器处获得的真实性评分来优化生成器的超分效果；将生成器的判别损失函数改写为如下形式以方便使用梯度下降法训练：
9.根据权利要求2所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，所述S7具体包括如下内容：
10.根据权利要求9所述的用于提升超分GAN网络感知能力的训练方法，其特征在于，所述S7.4中，若对低分辨率图像进行二倍或八倍分辨率提升，则采用双三次插值采样方法进行分辨率的调整。
...【技术特征摘要】
1.一种用于提升超分gan网络感知能力的训练系统，其特征在于，所述系统包括有下采样组件和损失组件；
2.一种基于权利要求1所述系统进行的用于提升超分gan网络感知能力的训练方法，其特征在于，包括如下内容：
3.根据权利要求2所述的用于提升超分gan网络感知能力的训练方法，其特征在于，s2中所述训练数据对样本由高分辨率图像和低分辨率图像组成，所述低分辨率图像由高分辨率图像经过放缩、裁剪获得。
4.根据权利要求2所述的用于提升超分gan网络感知能力的训练方法，其特征在于，s2中所述预处理包括有模糊化、插值下采样、注入噪声和jpeg压缩；其中，所述插值下采样通过对一张图片采用多种插值算法进行计算，具体内容如下：
5.根据权利要求2所述的用于提升超分gan网络感知能力的训练方法，其特征在于，所述s3具体包括如下内容：
6.根据权利要求2所述的用于提升超分gan网络感知能力的训练方法，其特征在于，s6中所述训练对抗网络具体...
【专利技术属性】
技术研发人员：熊硕，庹皓然，黄建邦，李可文，张希堂，曹华，
申请(专利权)人：深圳市明诚科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。