生成对抗网络模型的训练方法、超分图像重建方法及设备技术

本申请公开了一种生成对抗网络模型的训练方法、超分图像重建方法及设备，用以解决传统超分图像重建方法中重建效果不理想的问题。该方法包括：获取训练样本集，将第一样本中的第一图像输入生成网络得到第一超分图像；将第一超分图像和第一样本中的第二图像输入第一判别网络得到像素域判别结果；将第一超分图像的第一频谱特征图和第二图像的第二频谱特征图输入第二判别网络得到频谱判别结果，根据第一超分图像、第二图像、第一频谱特征图、第二频谱特征图、像素域判别结果和频谱判别结果调整生成网络的网络参数，根据像素域判别结果调整第一判别网络的网络参数，并根据频谱判别结果调整第二判别网络的网络参数，以获得生成对抗网络模型。网络模型。网络模型。

【技术实现步骤摘要】
生成对抗网络模型的训练方法、超分图像重建方法及设备


[0001]本申请涉及图像处理
，尤其涉及一种生成对抗网络模型的训练方法、超分图像重建方法及设备。

技术介绍

[0002]大多数的生成式对抗网络(GAN)的超分重建方法均是通过感知损失(perceptual loss)和判别损失函数(Discriminator loss)为目标函数来驱动模型学习更多的高频信息，其中perceptual loss目的是生成较多的高频，Discriminator loss目的是来判断生成的细节是否真实。但是在这两个loss驱动下的模型往往造成生成的高频信息不够或者生成的高频过于混乱，超分后的结果不够理想。

技术实现思路

[0003]本申请实施例提供了一种生成对抗网络模型的训练方法、超分图像重建方法及设备，用以解决现有超分图像重建方法中重建效果不理想的问题。
[0004]第一方面，本申请实施例提供了一种生成对抗网络模型的训练方法，所述生成对抗网络模型包括生成网络、第一判别网络和第二判别网络，所述方法包括：
[0005]获取训练样本集，所述训练样本集包括多个样本，所述第一样本包括第一图像和第二图像，所述第一图像是对所述第二图像降采样得到的，所述第一样本为多个样本中的任一样本；所述第一样本中的第一图像输入生成网络，通过所述生成网络对所述第一图像进行超分处理得到第一超分图像；将所述第一超分图像和所述第一样本中的第二图像输入所述第一判别网络，通过所述第一判别网络输出像素域判别结果，所述像素域判别结果用于表征所述第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的第一概率；
[0006]分别确定所述第一超分图像的第一频谱特征图和所述第二图像的第二频谱特征图；
[0007]将所述第一频谱特征图和所述第二频谱特征图输入所述第二判别网络，通过所述第二判别网络输出频谱判别结果，所述频谱判别结果用于表征所述第一超分图像的频谱被判定为所述第二图像的频谱的第二概率；
[0008]根据所述第一超分图像、所述第二图像、所述第一频谱特征图、所述第二频谱特征图、所述像素域判别结果和所述频谱判别结果调整所述生成网络的网络参数，根据所述像素域判别结果调整所述第一判别网络的网络参数，并根据所述频谱判别结果调整所述第二判别网络的网络参数，以获得所述生成对抗网络模型。
[0009]基于上述方案，生成对抗网络模型在训练过程中增加了第二判别器，第二判别器用于判断生成网络生成的超分图像的高频信息是否足够，以及判别生成的超分图像在频域上是否真实，进而对生成网络进行约束。基于生成对抗网络模型生成的超分图像，在像素域和频谱域上更加真实。
[0010]在一种可能的实现方式中，所述根据所述第一超分图像、所述第二图像、所述第一频谱特征图、所述第二频谱特征图、所述像素域判别结果和所述频谱域判别结果调整所述生成网络的网络参数，包括：分别确定所述第一超分图像和所述第二图像之间的第一损失值以及所述第一频谱特征图与所述第二频谱特征图之间的第二损失值；确定所述第一超分图像的特征矩阵与所述第二图像的特征矩阵之间的第三损失值；根据所述第一损失值、所述第二损失值、所述第三损失值、所述像素域判别结果和所述频谱判别结果调整所述生成网络的网络参数。
[0011]在一种可能的实现方式中，所上诉根据所述第一损失值、所述第二损失值、所述第三损失值、所述像素域判别结果和所述频谱判别结果调整所述生成网络的网络参数，包括：
[0012]所述第一损失值、所述第二损失值、所述第三损失值、像素域损失值以及频谱域损失值的加权和，调整所述生成网络的网络参数；
[0013]其中，所述像素域损失值是所述像素域判别结果包括的多个像素点的第一概率确定的；所述频谱域损失值是根据所述频谱域判别结果包括的第二概率确定的。
[0014]在一种可能的实现方式中，所述像素域损失值满足如下公式所示的条件：
[0015]Loss
D
＝
‑
log(1
‑
D(f
θ
(LR)，HR))
‑
log D(HR，f
θ
(LR))；
[0016]其中，Loss
D
表示所述像素域损失值，LR表示所述第一图像，f
θ
(LR)表示所述生成网络输出的第一超分图像，HR表示所述第二图像，D(f
θ
(LR)，HR)表示所述第一判别网络输出的所述第二图像包括的多个像素点分别被判定为所述第一超分图像对应位置的像素点的第一概率的平均值，D(HR，f
θ
(LR)表示所述第一判别网络输出的第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的第一概率的平均值。
[0017]在一种可能的实现方式中，所述根据所述像素域判别结果调整所述第一判别网络的网络参数，包括：根据所述像素域损失值调整所述第一判别网络的网络参数。
[0018]在一种可能的实现方式中，所述频谱域损失值满足如下公式所示的条件：
[0019][0020]其中，所述Loss
F
表示所述频谱域损失值，表示所述第二频谱特征图，表示所述第一频谱特征图，表示所述第二判别网络输出的第一超分图像的频谱被判定为所述第二图像的频谱的第二概率，表示所述第二判别网络输出的所述第二图像包括的频谱被判定为所述第一超分图像的频谱的第二概率。
[0021]在一种可能的实现方式中，所述根据所述频谱判别结果调整所述第二判别网络的网络参数，包括：根据所述频谱域损失值调整所述第二判别网络的网络参数。
[0022]第二方面，本申请实施例提供了一种超分图像重建方法，包括：
[0023]获取待处理图像；
[0024]将所述待处理图像输入生成对抗网络模型，通过所述生成对抗网络模型中的生成网络对所述待处理图像进行超分处理得到超分图像；其中，所述待处理图像的分辨率低于所述超分图像的分辨率，所述生成对抗网络模型是通过第一方面以及第一方面不同实现方式所述的生成对抗网络模型的训练方法训练得到的。
[0025]第三方面，本申请实施例提供了一种超分图像重建装置，所述生成对抗网络模型包括生成网络、第一判别网络和第二判别网络，所述装置包括：
[0026]获取模块，用于获取训练样本集，所述训练样本集包括多个样本，所述第一样本包括第一图像和第二图像，所述第一图像是对所述第二图像降采样得到的，所述第一样本为多个样本中的任一样本；
[0027]处理模块，用于将所述第一样本中的第一图像输入生成网络，通过所述生成网络对所述第一图像进行超分处理得到第一超分图像；
[0028]将所述第一超分图像和所述第一样本中的第二图像输入所述第一判别网络，通过所述第一判别网络输出像素域判别结果，所述像素域判别结果用于表征所述第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的第一概率；
[0029]分别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成对抗网络模型的训练方法，其特征在于，所述生成对抗网络模型包括生成网络、第一判别网络和第二判别网络，所述方法包括：获取训练样本集，所述训练样本集包括多个样本，所述第一样本包括第一图像和第二图像，所述第一图像是对所述第二图像降采样得到的，所述第一样本为多个样本中的任一样本；将所述第一样本中的第一图像输入生成网络，通过所述生成网络对所述第一图像进行超分处理得到第一超分图像；将所述第一超分图像和所述第一样本中的第二图像输入所述第一判别网络，通过所述第一判别网络输出像素域判别结果，所述像素域判别结果用于表征所述第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的第一概率；分别确定所述第一超分图像的第一频谱特征图和所述第二图像的第二频谱特征图；将所述第一频谱特征图和所述第二频谱特征图输入所述第二判别网络，通过所述第二判别网络输出频谱判别结果，所述频谱判别结果用于表征所述第一超分图像的频谱被判定为所述第二图像的频谱的第二概率；根据所述第一超分图像、所述第二图像、所述第一频谱特征图、所述第二频谱特征图、所述像素域判别结果和所述频谱判别结果调整所述生成网络的网络参数，根据所述像素域判别结果调整所述第一判别网络的网络参数，并根据所述频谱判别结果调整所述第二判别网络的网络参数，以获得所述生成对抗网络模型。2.如权利要求1所述的方法，其特征在于，所述根据所述第一超分图像、所述第二图像、所述第一频谱特征图、所述第二频谱特征图、所述像素域判别结果和所述频谱域判别结果调整所述生成网络的网络参数，包括：分别确定所述第一超分图像和所述第二图像之间的第一损失值以及所述第一频谱特征图与所述第二频谱特征图之间的第二损失值；确定所述第一超分图像的特征矩阵与所述第二图像的特征矩阵之间的第三损失值；根据所述第一损失值、所述第二损失值、所述第三损失值、所述像素域判别结果和所述频谱判别结果调整所述生成网络的网络参数。3.如权利要求2所述的方法，其特征在于，根据所述第一损失值、所述第二损失值、所述第三损失值、所述像素域判别结果和所述频谱判别结果调整所述生成网络的网络参数，包括：根据所述第一损失值、所述第二损失值、所述第三损失值、所述像素域损失值以及所述频谱域损失值的加权和，调整所述生成网络的网络参数；其中，所述像素域损失值是所述像素域判别结果包括的多个像素点的第一概率确定的；所述频谱域损失值是根据所述频谱域判别结果包括的第二概率确定的。4.如权利要求3所述的方法，其特征在于，所述像素域损失值满足如下公式所示的条件：Loss
D
＝
‑
log(1
‑
D(f
θ
(LR)，HR))
‑
logD(HR，f
θ
(LR))；其中，Loss
D
表示所述像素域损失值，LR表示所述第一图像，f
θ
(LR)表示所述生成网络输出的第一超分图像，HR表示所述第二图像，D(f
θ
(LR)，HR)表示所述第一判别网络输出的所述第二图像...

【专利技术属性】
技术研发人员：宗志凯，查林，王中琦，高新波，路文，
申请(专利权)人：青岛信芯微电子科技股份有限公司，
类型：发明
国别省市：