用于真实世界超分辨率的训练网络的系统和方法技术方案

提供了一种方法和装置。该方法包括生成用于真实世界超分辨率(SR)的数据集，训练第一生成对抗网络(GAN)，训练第二GAN以及融合第一GAN的输出和第二GAN的输出。GAN的输出和第二GAN的输出。GAN的输出和第二GAN的输出。

【技术实现步骤摘要】
用于真实世界超分辨率的训练网络的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年4月7日提交的美国临时专利申请序列号63/006,390的优先权，其全部内容通过引用结合与此。


[0003]本专利技术总体涉及图像超分辨率(super resolution)，并且更具体地，涉及通过级联网络训练、级联网络修整(trimming)和扩展卷积来设计高效的超分辨率深度卷积神经网络的系统和方法。

技术介绍

[0004]超分辨率(SR)成像从低分辨率(LR)图像生成高分辨率(HR)图像。超分辨率成像具有广泛的适用性，从监控、面部/虹膜辨识到医学图像处理、以及对图像和视频的分辨率的直接提高。已经提出了用于执行SR的多种算法/系统，从插值(Li,Xin和Orchard，Michael,New edge
‑
directed interpolation.IEEE Transactions on Image Processing(TIP),vol(卷).10,issue(期)10,pp(页).1521
–
1527(2001年10月)，其通过引用整体结合与此)、轮廓特征(Tai,Yu
‑
Wing；Liu,Shuaicheng；Brown,Michael；和Lin,Stephen,Super resolution using edge prior and single image detail synthesis.2010年IEEE Int
>’
l Conference on Computer Vision and Pattern Recognition(CVPR),pp.2400
‑
2407，其通过引用整体结合与此)、以及统计图像先验(Kim,Kwang In和Kwon,Younghee.Single
‑
image super
‑
resolution using sparse regression and natural image prior.IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),vol.32,no.6,pp.1127
–
1133(2010年1月)，其中通过引用整体结合与此)到根据分块字典(dictionary of patches)进行学习的基于实例(example
‑
based)的方法，诸如邻居嵌入(Chang,Hong；Yeung,Dit
‑
Yan；和Xiong,Yimin,Super
‑
resolution through neighbor embedding,2004CVPR,pp.275
‑
282，其通过引用整体结合与此)和稀疏编码(Yang,Jianchao；Wright,John；Huang,Thomas；和Ma,Yi,Image super
‑
resolution via sparse representation.IEEE TIP,vol.19,no.11,pp.2861
‑
2873(2010年11月)，其通过引用整体结合与此)。
[0005]近年来，卷积神经网络(CNN)在SR准确度方面有了很大的提高。参见，例如，Dong,Chao；Loy,Chen Change；He,Kaiming；和Tang,Xiaoou,Learning a deep convolutional network for image super
‑
resolution,2014European Conference on Computer Vision(ECCV),pp.184
‑
199(在下文中，“Dong等.2014”)，其通过引用整体结合与此。上述文献有时被称为“SRCNN”(即，超分辨率卷积神经网络)，它们的准确度可以受到小结构(例如，3层)和/或小上下文接收场的限制。作为响应，研究人员已经提出了增加SRCNN的大小，但是大多数提议使用了大量的参数，并且讨论中的SRCNN中的多种不能被实时执行。由于提出了大的网络大小，甚至很难猜测适当的训练设置，即学习率、权重初始化和权重衰减。因此，训练可
能根本不收敛、或陷入局部最小。

技术实现思路

[0006]因此，做出本公开是为了至少解决本文所述的问题和/或缺点，并且至少提供下文所述的优点。
[0007]根据一个实施例，一种方法包括：生成用于真实世界SR的数据集；训练第一生成对抗网络(GAN)；训练第二GAN；以及融合第一GAN的输出和第二GAN的输出。
[0008]根据一个实施例，一种装置包括：一个或多个非暂时性计算机可读介质；以及至少一个处理器，当执行存储在一个或多个非暂时性计算机可读介质上的指令时，该至少一个处理器执行以下步骤：生成用于真实世界SR的数据集；训练第一GAN；训练第二GAN；并且融合第一GAN的输出和第二GAN的输出。
附图说明
[0009]通过以下结合附图的详细描述，本专利技术的特定实施例的上述和其它方面、特征和优点将更加明显，在附图中：
[0010]图1示出了根据一个实施例的用于构建经级联训练的超分辨率卷积神经网络(CT
‑
SRCNN)的方法的示例性框图；
[0011]图2示出了根据一个实施例的级联训练的示例图；
[0012]图3A和图3B示出了根据一个实施例的现有训练方法和级联训练之间的差异中的一些；
[0013]图4A和图4B分别示出了根据一个实施例的在级联训练之后开始CNN和结束CNN；
[0014]图5示出了根据一个实施例的级联网络修整的示例图；
[0015]图6A和图6B示出了根据一个实施例的网络修整方法之间的差异中的一些；
[0016]图7示出了根据一个实施例的用于执行滤波器修整的示例图；
[0017]图8A和图8B分别示出了根据一个实施例的扩展卷积和传统卷积之间的差异中的一些；
[0018]图9示出了根据一个实施例的当前装置的示例图；
[0019]图10示出了根据一个实施例的用于制造和测试当前装置的示例性流程图；
[0020]图11是示出了根据一个实施例的经级联训练的CNN与未经级联训练的CNN的收敛速度的示例图；
[0021]图12是根据一个实施例的传统的ResBlock的示例图；
[0022]图13是根据一个实施例的简化的ResBlock的示例图；
[0023]图14是根据一个实施例的加权的ResBlock的示例图；
[0024]图15是根据一个实施例的经级联训练的系统的示例图；
[0025]图16是根据一个实施例的彩色图像解码的示例图；
[0026]图17是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练网络的方法，包括：生成用于真实世界超分辨率SR的数据集；训练第一生成对抗网络GAN；训练第二GAN；以及融合所述第一GAN的输出和所述第二GAN的输出。2.根据权利要求1所述的方法，其中，生成所述数据集包括：通过通用退化模型将低质量图像下采样为低分辨率LR图像；以及直接使用与所述LR图像相对应的高质量图像作为高分辨率HR图像。3.根据权利要求1所述的方法，其中，生成所述数据集包括：直接使用低质量图像作为低分辨率LR图像；以及从所述低质量图像超分辨率化出高质量图像，以用作高分辨率HR图像。4.根据权利要求1所述的方法，其中，所述第一GAN是使用标准鉴别器来训练的。5.根据权利要求4所述的方法，其中，所述第二GAN是使用相对鉴别器来训练的。6.根据权利要求1所述的方法，其中，所述第一GAN和所述第二GAN是使用残差通道关注网络RCAN来训练的。7.根据权利要求6所述的方法，其中，所述RCAN是基于残差中残差RIR结构中的残差的。8.根据权利要求1所述的方法，其中，所述第一GAN和所述第二GAN包括增强型SR GAN(ESRGAN)。9.根据权利要求1所述的方法，其中，所述第一GAN的输出和所述第二GAN的输出根据照明阈值来融合。10.根据权利要求9所述的方法，其中，所述第二GAN使用相对鉴别器来训练，并且其中，当所述第二GAN的输出的照明水平低于所述照明阈值时，所述第一GAN的输出和所述第二GAN的输出被融合。11.一种用于训练网络的装置，包括：一个或多个非暂时性计算机可读介质；以及至少一个处理器，当执行存储在所...

【专利技术属性】
技术研发人员：A赫拉德曼德，任昊宇，M埃尔哈米，S王，裵东运，李正元，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：