用于生成图像超分辨率模型的方法和装置制造方法及图纸

本公开的实施例公开了用于生成图像超分辨率模型的方法和装置。该方法的一具体实施方式包括：获取训练样本集合，其中，训练样本包括预设分辨率的初始样本图像和预设数量个样本大分辨率图像；获取初始生成对抗网络；利用机器学习方法，将训练样本集合中的训练样本包括的初始样本图像作为预设数量个级联的生成网络中的第一级生成网络的输入，以及对于预设数量个级联的生成网络中的生成网络，将该生成网络输出的大分辨率图像与样本大分辨率图像作为对应的判别网络的输入，对初始生成对抗网络进行训练，将训练后的预设数量个级联的生成网络确定为图像超分辨率模型。该实施方式有助于提高利用图像超分辨率模型生成超分辨率图像的清晰度。

【技术实现步骤摘要】
用于生成图像超分辨率模型的方法和装置
本公开的实施例涉及计算机
，具体涉及用于生成图像超分辨率模型的方法和装置。
技术介绍
图像超分辨率是指由一幅低分辨率图像或恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率研究可分为三个主要范畴：基于插值、基于重建和基于机器学习的方法。现有的图像超分辨率方法，通常由原始图像直接生成分辨率扩大后的图像，生成图像的过程需要进行大量的计算。
技术实现思路
本公开的实施例提出了用于生成图像超分辨率模型的方法和装置，以及用于生成超分辨率图像的方法和装置。第一方面，本公开的实施例提供了一种用于生成图像超分辨率模型的方法，该方法包括：获取训练样本集合，其中，训练样本包括预设分辨率的初始样本图像和预设数量个样本大分辨率图像；获取初始生成对抗网络，其中，初始生成对抗网络包括预设数量个级联的生成网络和预设数量个判别网络，生成网络与判别网络一一对应；利用机器学习方法，将训练样本集合中的训练样本包括的初始样本图像作为预设数量个级联的生成网络中的第一级生成网络的输入，以及对于预设数量个级联的生成网络中的生成网络，将该生成网络输出的大分辨率图像与样本大分辨率图像作为对应的判别网络的输入，对初始生成对抗网络进行训练，将训练后的预设数量个级联的生成网络确定为图像超分辨率模型。在一些实施例中，预设数量个级联的生成网络中，互相连接的两个生成网络的下一级生成网络的输入是上一级生成网络输出的特征矩阵。在一些实施例中，对初始生成对抗网络进行训练，包括：利用预设的损失函数对初始生成对抗网络进行训练，其中，预设的损失函数包括用于确定判别网络的判别结果与真实结果的差异的判别损失函数，以及用于确定生成网络生成的大分辨率图像与样本大分辨率图像的差异的生成损失函数。在一些实施例中，初始生成对抗网络包括的预设数量个级联的生成网络为预先利用生成损失函数训练得到的。在一些实施例中，初始生成对抗网络还包括预设数量个特征提取网络，特征提取网络与生成网络一一对应，用于提取所输入的图像的特征矩阵；以及对初始生成对抗网络进行训练，包括：对于预设数量个生成网络中的生成网络，分别将该生成网络输出的大分辨率图像和样本大分辨率图像输入与该生成网络对应的特征提取网络，得到大分辨率图像的放大特征矩阵和样本大分辨率图像的样本放大特征矩阵；利用预设的、用于确定放大特征矩阵和样本放大特征矩阵的差异的特征损失函数，以及判别损失函数和生成损失函数，对初始生成对抗网络进行训练。在一些实施例中，特征损失函数包括以下至少一种损失函数：感知损失函数、基于格拉姆矩阵的损失函数。第二方面，本公开的实施例提供了一种用于生成超分辨率图像的方法，该方法包括：获取待放大图像；将待放大图像输入预先训练的图像超分辨率模型，生成超分辨率图像及输出，其中，图像超分辨率模型是根据上述第一方面中任一实施例描述的方法生成的。第三方面，本公开的实施例提供了一种用于生成图像超分辨率模型的装置，该装置包括：第一获取单元，被配置成获取训练样本集合，其中，训练样本包括预设分辨率的初始样本图像和预设数量个样本大分辨率图像；第二获取单元，被配置成获取初始生成对抗网络，其中，初始生成对抗网络包括预设数量个级联的生成网络和预设数量个判别网络，生成网络与判别网络一一对应；训练单元，被配置成利用机器学习方法，将训练样本集合中的训练样本包括的初始样本图像作为预设数量个级联的生成网络中的第一级生成网络的输入，以及对于预设数量个级联的生成网络中的生成网络，将该生成网络输出的大分辨率图像与样本大分辨率图像作为对应的判别网络的输入，对初始生成对抗网络进行训练，将训练后的预设数量个级联的生成网络确定为图像超分辨率模型。在一些实施例中，预设数量个级联的生成网络中，互相连接的两个生成网络的下一级生成网络的输入是上一级生成网络输出的特征矩阵。在一些实施例中，训练单元进一步被配置成：利用预设的损失函数对初始生成对抗网络进行训练，其中，预设的损失函数包括用于确定判别网络的判别结果与真实结果的差异的判别损失函数，以及用于确定生成网络生成的大分辨率图像与大分辨率图像的差异的生成损失函数。在一些实施例中，初始生成对抗网络包括的预设数量个级联的生成网络为预先利用生成损失函数训练得到的。在一些实施例中，初始生成对抗网络还包括预设数量个特征提取网络，特征提取网络与生成网络一一对应，用于提取所输入的图像的特征矩阵；以及训练单元，包括：特征提取模块，被配置成对于预设数量个生成网络中的生成网络，分别将该生成网络输出的大分辨率图像和样本大分辨率图像输入与该生成网络对应的特征提取网络，得到大分辨率图像的放大特征矩阵和样本大分辨率图像的样本放大特征矩阵；训练模块，被配置成利用预设的、用于确定放大特征矩阵和样本放大特征矩阵的差异的特征损失函数，以及判别损失函数和生成损失函数，对初始生成对抗网络进行训练。在一些实施例中，特征损失函数包括以下至少一种损失函数：感知损失函数、基于格拉姆矩阵的损失函数。第四方面，本公开的实施例提供了一种用于生成超分辨率图像的装置，该装置包括：获取单元，被配置成获取待放大图像；输出单元，被配置成将待放大图像输入预先训练的图像超分辨率模型，生成超分辨率图像及输出，其中，图像超分辨率模型是根据上述第一方面中任一实施例描述的方法生成的。第五方面，本公开的实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面或第二方面中任一实现方式描述的方法。第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。本公开的实施例提供的用于生成图像超分辨率模型的方法和装置，通过利用机器学习方法，使用训练样本训练包括预设数量个级联的生成网络和预设数量个判别网络的初始生成对抗网络，最终得到图像超分辨率模型，从而使得训练得到的超分辨率模型能够逐级地对输入的原始图像进行分辨率放大，能够细化放大图像分辨率的过程，使得放大分辨率后的图像更加清晰。并且可以减少每一级生成网络的运算量，从而有助于提高利用图像超分辨率模型生成超分辨率图像的效率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：图1是本公开的一个实施例可以应用于其中的示例性系统架构图；图2是根据本公开的实施例的用于生成图像超分辨率模型的方法的一个实施例的流程图；图3是根据本公开的实施例的初始生成对抗网络的结构示意图；图4是根据本公开的实施例的包含特征提取网络的初始生成对抗网络的结构示意图；图5是根据本公开的实施例的用于生成图像超分辨率模型的方法的一个应用场景的示意图；图6是根据本公开的实施例的用于生成超分辨率图像的方法的一个实施例的流程图；图7是根据本公开的实施例的用于生成图像超分辨率模型的装置的一个实施例的结构示意图；图8是根据本公开的实施例的用于生成超分辨率图像的装置的一个实施例的结构示意图；图9是适于用来实现本公开的实施例的电子设备的结构示意图。具体实施方式下面结合附图和实施例对本公开作进一本文档来自技高网...

【技术保护点】
1.一种用于生成图像超分辨率模型的方法，包括：获取训练样本集合，其中，训练样本包括预设分辨率的初始样本图像和预设数量个样本大分辨率图像；获取初始生成对抗网络，其中，所述初始生成对抗网络包括预设数量个级联的生成网络和预设数量个判别网络，生成网络与判别网络一一对应；利用机器学习方法，将所述训练样本集合中的训练样本包括的初始样本图像作为所述预设数量个级联的生成网络中的第一级生成网络的输入，以及对于所述预设数量个级联的生成网络中的生成网络，将该生成网络输出的大分辨率图像与样本大分辨率图像作为对应的判别网络的输入，对所述初始生成对抗网络进行训练，将训练后的预设数量个级联的生成网络确定为图像超分辨率模型。

【技术特征摘要】
1.一种用于生成图像超分辨率模型的方法，包括：获取训练样本集合，其中，训练样本包括预设分辨率的初始样本图像和预设数量个样本大分辨率图像；获取初始生成对抗网络，其中，所述初始生成对抗网络包括预设数量个级联的生成网络和预设数量个判别网络，生成网络与判别网络一一对应；利用机器学习方法，将所述训练样本集合中的训练样本包括的初始样本图像作为所述预设数量个级联的生成网络中的第一级生成网络的输入，以及对于所述预设数量个级联的生成网络中的生成网络，将该生成网络输出的大分辨率图像与样本大分辨率图像作为对应的判别网络的输入，对所述初始生成对抗网络进行训练，将训练后的预设数量个级联的生成网络确定为图像超分辨率模型。2.根据权利要求1所述的方法，其中，所述预设数量个级联的生成网络中，互相连接的两个生成网络的下一级生成网络的输入是上一级生成网络输出的特征矩阵。3.根据权利要求1所述的方法，其中，所述对所述初始生成对抗网络进行训练，包括：利用预设的损失函数对所述初始生成对抗网络进行训练，其中，所述预设的损失函数包括用于确定判别网络的判别结果与真实结果的差异的判别损失函数，以及用于确定生成网络生成的大分辨率图像与样本大分辨率图像的差异的生成损失函数。4.根据权利要求3所述的方法，其中，所述初始生成对抗网络包括的预设数量个级联的生成网络为预先利用所述生成损失函数训练得到的。5.根据权利要求3或4所述的方法，其中，所述初始生成对抗网络还包括预设数量个特征提取网络，特征提取网络与生成网络一一对应，用于提取所输入的图像的特征矩阵；以及所述对所述初始生成对抗网络进行训练，包括：对于所述预设数量个生成网络中的生成网络，分别将该生成网络输出的大分辨率图像和样本大分辨率图像输入与该生成网络对应的特征提取网络，得到大分辨率图像的放大特征矩阵和样本大分辨率图像的样本放大特征矩阵；利用预设的、用于确定放大特征矩阵和样本放大特征矩阵的差异的特征损失函数，以及所述判别损失函数和生成损失函数，对所述初始生成对抗网络进行训练。6.根据权利要求5所述的方法，其中，所述特征损失函数包括以下至少一种损失函数：感知损失函数、基于格拉姆矩阵的损失函数。7.一种用于生成超分辨率图像的方法，包括：获取待放大图像；将所述待放大图像输入预先训练的图像超分辨率模型，生成超分辨率图像及输出，其中，所述图像超分辨率模型是根据权利要求1-6之一所述的方法生成的。8.一种用于生成图像超分辨率模型的装置，包括：第一获取单元，被配置成获取训练样本集合，其中，训练样本包括预设分辨率的初始样本图像和预设数量个样本大分辨率图像；第二获取单元，被配置成获取初始生成对抗网络，其中，所...

【专利技术属性】
技术研发人员：李可，姜宇宁，李磊，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11