超分修复网络模型生成方法、图像超分修复方法及装置制造方法及图纸

本申请实施例公开了一种超分修复网络模型生成方法，具体地，获取待训练图像，并将该待训练图像分别输入学生网络模型和教师网络模型，以获得该学生网络模型对应的损失函数。根据损失函数对学生网络模型的参数进行更新，以使得学生网络模型的损失函数满足预设条件，生成获得超分修复网络。学生网络模型为ESRGAN网络，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。基本模块包括一个或多个RRDB模块，该RRDB模块包括多个处理模块，每个处理模块的输入作为后续处理模块的输入，增强特征的传递，使得后续处理模块利用更多的图像特征进行训练，提高修复效果。在处理模块中增加具有较小卷积核的第一卷积层，降低图像特征的维度，减少计算量，提高处理速度。

Super division repair network model generation method, image super division repair method and device

【技术实现步骤摘要】
超分修复网络模型生成方法、图像超分修复方法及装置
本申请涉及图像处理
，具体涉及一种超分修复网络模型生成方法、图像超分修复方法及装置。
技术介绍
随着互联网技术的不断发展，短平快的大流量传播内容逐渐获得各大平台和用户的青睐，尤其是短视频的传输。然而，由于噪声、压缩等损失导致视频、图像画面模糊、噪点密集等情况，进而造成展示的画面较差。为提高图像的质量，出现了大量的图像修复方法，如利用超分修复网络对图像进行修复。然而，为实现较好的修复效果，很多超分修复方法耗时严重，导致无法平衡修复效果和时延。
技术实现思路
有鉴于此，本申请实施例提供一种超分修复网络模型生成方法、图像超分修复方法及装置，提高修复效果，降低修复时延。为解决上述问题，本申请实施例提供的技术方案如下：在本申请实施例第一方面，提供了一种超分修复网络模型生成方法，该方法可以包括：获取待训练图像，所述待训练图像为低分变率图像；将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络模型；所述学生网络模型为增强型超分辨生成对抗网络ESRGAN，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个残差密度模块RRDB，所述RRDB包括多个处理模块，每个所述处理模块的输入作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。在一种具体的实现方式中，所述第一卷积层的卷积核为1*1。在一种具体的实现方式中，所述基本模块包括一个RRDB模块。在一种具体的实现方式中，所述卷积模块包括第三卷积层，所述第三卷积层的卷积核等于所述第一卷积层的卷积核。在一种具体的实现方式中，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数；根据所述第一损失函数和所述第二损失函数获得所述学生网络模型对应的损失函数。在一种具体的实现方式中，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数以及判别器对应的第三损失函数；对所述第一损失函数、第二损失函数以及第三损失函数进行加权，获得所述学生网络模型对应的损失函数。在一种具体的实现方式中，所述第一损失函数表示所述学生网络模型针对所述待训练图像中第一像素的输出结果与所述教师网络模型针对所述待训练图像中所述第一像素的输出结果之间的损失函数；所述第二损失函数表示所述学生网络模型针对所述待训练图像的输出结果与所述教师网络模型针对所述待训练图像的输出结果之间的损失函数；第三损失函数表示所述学生网络模型对应的判别器与所述教师网络模型对应的判别器之间的损失函数，所述第一像素为所述待训练图像中的任一像素。在一种具体的实现方式中，在将所述待训练图像分别输入学生网络模型之前，所述方法还包括：将所述待训练图像分别输入初始网络模型和教师网络模型，以获得像素蒸馏对应的第四损失函数；根据所述第四损失函数对所述初始网络模型的参数进行更新，以获得学生网络模型。在一种具体的实现方式中，所述第四损失函数表示所述初始网络模型针对所述待训练图像中第二像素的输出结果与所述教师网络模型针对所述待训练图像中所述第二像素的输出结果之间的损失函数，所述第二像素为所述待训练图像中的任一像素。在本申请实施例第二方面，提供了一种图像超分修复方法，所述方法包括：获取待处理图像，所述待处理图像为低分辨率图像；将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据第一方面所述的方法训练生成的。在本申请实施例第三方面，提供了一种超分修复网络模型生成装置，所述装置包括：第一获取单元，用于获取待训练图像，所述待训练图像为低分变率图像；第二获取单元，用于将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；生成单元，用于根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络；所述学生网络模型为增强型超分辨生成对抗ESRGAN网络，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个RRDB模块，所述RRDB模块包括多个处理模块，每个所述处理模块的输出作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。在本申请实施例第四方面，提供了一种图像超分修复装置，所述装置包括：第一获取单元，用于获取待处理图像，所述待处理图像为低分辨率图像；第二获取单元，用于将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据第一方面所述的方法训练生成的。在本申请实施例第五方面，提供了一种电子设备，所述设备包括：处理器和存储器；所述存储器，用于存储指令或计算机程序；所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行第一方面所述的超分修复网络模型生成方法或第二方面所述的图像超分修复方法。在本申请实施例第六方面，提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行以上第一方面所述的超分修复网络模型生成方法或第二方面所述的图像超分修复方法。由此可见，本申请实施例具有如下有益效果：本申请实施例获取待训练图像(低分辨率图像)，并将该待训练图像分别输入学生网络模型和教师网络模型，以获得该学生网络模型对应的损失函数。其中，教师网络模型为已经完成训练的大型网络。根据损失函数对学生网络模型的参数进行更新，以使得学生网络模型的损失函数满足预设条件，进而生成获得超分修复网络。其中，学生网络模型为增强型超分辨生成对抗ESRGAN网络，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。其中，基本模块包括一个或多个RRDB模块，该RRDB模块包括多个处理模块，每个处理模块的输入作为后续的处理模块的输入。也就是，在训练时学生网络模型时，将每个处理模型的输入作为后续每个处理处理模块的输入，增强特征的传递，以使得后续处理模块可以利用更多的图像特征进行训练，以提高超分修复的效果。其中，处理模块包括依次相连的第一卷积层、第二卷积层和激活本文档来自技高网...

【技术保护点】
1.一种超分修复网络模型生成方法，其特征在于，所述方法包括：/n获取待训练图像，所述待训练图像为低分变率图像；/n将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；/n根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络模型；/n所述学生网络模型为增强型超分辨生成对抗网络ESRGAN，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个残差密度模块RRDB，所述RRDB包括多个处理模块，每个所述处理模块的输入作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。/n

【技术特征摘要】
1.一种超分修复网络模型生成方法，其特征在于，所述方法包括：
获取待训练图像，所述待训练图像为低分变率图像；
将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；
根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络模型；
所述学生网络模型为增强型超分辨生成对抗网络ESRGAN，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个残差密度模块RRDB，所述RRDB包括多个处理模块，每个所述处理模块的输入作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。


2.根据权利要求1所述的方法，其特征在于，所述第一卷积层的卷积核为1*1。


3.根据权利要求1或2所述的方法，其特征在于，所述基本模块包括一个RRDB模块。


4.根据权利要求1或2所述的方法，其特征在于，所述卷积模块包括第三卷积层，所述第三卷积层的卷积核等于所述第一卷积层的卷积核。


5.根据权利要求1所述的方法，其特征在于，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：
将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数获得所述学生网络模型对应的损失函数。


6.根据权利要求1所述的方法，其特征在于，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：
将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数以及判别器对应的第三损失函数；
对所述第一损失函数、第二损失函数以及第三损失函数进行加权，获得所述学生网络模型对应的损失函数。


7.根据权利要求5或6所述的方法，其特征在于，所述第一损失函数表示所述学生网络模型针对所述待训练图像中第一像素的输出结果与所述教师网络模型针对所述待训练图像中所述第一像素的输出结果之间的损失函数；所述第二损失函数表示所述学生网络模型针对所述待训练图像的输出结果与所述教师网络模型针对所述待训练图像的输出结果之间的损失函数；第三损失函数表示所述学生网络模型对应的判别器与所述教师网络模型对应的判别器之间的损失函数，所述第一像素为所述待训练图像中的任一像素。


8.根据权利要求1所述的方法，其特征在于，在将所述待...

【专利技术属性】
技术研发人员：孙佳，袁泽寰，王长虎，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：北京;11