图像的修复方法和装置、存储介质、电子装置制造方法及图纸

本申请公开了一种图像的修复方法和装置、存储介质、电子装置，涉及云计算领域。其中，该方法包括：获取修复请求，其中，修复请求用于请求对第一图像进行修复；通过生成式对抗网络对第一图像进行修复，得到达到目标质量等级的第二图像，其中，生成式对抗网络包括目标判别模型、目标分类模型以及目标生成模型，目标判别模型用于对目标生成模型的修复功能进行训练，目标分类模型用于确定目标生成模型生成的图像是否达到目标质量等级；返回第二图像。本申请解决了相关技术中修复图像的质量较差的技术问题。

【技术实现步骤摘要】
图像的修复方法和装置、存储介质、电子装置
本申请涉及人工智能领域，具体而言，涉及一种图像的修复方法和装置、存储介质、电子装置。
技术介绍
随着摄影设备的逐渐普及，数码照片已经渗入到日常生活的各个方面。但是很多因素会引起图像的缺损，包括人为的和非人为的。对缺损部分进行修复，成为一种非常重要的技术。在文艺作品的修复，影视特技的制作以及图像中多余物体的去除等方面都有着很大的应用。传统的图像修复往往只能进行简单的纹理修复，而对于语义修复，传统方法无法实现。近几年深度学习的出现，极大的促进了图像修复领域的发展，生成对抗网络及变分自编码器使得语义修复的性能得到很大的提升，但是依旧存在磨皮过度、产生油画感、图像细节生成不自然等质量问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种图像的修复方法和装置、存储介质、电子装置，以至少解决相关技术中修复图像的质量较差的技术问题。根据本申请实施例的一个方面，提供了一种图像的修复方法，包括：获取修复请求，其中，修复请求用于请求对第一图像进行修复；通过生成式对抗网络对第一图像进行修复，得到达到目标质量等级的第二图像，其中，生成式对抗网络包括目标判别模型、目标分类模型以及目标生成模型，目标判别模型用于对目标生成模型的修复功能进行训练，目标分类模型用于确定目标生成模型生成的图像是否达到目标质量等级；返回第二图像。根据本申请实施例的另一方面，还提供了一种图像的修复装置，包括：第一获取单元，用于获取修复请求，其中，修复请求用于请求对第一图像进行修复；修复单元，用于通过生成式对抗网络对第一图像进行修复，得到达到目标质量等级的第二图像，其中，生成式对抗网络包括目标判别模型、目标分类模型以及目标生成模型，目标判别模型用于对目标生成模型的修复功能进行训练，目标分类模型用于确定目标生成模型生成的图像是否达到目标质量等级；响应单元，用于返回第二图像。根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。在本申请实施例中，在通过生成式对抗网络对第一图像进行修复时，利用目标分类模型确定目标生成模型对第一图形进行修复得到的图像是否达到目标质量等级，并将其中达到目标质量等级的作为最终进行反馈的第二图像，可以解决相关技术中修复图像的质量较差的技术问题，进而达到提高图像质量的技术效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的图像的修复方法的硬件环境的示意图；图2是根据本申请实施例的一种可选的图像的修复方法的流程图；图3是根据本申请实施例的一种可选的图像修复结果的示意图；图4是根据本申请实施例的一种可选的图像的修复装置的示意图；以及图5是根据本申请实施例的一种终端的结构框图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：生成式对抗网络(GAN,GenerativeAdversarialNetworks)是一种深度学习模型，模型框架中至少有两个模块：生成模型G(GenerativeModel)和判别模型D(DiscriminativeModel)，由二者之间的互相博弈学习产生更好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为G和D。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。根据本申请实施例的一方面，提供了一种图像的修复方法的方法实施例。可选地，在本实施例中，上述图像的修复方法可以服务的形式向用户提供，该服务可以设置在本地，用户直接在本地设备上使用该服务，该服务也可以设置在云端(后续以此为例进行说明)，如应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。本申请实施例的图像的修复方法可以由服务器103来执行，也可以由终端101来执行，还可以是由服务器103和终端101共同执行。其中，终端101执行本申请实施例的图像的修复方法也可以是由安装在其上的客户端来执行。以由服务器103和终端101共同执行为例，图2是根据本申请实施例的一种可选的图像的修复方法的流程图，如图2所示，该方法可以包括以下步骤：步骤S202，服务器获取终端的修复请求，终端通过修复请求向服务器请求对该请求携带的第一图像进行修复，该服务器是提供修复服务(该服务具体可以由生成式对抗网络提供)的服务器。上述第一图像为存在缺失、模糊、马赛克等缺陷的图像，如人脸图像中存在一部分缺失的图像。步骤S204，服务器利用生成式对抗网络对第一图像进行修复，得到达到目标质量等级的第二图像，生成式对抗网络包括目标判别模型、目标分类模型以及目标生成模型，目标判别模型用于对目标生成模型的修复功能进行训练，目标分类模型用于确定目标生成模型生成的图像是否达到目标质量等级。步骤S206，服务器向终端返回第二图像。由于生成对抗网络(GAN)有强大的生成能力，故本申请采用GAN来修复图像，但是若直接使用GAN模型来处理修复任务，以人脸修复为例，生成的人脸细节会存在如下问题：由于GAN模型的可控性差，使用GAN执行人脸修复的任务中会出现修复结果磨皮过度、产生油画感、图像细节本文档来自技高网...

【技术保护点】
1.一种图像的修复方法，其特征在于，包括：/n获取修复请求，其中，所述修复请求用于请求对第一图像进行修复；/n通过生成式对抗网络对所述第一图像进行修复，得到达到目标质量等级的第二图像，其中，所述生成式对抗网络包括目标判别模型、目标分类模型以及目标生成模型，所述目标判别模型用于对所述目标生成模型的修复功能进行训练，所述目标分类模型用于确定所述目标生成模型生成的图像是否达到目标质量等级；/n返回所述第二图像。/n

【技术特征摘要】
1.一种图像的修复方法，其特征在于，包括：
获取修复请求，其中，所述修复请求用于请求对第一图像进行修复；
通过生成式对抗网络对所述第一图像进行修复，得到达到目标质量等级的第二图像，其中，所述生成式对抗网络包括目标判别模型、目标分类模型以及目标生成模型，所述目标判别模型用于对所述目标生成模型的修复功能进行训练，所述目标分类模型用于确定所述目标生成模型生成的图像是否达到目标质量等级；
返回所述第二图像。


2.根据权利要求1所述的方法，其特征在于，在获取修复请求之前，所述方法还包括：
获取第一训练样本集，其中，所述第一训练样本集中包括多张有标签的图像，该标签用于标识图像的质量等级；
利用所述第一训练样本集中的图像对初始分类模型进行训练，得到所述目标分类模型。


3.根据权利要求2所述的方法，其特征在于，利用所述第一训练样本集中的图像对初始分类模型进行训练，得到所述目标分类模型包括：
利用所述第一训练样本集中的图像对所述初始分类模型进行训练，得到中间分类模型；
在所述中间分类模型对第三图像的识别准确率达到目标阈值的情况下，将所述中间分类模型作为所述目标分类模型，其中，所述第三图像为第一测试集中的图像，所述第一测试集包括多张有标签的图像；
在所述中间分类模型对所述第三图像的识别准确率未达到所述目标阈值的情况下，继续利用所述第一训练样本集中的图像对所述中间分类模型进行训练，直至所述中间分类模型对所述第三图像的识别准确率达到所述目标阈值。


4.根据权利要求3所述的方法，其特征在于，利用所述第一训练样本集中的图像对所述初始分类模型进行训练包括按照如下方式对所述初始分类模型进行多次训练：
在本次训练是第一次训练的情况下，初始化所述初始分类模型中各层网络中的权重参数，并将所述第一训练样本集中的图像输入所述初始分类模型；或者，在本次训练不是第一次训练的情况下，直接将所述第一训练样本集中的图像输入所述初始分类模型；
获取所述初始分类模型识别出的所述第一训练样本集中图像的质量等级；
根据所述初始分类模型识别出的质量等级和标签标识的质量等级调整所述初始分类模型中各层网络中的权重参数。


5.根据权利要求2所述的方法，其特征在于，获取第一训练样本集包括：
获取所述目标生成模型生成的图像，并为所述目标生成模型生成的图像生成标签；获取由图像采集设备采集到的图像，并为采集到的图像生成标签；
将带有标签的所述目标生成模型生成的图像和带有标签的采集到的图像作为所述第一训练样本集。


6.根据权利要求1至5中任意一项所述的方法，其特征在于，在获取修复请求之前，所述方法还包括：
对初始判别模型进行训练，得到训练好的所述目标判别模型；
利用所述目标判别模型对初始生成模型进行训练，得到训练好的所述目标生成模型。


7.根据权利要求6所述的方法，其特征在于，利用所述目标判别模型对初始生成模型进行训练，得到训练好的所述目标生成模型包括：
获取第二训练样本集，其中，所述第二训练样本集包括多张待修复的图像；
利用所述第二训练样本集中的图像对所述初始生成模型进行训练，得到中间生成模型；
在所述目标判别模型对第四图像的识别通过率在预设范围内的情况下，将所述中间生成模型作为所述目标生成模型，其中，所述第四图像为所述中间生成模型对第二测试集中的图像进行修复得到的，所述第二测试集包括多张待修复的图像；
在所述目标判别模型对所述第四图像的识别通过率不在所述预设范围内的情况下，继续利用所述第二训练样本集中的图像对所述中间生成模型进行训练，直至所述目标判别模型对所述第四图像的识别通过率在所述预设范围内。


8.根据权利要求7所述的方法，其特征在于，利用所述第二训练样本集中的图像对所述初始生成模型进行训练包括按照如下方式对所述初始生成模型进行多次训练：
在本次训练是第一次训练的情况下，初始化所述初始生成模型中各层网络中的权重参数，并将所述第二训练样本集中的图像输入所述初始生成模型；或者，在本次训练不是第一次训练的情况下，直接将所述第二训练样本集中的图像输入所述初始生成模型；
获取所述目标判别模型对第五图像的识别结果，其中，所述第五图像是所述初始生成模型对所述第二训练样本集中的图像进行修复得到的图像；
根据所述目标判别模型对第五图像的识别结果调整所述初始生成模型中各层网络中的权重参数。


9.一种图像的修复装置，其特征在于，包括：
第一获取单元，用于获取修复请求，其中，所述修复请求用于请求对第一图像进行...

【专利技术属性】
技术研发人员：熊宝玉，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11