用于训练图像处理装置的训练装置和训练方法制造方法及图纸

本公开涉及用于训练图像处理装置的训练装置和训练方法以及图像处理装置。该训练装置用于训练第一和第二图像处理单元，其包括：训练单元，将不具有特定特征的第一真实图像输入第一图像处理单元以通过第一图像处理生成具有特定特征的第一生成图像，将具有特定特征的第二真实图像输入第二图像处理单元以通过第二图像处理生成不具有特定特征的第二生成图像；分类单元，能够执行分类处理以区分真实图像和生成图像，训练单元进一步执行基于真实图像和生成图像对分类单元进行训练的第一训练处理；以及执行基于第一训练处理的训练结果对第一和第二图像处理单元进行训练的第二训练处理以降低分类单元的分类准确度。

【技术实现步骤摘要】
用于训练图像处理装置的训练装置和训练方法
本公开涉及用于训练图像处理装置的训练装置和训练方法以及相应的图像处理装置。
技术介绍
常常需要通过对人脸图像的适度修改来使人脸图像具有特定特征或者从人脸图像消除特定特征，即人脸特征操纵。例如，从被拍摄人戴眼镜的人脸图像中消除眼镜或者给人脸图像中的被拍摄人加上眼镜。对人脸图像进行的修改应尽可能避免对人脸图像的不涉及特定特征的其他区域造成影响以保持人脸图像的视觉保真度。
技术实现思路
在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本公开的目的在于提供用于训练图像处理装置的训练装置和训练方法，通过根据本公开的训练装置和训练方法训练的图像处理装置能够在保持高的视觉保真度的同时实现图像中的特定特征的操纵。通过本公开的训练装置和训练方法训练的图像处理装置特别适用于人脸图像处理以实现对人脸图像中的特定特征的操纵。为了实现本公开的目的，根据本公开的一个方面，提供了一种用于训练图像处理装置的训练装置，用于训练第一图像单元和第二图像处理单元，训练装置包括：训练单元，被配置成将不具有特定特征的第一真实图像输入第一图像处理单元以通过第一图像处理单元的第一图像处理生成具有特定特征的第一生成图像，并且将具有特定特征的第二真实图像输入第二图像处理单元以通过第二图像处理单元的第二图像处理生成不具有特定特征的第二生成图像；以及分类单元，被配置成能够执行分类处理以区分包括第一真实图像和第二真实图像的真实图像和包括第一生成图像和第二生成图像的生成图像，其中训练单元被进一步配置成：执行基于真实图像和生成图像对分类单元进行训练的第一训练处理；以及执行基于第一训练处理的训练结果对第一图像处理单元和第二图像处理单元进行训练的第二训练处理以降低分类单元的分类准确度。根据本公开的另一方面，提供了一种用于训练图像处理装置的训练方法，用于训练第一图像单元和第二图像处理单元，训练方法包括：将不具有特定特征的第一真实图像输入第一图像处理单元以通过第一图像处理单元的第一图像处理生成具有特定特征的第一生成图像；将具有特定特征的第二真实图像输入第二图像处理单元以通过第二图像处理单元的第二图像处理生成不具有特定特征的第二生成图像；执行分类处理以区分包括第一真实图像和第二真实图像的真实图像和包括第一生成图像和第二生成图像的生成图像；以及执行基于真实图像和生成图像对分类处理进行训练的第一训练处理，并且执行基于第一训练处理的训练结果对第一图像处理单元和第二图像处理单元进行训练的第二训练处理以降低分类处理的准确度。根据本公开的又一方面，还提供了一种通过根据本公开的训练装置和训练方法进行训练而获得的图像处理装置。根据本公开的再一方面，还提供了能够实现上述训练方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述训练方法的计算机程序代码。通过根据本公开的训练技术训练的图像处理装置，可以向图像添加特定特征或者可以从图像消除特定特征。能够在保持图像的其他特征基本不变，即保持高的视觉保真度的同时实现针对图像的特定特征的操纵。通过根据本公开的训练技术训练的图像处理装置获得的图像可以用作增加的图像数据或者经预处理的图像数据以用于其他特定应用。特别地，通过根据本公开的训练技术训练的图像处理装置，可以在保持图像的高的视觉保真度的同时实现人脸图像中的特定特征的操纵。附图说明参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：图1是示出根据现有技术的对抗训练装置的示意性结构框图；图2是示出根据本公开的实施例的训练装置的示意性结构框图；图3是示出根据本公开的实施例的训练装置执行的训练处理的示意图；图4是示出根据本公开的实施例的对偶学习的示意图；图5是示出根据本公开的实施例的训练方法的流程图；以及图6是示出可用来实现根据本公开的实施例的训练方法的通用机器的结构简图。具体实施方式在下文中将结合附图对本公开的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中可以做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。根据本公开的训练技术的思想基于机器学习领域中的对抗训练(又称对抗学习)技术。图1是示出根据现有技术的对抗训练装置100的示意性结构框图。如图1中所示，对抗训练装置100包括一个生成模型(generativemodel)G101和一个分类模型(discriminativemodel)D102。生成模型G101获取作为真实数据的训练样本并且产生生成样本。分类模型D102可被视为二分类器，能够对训练样本和生成样本进行区分。在对抗训练装置100的训练过程中，首先使用训练样本和生成模型G101基于训练样本产生的生成样本对分类模型D102进行训练。随后，基于对分类模型D102的训练结果对生成模型G101进行训练。使用新的训练样本继续按照以上步骤交替地对生成模型G101和分类模型D102进行训练。换言之，G101需要尽可能的让自己的输出像训练样本，而D102则尽可能的将不是训练样本的情况分辨出来。通常，当分类模型D102的分类准确度达到稳定状态时，结束训练过程。本公开提出了一种用于对图像处理装置进行训练的训练技术，通过该训练技术训练的图像处理装置能够在保持图像的高的视觉保真度的同时实现对图像的特定特征的操纵。图2是示出根据本公开的实施例的训练装置200的示意性结构框图。图3是示出根据本公开的实施例的训练装置200执行的训练处理的示意图。训练装置200用于对第一图像处理单元10和第二图像处理单元20进行训练。训练装置200包括分类单元201和训练单元202。下面针对第一图像处理单元10、第二图像处理单元20、分类单元201和训练单元202分别进行详细描述。[第一图像处理单元10和第二图像处理单元20]第一图像处理单元10可以通过执行第一图像处理基于不具有特定特征的第一真实图像生成具有特定特征的第一生成图像。第二图像处理单元20可以通过执行第二图像处理基于具有特定特征的第二真实图像生成不具有特定特征的第二生成图像。根据本公开的一个实施例，第一真实图像和第二真实图像可以是例如人脸图像，并且特定特征可以是例如胡子、眼镜、笑容等。作为一个具体示例，如图3所示，输入到第一图像处理单元10的第一真实图像是没有佩戴眼镜的人脸图像，第一图像处理单元10通过执行第一图像处理，在第一真实图像中添加眼镜以产生作为第一生成图像的佩戴有眼镜的人脸图像。与此相对，如图3所示，输入到第二图像处理单元20的第二真实图像是佩戴有眼镜的人脸图像，第二图像处理单元20通过执行第二图像处理，在第二真实图像中去本文档来自技高网...

【技术保护点】
1.一种用于训练图像处理装置的训练装置，用于训练第一图像单元和第二图像处理单元，所述训练装置包括：训练单元，被配置成将不具有特定特征的第一真实图像输入所述第一图像处理单元以通过所述第一图像处理单元的第一图像处理生成具有所述特定特征的第一生成图像，并且将具有所述特定特征的第二真实图像输入所述第二图像处理单元以通过所述第二图像处理单元的第二图像处理生成不具有所述特定特征的第二生成图像；以及分类单元，被配置成能够执行分类处理以区分包括所述第一真实图像和所述第二真实图像的真实图像和包括所述第一生成图像和所述第二生成图像的生成图像，其中训练单元被进一步配置成：执行基于所述真实图像和所述生成图像对所述分类单元进行训练的第一训练处理；以及执行基于所述第一训练处理的训练结果对所述第一图像处理单元和所述第二图像处理单元进行训练的第二训练处理以降低所述分类单元的分类准确度。

【技术特征摘要】
1.一种用于训练图像处理装置的训练装置，用于训练第一图像单元和第二图像处理单元，所述训练装置包括：训练单元，被配置成将不具有特定特征的第一真实图像输入所述第一图像处理单元以通过所述第一图像处理单元的第一图像处理生成具有所述特定特征的第一生成图像，并且将具有所述特定特征的第二真实图像输入所述第二图像处理单元以通过所述第二图像处理单元的第二图像处理生成不具有所述特定特征的第二生成图像；以及分类单元，被配置成能够执行分类处理以区分包括所述第一真实图像和所述第二真实图像的真实图像和包括所述第一生成图像和所述第二生成图像的生成图像，其中训练单元被进一步配置成：执行基于所述真实图像和所述生成图像对所述分类单元进行训练的第一训练处理；以及执行基于所述第一训练处理的训练结果对所述第一图像处理单元和所述第二图像处理单元进行训练的第二训练处理以降低所述分类单元的分类准确度。2.根据权利要求1所述的训练装置，其中所述训练单元被进一步配置成交替地执行所述第一训练处理和所述第二训练处理，直至所述分类单元的分类准确度稳定。3.根据权利要求1所述的训练装置，其中所述第一图像处理是生成第一残差图像的处理，所述第一生成图像是所述第一真实图像与所述第一残差图像的和，以及所述第二图像处理是生成第二残差图像的处理，所述第二生成图像是所述第二真实图像与所述第二残差图像的和。4.根据权利要求3所述的训练装置，其中所述第一残差图像和所述第二残差图像仅与所述特定特征相关。5.根据权利要求1所述的训练装置，其中所述分类单元被进一步配置成能够区分所述第一真实图像和所述第二真实图像。6.根据权利要求1所述的训练装置，其中所述第一图像处理单元被进一步配置成通过执行第一图像处理基于所述第二...

【专利技术属性】
技术研发人员：沈伟，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP