模型训练方法及相关设备技术

本申请实施例公开了一种模型训练方法及相关设备，其中，模型训练方法包括：获取训练样本，训练样本包括目标样本组，目标样本组中的第三样本人脸图像用于为第一样本人脸图像和第二样本人脸图像之间的融合处理提供参考；调用图像处理模型对目标样本组中的第一样本人脸图像和第二样本人脸图像进行融合处理，得到预测人脸图像；其具备第一样本人脸图像中的身份属性，且具备第二样本人脸图像中的非身份属性；基于预测人脸图像与第三样本人脸图像之间的差异对图像处理模型进行训练，训练好的图像处理模型用于对任意源人脸图像与任意目标人脸图像进行融合处理。通过本申请实施例可训练得到通用性更高的图像处理模型，进而极大地丰富模型应用场景。富模型应用场景。富模型应用场景。

【技术实现步骤摘要】
模型训练方法及相关设备


[0001]本申请涉及计算机
，尤其涉及一种模型训练方法、一种模型训练装置、一种计算机设备、一种计算机可读存储介质及一种计算机程序产品。

技术介绍

[0002]随着人工智能技术的发展，深度学习所使用的各种网络模型纷繁多样。在计算机视觉领域中，存在各式各样的图像处理模型用于处理图像，包括但不限于：人脸识别模型、图像分割模型、视觉感知模型等等。采用人脸图像可训练出具有融合处理能力的图像处理模型，通过融合处理可实现对象的身份迁移，例如将源人脸图像中对象的人脸迁移至目标人脸图像中，以替换目标人脸图像中对象的人脸，从而变换目标人脸图像所具备的身份属性。
[0003]然而，经实践发现，受限于图像处理模型所采用的模型训练方式，训练好的图像处理模型的通用性较差，限制了模型应用场景。

技术实现思路

[0004]本申请实施例提供一种模型训练方法及相关设备，可以训练得到通用性更高的图像处理模型，进而极大地丰富模型应用场景。
[0005]一方面，本申请实施例提供了一种模型训练方法，包括：
[0006]获取训练样本，训练样本包括目标样本组，目标样本组中包括第一样本人脸图像、第二样本人脸图像和第三样本人脸图像；第三样本人脸图像用于为第一样本人脸图像和第二样本人脸图像之间的融合处理提供参考；
[0007]调用图像处理模型对目标样本组中的第一样本人脸图像和第二样本人脸图像进行融合处理，得到预测人脸图像；预测人脸图像具备第一样本人脸图像中的身份属性，且具备第二样本人脸图像中的非身份属性；
[0008]基于预测人脸图像与第三样本人脸图像之间的差异对图像处理模型进行训练，训练好的图像处理模型用于对任意源人脸图像与任意目标人脸图像进行融合处理。
[0009]一方面，本申请实施例提供了一种模型训练装置，其特征在于，包括：
[0010]获取模块，用于获取训练样本，训练样本包括目标样本组，目标样本组中包括第一样本人脸图像、第二样本人脸图像和第三样本人脸图像；第三样本人脸图像用于为第一样本人脸图像和第二样本人脸图像之间的融合处理提供参考；
[0011]处理模块，用于调用图像处理模型对目标样本组中的第一样本人脸图像和第二样本人脸图像进行融合处理，得到预测人脸图像；预测人脸图像具备第一样本人脸图像中的身份属性，且具备第二样本人脸图像中的非身份属性；
[0012]训练模块，用于基于预测人脸图像与第三样本人脸图像之间的差异对图像处理模型进行训练，训练好的图像处理模型用于对任意源人脸图像与任意目标人脸图像进行融合处理。
[0013]相应地，本申请实施例提供了一种计算机设备，包括：
[0014]处理器，适用于执行计算机程序；
[0015]计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，执行本申请实施例的模型训练方法。
[0016]相应地，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时，执行本申请实施例的模型训练方法。
[0017]相应地，本申请实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序或计算机指令，该计算机程序或计算机指令被处理器执行时实现本申请实施例的模型训练方法。
[0018]在本申请实施例中，可采用训练样本包括的目标样本组来训练图像处理模型。目标样本组包括第一样本人脸图像、第二样本人脸图像以及第三样本人脸图像。在训练过程中，可调用图像处理模型对第一样本人脸图像与第二样本人脸图像进行融合，得到预测人脸图像，该预测人脸图像既具备第一样本人脸图像中的身份属性，又具备第二样本人脸图像中的非身份属性。这得益于图像处理模型所具备的基础的融合处理能力，实现了将第一样本人脸图像所具备的身份属性迁移至第二样本人脸图像中。基于第三样本人脸图像为第一样本人脸图像和第二样本人脸图像之间的融合处理所提供的参考，第三样本人脸图像可作为图像处理模型的监督数据来评判图像处理模型的融合处理能力的优劣。因此，可基于预测人脸图像与第三样本人脸图像之间的差异对图像处理模型进行训练，得到训练好的图像处理模型。相较于训练阶段的图像处理模型，训练好的图像处理模型具有更好的融合能力，能够显著提升对不同图像进行融合处理的效果，从而应对各种复杂的身份迁移任务。此外，训练好的图像处理模型还可用于对任意源人脸图像与任意目标人脸图像进行融合处理。可见，训练好的图像处理模型具备较高的通用性，能够为任意源人脸图像提供通用的身份迁移服务，使得任意源人脸图像的身份属性能够被迁移至任意目标人脸图像中。这样，训练好的图像处理模型并不受限于处理固定身份属性的源人脸图像，而是可以灵活地处理任意目标人脸图像以及任意身份属性的源人脸图像，从而极大地扩展了图像处理模型进行融合处理的场景，丰富图像处理模型的应用场景。
附图说明
[0019]图1是本申请一个示例性实施例提供的一种模型训练系统的架构图；
[0020]图2是本申请一个示例性实施例提供的一种模型训练方法的流程示意图；
[0021]图3a是本申请一个示例性实施例提供的一种目标样本组所包含的各个样本人脸图像之间的关联关系的示意图；
[0022]图3b是本申请一个示例性实施例提供的一种预测人脸图像的生成示意图；
[0023]图4是本申请一个示例性实施例提供的一种训练样本获取方法的流程示意图；
[0024]图5a是本申请一个示例性实施例提供的一种进行光影变换的效果示意图；
[0025]图5b本申请一个示例性实施例提供的一种构建目标样本组的示意图；
[0026]图6是本申请一个示例性实施例提供的另一种模型训练方法的流程示意图；
[0027]图7a是本申请一个示例性实施例提供的一种生成网络的结构示意图；
[0028]图7b是本申请一个示例性实施例提供的一种模型训练的框架示意图；
[0029]图8是本申请一个示例性实施例提供的一种应用训练好的图像处理模型进行融合处理的流程示意图；
[0030]图9a是本申请一个示例性实施例提供的一种协作融合的示意图；
[0031]图9b是本申请一个示例性实施例提供的另一种协作融合的示意图；
[0032]图9c是本申请一个示例性实施例提供的一种排列显示的结果图像的示意图；
[0033]图9d是本申请一个示例性实施例提供的一种轮流显示的结果图像的示意图；
[0034]图9e是本申请一个示例性实施例提供的一种显示结果图像的缩略图像的示意图；
[0035]图9f是本申请一个示例性实施例提供的一种视频序列的示意图；
[0036]图9g是本申请一个示例性实施例提供的一种对结果图像进行个性化编辑的示意图；
[0037]图10是本申请一个示例性实施例提供的另一种应用训练好的图像处理模型进行融合处理的流程示意图；
[0038]图11是本申请一个示例性实施例提供的一种模型训练装置的结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取训练样本，所述训练样本包括目标样本组，所述目标样本组中包括第一样本人脸图像、第二样本人脸图像和第三样本人脸图像；所述第三样本人脸图像用于为所述第一样本人脸图像和所述第二样本人脸图像之间的融合处理提供参考；调用图像处理模型对所述目标样本组中的第一样本人脸图像和第二样本人脸图像进行融合处理，得到预测人脸图像；所述预测人脸图像具备所述第一样本人脸图像中的身份属性，且具备所述第二样本人脸图像中的非身份属性；基于所述预测人脸图像与所述第三样本人脸图像之间的差异对所述图像处理模型进行训练，训练好的图像处理模型用于对任意源人脸图像与任意目标人脸图像进行融合处理。2.如权利要求1所述的方法，其特征在于，所述获取训练样本，包括：构建训练数据集，所述训练数据集包括素材场景数据集、第一身份数据集、第二身份数据集和参考数据集；基于所述训练数据集构建训练样本；其中，所述素材场景数据集中包括N1个素材人脸图像；所述第一身份数据集包括N2个身份标识，所述N2个身份标识中的每个身份标识均对应一个图像组；任一个图像组均由多个人脸图像组成，且所述任一个图像组中的各人脸图像均具备相应身份标识所指示的身份属性；所述第一身份数据集中属于不同图像组的人脸图像具备不同身份属性；所述第二身份数据集包括N3个身份标识，所述N3个身份标识中的每个身份标识均对应一个人脸图像，且所述第二身份数据集中的任一个人脸图像具备相应身份标识所指示的身份属性；所述第二身份数据集中不同的人脸图像具备不同的身份属性；所述参考数据集包括N4个参考人脸图像；所述参考数据集中的任一个参考人脸图像X4‑
i
是对所述第一身份数据集中的任一个身份标识对应图像组中的任一个人脸图像X2‑
j
与所述素材场景数据集中的任一个素材人脸图像X1‑
k
进行融合处理得到的；所述参考人脸图像X4‑
i
具备所述人脸图像X2‑
j
对应的身份标识所指示的身份属性，且具备所述素材人脸图像X1‑
k
中的非身份属性；其中，N1、N2、N3以及N4为正整数，i为小于或等于N4的正整数，j为小于或等于N2的正整数，k为小于或等于N1的正整数。3.如权利要求2所述的方法，其特征在于，所述训练样本包括至少一个正样本组，所述目标样本组是所述训练样本中的任一个正样本组；所述基于所述训练数据集构建训练样本，包括：从所述第一身份数据集中选择身份标识ID
s
和身份标识ID
t
，并从所述身份标识ID
s
对应的图像组中选择一个人脸图像X
s
；从所述素材场景数据集中随机选择一个素材人脸图像；从所述参考数据集中获取参考人脸图像GT和参考人脸图像X
t
；其中，所述参考人脸图像GT是由所述身份标识ID
s
对应图像组中的任一个人脸图像与所选择的素材人脸图像进行融合处理得到的；所述参考人脸图像X
t
是由所述身份标识ID
t
对应图像组中的任一个人脸图像与所选择的素材人脸图像进行融合处理得到的；
基于所述人脸图像X
s
、所述参考人脸图像X
t
和所述参考人脸图像GT，构建所述目标样本组；其中，所述人脸图像X
s
为所述目标样本组中的第一样本人脸图像，所述参考人脸图像X
t
为所述目标样本组中的第二样本人脸图像，所述参考人脸图像GT为所述目标样本组中的第三样本人脸图像；或者，对所述人脸图像X
s
和所述参考人脸图像X
t
分别进行光影变换，光影变换后的人脸图像X
s
为所述目标样本组中的第一样本人脸图像，光影变换后的参考人脸图像X
t
为所述目标样本组中的第二样本人脸图像，所述参考人脸图像GT为所述目标样本组中的第三样本人脸图像。4.如权利要求2所述的方法，其特征在于，所述训练样本包括至少一个伪样本组，所述目标样本组是所述训练样本中的任一个伪样本组；所述基于所述训练数据集构建训练样本，包括：从所述第一身份数据集中选择身份标识ID
s
和身份标识ID
t
；从所述素材场景数据集中随机选择一个素材人脸图像；从所述参考数据集中获取参考人脸图像GT
fake
和参考人脸图像X
t
；所述参考人脸图像GT
fake
是由所述身份标识ID
s
对应图像组中的任一个人脸图像与所选择的素材人脸图像进行融合处理得到的；所述参考人脸图像X
t
是由所述身份标识ID
t
对应图像组中的任一个人脸图像与所选择的素材人脸图像进行融合处理得到的；从所述第二身份数据集中选择一个人脸图像X
sfake
；基于所述人脸图像X
sfake
、所述参考人脸图像X
t
和所述参考人脸图像GT
fake
，构建所述目标样本组；其中，所述人脸图像X
sfake
为所述目标样本组中的第一样本人脸图像，所述参考人脸图像X
t
为所述目标样本组中的第二样本人脸图像，所述参考人脸图像GT
fake
为所述目标样本组中的第三样本人脸图像；或者，对所述人脸图像X
sfake
和所述参考人脸图像X
t
分别进行光影变换，光影变换后的人脸图像X
sfake
为所述目标样本组中的第一样本人脸图像，光影变换后的参考人脸图像X
t
为所述目标样本组中的第二样本人脸图像，所述参考人脸图像GT
fake
为所述目标样本组中的第三样本人脸图像。5.如权利要求1所述的方法，其特征在于，所述基于所述预测人脸图像与所述第三样本人脸图像之间的差异，对所述图像处理模型进行训练，包括：获取所述预测人脸图像与所述第三样本人脸图像之间的差异，所述差异包括相似差异和判别差异；根据所述预测人脸图像与所述第三样本人脸图像之间的相似差异，构建相似损失；根据所述预测人脸图像与所述第三样本人脸图像之间的判别差异，构建判别损失；基于所述相似损失和所述判别损失构建所述图像处理模型的联合损失；按照减小所述联合损失的方向，对所述图像处理模型的模型参数进行更新直至所述图像处理模型达到收敛条件，得到训练好的图像处理模型；其中，所述相似差异包括内容相似差异；或者，所述相似差异包括内容相似差异及以下至少一项：感知相似差异、对抗相似差异、色彩相似差异。
6.如权利要求5所述的方法，其特征在于，所述差异包括相似差异；所述获取所述预测人脸图像与所述第三样本人脸图像之间的差异，包括：计算所述预测人脸图像与所述第三样本人脸图像之间的内容绝对差值，所述内容绝对值差用于表示所述内容相似差异；其中，所述相似损失包括内容相似损失L1，所述内容相似损失L1根据所述内容绝对差值构建得到。7.如权利要求5所述的方法，其特征在于，所述差异包括相似差异，所述相似差异还包括感知相似差异；所述获取所述预测人脸图像与所述第三样本人脸图像之间的差异，包括：调用固定权重网络对所述预测人脸图像进行内容识别处理，得到所述预测人脸图像对应的第一识别结果；调用所述...

【专利技术属性】
技术研发人员：陈浩锟，严宇轩，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：