模型确定方法、图像处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种模型确定方法、图像处理方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：根据训练样本集，构建第一训练样本；根据第一训练样本训练初始换脸模型，得到中间换脸模型；将训练样本集中的虚拟脸部图像样本输入初始虚拟脸部重建模型中，得到虚拟脸部特征向量；将虚拟脸部特征向量、中间换脸模型生成的融合脸部特征向量进行特征对齐，并根据特征对齐的损失修正初始虚拟脸部重建模型中的初始虚拟脸部重建解码器，得到目标虚拟脸部重建模型；根据目标虚拟脸部重建模型和中间换脸模型，得到目标换脸模型。应用本申请实施例，可以避免真实脸部图像迁移到虚拟脸部图像后出现违和感。像后出现违和感。像后出现违和感。

【技术实现步骤摘要】
模型确定方法、图像处理方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种模型确定方法、图像处理方法、装置、设备及存储介质。

技术介绍

[0002]随着网络和计算机技术的发展，图像换脸逐渐成为人们社交娱乐的新热点。例如在游戏领域中，玩家可利用源图像(例如玩家图像或所喜欢的明星图像等)替换目标图像(例如某个游戏角色图像)，以改变游戏角色图像的身份特征，同时保留游戏角色图像的属性特征。
[0003]目前，根据作为源图像样本的真实人脸图像以及作为目标图像样本的虚拟人脸图像构建的训练样本，对初始换脸模型进行训练，直接得到目标换脸模型，利用目标换脸模型将目标真实人脸图像的身份特征替换到目标虚拟人脸图像中去，得到换脸图像。
[0004]然而，利用目标换脸模型将目标真实人脸图像的身份特征替换目标虚拟人脸图像的身份特征时，可能会引入目标真实人脸图像的属性特征，如纹理、肤色，这样会使目标真人图像迁移到虚拟人图像后出现违和感，难以保证换脸图像与目标虚拟人脸图像的人脸风格的一致性。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种模型确定方法、图像处理方法、装置、设备及存储介质，可以避免真人图像迁移到虚拟人图像后出现违和感，进而保证换脸图像与目标虚拟人脸图像的人脸风格的一致性。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种模型确定方法，所述方法包括：
[0008]根据训练样本集，构建第一训练样本，所述训练样本集中包括真实脸部图像样本、虚拟脸部图像样本，所述第一训练样本中包括源图像样本以及目标图像样本；
[0009]根据所述第一训练样本训练初始换脸模型，得到中间换脸模型，所述中间换脸模型用于对融合脸部特征向量进行处理得到预测换脸图像，所述融合脸部特征向量包括源图像样本的身份特征向量以及目标图像样本的属性特征向量；
[0010]将所述训练样本集中的虚拟脸部图像样本输入初始虚拟脸部重建模型中，得到虚拟脸部特征向量；
[0011]将所述虚拟脸部特征向量、所述中间换脸模型生成的融合脸部特征向量进行特征对齐，并根据特征对齐的损失修正所述初始虚拟脸部重建模型中的初始虚拟脸部重建解码器，得到目标虚拟脸部重建模型，所述目标虚拟脸部重建模型用于对虚拟脸部特征向量进行处理得到重建虚拟脸部图像；
[0012]根据所述目标虚拟脸部重建模型和所述中间换脸模型，得到目标换脸模型。
[0013]第二方面，本申请实施例还提供了一种图像处理方法，所述方法包括：
[0014]获取目标真实脸部图像以及目标虚拟脸部图像；
[0015]分别将所述目标真实脸部图像以及所述目标虚拟脸部图像输入目标换脸模型中，得到换脸图像，所述换脸图像包括所述目标真实脸部图像的身份特征以及所述目标虚拟脸部图像的属性特征，其中，所述目标换脸模型为由上述第一方面的所述模型确定方法得到。
[0016]第三方面，本申请实施例还提供了一种模型确定装置，所述装置包括：
[0017]构建模块，用于根据训练样本集，构建第一训练样本，所述训练样本集中包括真实脸部图像样本、虚拟脸部图像样本，所述第一训练样本中包括源图像样本以及目标图像样本；
[0018]第一确定模块，用于根据所述第一训练样本训练初始换脸模型，得到中间换脸模型，所述中间换脸模型用于对融合脸部特征向量进行处理得到预测换脸图像，所述融合脸部特征向量包括源图像样本的身份特征向量以及目标图像样本的属性特征向量；
[0019]第一输入模块，用于将所述训练样本集中的虚拟脸部图像样本输入初始虚拟脸部重建模型中，得到虚拟脸部特征向量；
[0020]特征对齐模块，用于将所述虚拟脸部特征向量、所述中间换脸模型生成的融合脸部特征向量进行特征对齐，并根据特征对齐的损失修正所述初始虚拟脸部重建模型中的初始虚拟脸部重建解码器，得到目标虚拟脸部重建模型，所述目标虚拟脸部重建模型用于对虚拟脸部特征向量进行处理得到重建虚拟脸部图像；
[0021]第二确定模块，用于根据所述目标虚拟脸部重建模型和所述中间换脸模型，得到目标换脸模型。
[0022]第四方面，本申请实施例还提供了一种图像处理装置，所述装置包括：
[0023]获取模块，用于获取目标真实脸部图像以及目标虚拟脸部图像；
[0024]第二输入模块，用于分别将所述目标真实脸部图像以及所述目标虚拟脸部图像输入目标换脸模型中，得到换脸图像，所述换脸图像包括所述目标真实脸部图像的身份特征以及所述目标虚拟脸部图像的属性特征，其中，所述目标换脸模型为由上述第三方面的所述模型确定装置得到。
[0025]第五方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的所述模型确定方法的步骤或第二方面的所述图像处理方法的步骤。
[0026]第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的所述模型确定方法的步骤或第二方面的所述图像处理方法的步骤。
[0027]本申请的有益效果是：
[0028]本申请实施例提供一种模型确定方法、图像处理方法、装置、设备及存储介质，该方法包括：根据训练样本集，构建第一训练样本；根据第一训练样本训练初始换脸模型，得到中间换脸模型；将训练样本集中的虚拟脸部图像样本输入初始虚拟脸部重建模型中，得到虚拟脸部特征向量；将虚拟脸部特征向量、中间换脸模型生成的融合脸部特征向量进行特征对齐，并根据特征对齐的损失修正初始虚拟脸部重建模型中的初始虚拟脸部重建解码器，得到目标虚拟脸部重建模型；根据目标虚拟脸部重建模型和中间换脸模型，得到目标换
脸模型。
[0029]采用本申请实施例提供的模型确定方法，在利用第一训练样本训练得到中间换脸模型后，可基于该中间换脸模型对包括有初始虚拟脸部重建解码器的初始虚拟脸部重建模型进行训练，由于初始虚拟脸部重建模型输入的是虚拟脸部图像样本，所以在训练初始虚拟脸部重建模型的过程中，可将虚拟脸部特征向量、中间换脸模型生成的融合脸部特征向量进行特征对齐处理，使输入至初始虚拟脸部重建解码器的虚拟脸部特征向量的分布与融合脸部特征向量的分布保持一致，这样使最后训练得到的目标虚拟脸部重建模型不仅可以侧重的关注虚拟脸部图像的属性特征，如纹理、肤色等，而且还可以正常对包含有真实脸部图像信息的融合脸部特征向量进行解码。也就是说，最后根据目标虚拟脸部重建模型和中间换脸模型确定得到的目标换脸模型可以确保生成的换脸图像风格符合虚拟脸部图像的风格，避免真实脸部图像迁移到虚拟脸部图像后出现的违和感，进而可以提升换脸图像的真实性以及图像质量。
附图说明
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型确定方法，其特征在于，所述方法包括：根据训练样本集，构建第一训练样本，所述训练样本集中包括真实脸部图像样本、虚拟脸部图像样本，所述第一训练样本中包括源图像样本以及目标图像样本；根据所述第一训练样本训练初始换脸模型，得到中间换脸模型，所述中间换脸模型用于对融合脸部特征向量进行处理得到预测换脸图像，所述融合脸部特征向量包括源图像样本的身份特征向量以及目标图像样本的属性特征向量；将所述训练样本集中的虚拟脸部图像样本输入初始虚拟脸部重建模型中，得到虚拟脸部特征向量；将所述虚拟脸部特征向量、所述中间换脸模型生成的融合脸部特征向量进行特征对齐，并根据特征对齐的损失修正所述初始虚拟脸部重建模型中的初始虚拟脸部重建解码器，得到目标虚拟脸部重建模型，所述目标虚拟脸部重建模型用于对虚拟脸部特征向量进行处理得到重建虚拟脸部图像；根据所述目标虚拟脸部重建模型和所述中间换脸模型，得到目标换脸模型。2.根据权利要求1所述的方法，其特征在于，所述中间换脸模型中包括中间换脸解码器；所述目标虚拟脸部重建模型中包括目标虚拟脸部重建解码器；所述根据所述目标虚拟脸部重建模型和所述中间换脸模型，得到目标换脸模型，包括：将所述中间换脸模型中的中间换脸解码器替换为所述目标虚拟脸部重建解码器，得到目标换脸模型。3.根据权利要求1所述的方法，其特征在于，所述目标虚拟脸部重建模型中包括目标虚拟脸部重建解码器；所述初始虚拟脸部重建模型中包括初始判别器；将所述虚拟脸部特征向量、所述中间换脸模型生成的融合脸部特征向量进行特征对齐，并根据特征对齐的损失修正所述初始虚拟脸部重建模型中的初始虚拟脸部重建解码器，得到目标虚拟脸部重建模型，包括：将所述虚拟脸部特征向量以及所述融合脸部特征向量输入所述初始判别器，由所述初始判别器进行特征对齐处理，得到特征对齐的损失；根据所述特征对齐的损失、所述虚拟脸部图像样本以及所述重建虚拟脸部图像对应的像素损失、感知损失修正所述初始虚拟脸部重建模型中的初始虚拟脸部重建解码器，得到所述目标虚拟脸部重建模型。4.根据权利要求3所述的方法，其特征在于，所述将所述虚拟脸部特征向量以及所述融合脸部特征向量输入所述初始判别器，由所述初始判别器进行特征对齐处理，得到特征对齐的损失，包括：将所述虚拟脸部特征向量以及所述融合脸部特征向量输入所述初始判别器，由所述初始判别器根据所述融合脸部特征向量的第一分布信息以及所述虚拟脸部特征向量的第二分布信息之间的差异，得到所述特征对齐的损失。5.根据权利要求2所述的方法，其特征在于，所述根据训练样本集，构建第一训练样本，包括：根据所述训练样本集中的真实脸部图像样本，分别构建所述第一训练样本中的源图像样本以及目标图像样本，所述源图像样本以及所述目标图像样本为不同真实脸部图像样本。
6.根据权利要求5所述的方法，其特征在于，所述将所述中间换脸模型中的中间换脸解码器替换为所述目标虚拟脸部重建解码器，得到目标换脸模型，包括：将所述中间换脸模型中的中间换脸解码器替换为所述目标虚拟脸部重建解码器，得到替换后的中间换脸模型；根据所述训练样本集中的真实脸部图像样本以及虚拟脸部图像样本，分别构建第二训练样本中的源图像样本以及目标图像样本，...

【专利技术属性】
技术研发人员：曾豪，丁彧，吕唐杰，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：