图像处理模型的训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种图像处理模型的训练方法、装置、计算机设备和存储介质。方法包括：获取三元组样本，三元组样本包括源图像、第一图像和目标图像；源图像和目标图像对应相同的身份属性，第一图像和源图像对应不同的身份属性；第一图像和目标图像对应相同的非身份属性；将源图像和第一图像输入图像处理模型中的生成器，得到输出图像；将源图像、第一图像、目标图像和输出图像输入图像处理模型中的判别器，得到图像属性判别结果；根据图像属性判别结果调整生成器的参数和判别器的参数并继续训练，当满足预设条件时停止训练，得到训练好的图像处理模型。采用本方法训练得到的图像处理模型能够提高图像和合成视频的质量。

【技术实现步骤摘要】
图像处理模型的训练方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种图像处理模型的训练方法、装置、计算机设备和存储介质。
技术介绍
随着人工智能和计算机技术的发展，出现了人脸转换技术，人脸转换是指将目标图像中的人脸的身份换成源图像中的人，同时保持目标图像的姿态、表情、妆容、背景等元素。用户通过人脸转换可以体验虚拟换服装、换发型和视频换脸等，给用户带了乐趣。由于视频是连续的图像序列，自然拍摄的视频通常在形状、光照、动作等因素的变化上都比较自然流畅，而现有的人脸转换通常会把脸部区域抠出进行单独处理，之后再把结果融合回原视频，会导致合成视频中的换脸区域在形状、光照、动作等方面与原视频不一致的情况。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高合成图像或合成视频质量的图像处理模型的训练方法、装置、计算机设备和存储介质。一种图像处理模型的训练方法，所述方法包括：获取三元组样本，所述三元组样本包括源图像、第一图像和目标图像；所述源图像和所述目标图像对应相同的身份属性，所述本文档来自技高网...

【技术保护点】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：/n获取三元组样本，所述三元组样本包括源图像、第一图像和目标图像；所述源图像和所述目标图像对应相同的身份属性，所述第一图像和所述源图像对应不同的身份属性；所述第一图像和所述目标图像对应相同的非身份属性；/n将所述源图像和所述第一图像输入图像处理模型中的生成器，得到输出图像；/n将所述源图像、所述第一图像、所述目标图像和所述输出图像输入所述图像处理模型中的判别器，得到图像属性判别结果；所述图像属性包括伪造图像和非伪造图像；/n根据所述图像属性判别结果调整所述生成器的参数和所述判别器的参数并继续训练，当满足预设条件时停止训练，得到训练好的图...

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
获取三元组样本，所述三元组样本包括源图像、第一图像和目标图像；所述源图像和所述目标图像对应相同的身份属性，所述第一图像和所述源图像对应不同的身份属性；所述第一图像和所述目标图像对应相同的非身份属性；
将所述源图像和所述第一图像输入图像处理模型中的生成器，得到输出图像；
将所述源图像、所述第一图像、所述目标图像和所述输出图像输入所述图像处理模型中的判别器，得到图像属性判别结果；所述图像属性包括伪造图像和非伪造图像；
根据所述图像属性判别结果调整所述生成器的参数和所述判别器的参数并继续训练，当满足预设条件时停止训练，得到训练好的图像处理模型。


2.根据权利要求1所述的方法，其特征在于，所述获取三元组样本，包括：
获取源图像、目标图像和第二图像，所述第二图像和所述目标图像对应不同的身份属性；
将所述目标图像中的对象替换为第二图像中的对象，得到第一图像；所述第一图像和所述第二图像对应相同的身份属性；
将所述源图像、所述第一图像和所述目标图像作为三元组样本。


3.根据权利要求1所述的方法，其特征在于，所述获取三元组样本，包括：
获取原始视频和目标视频，所述原始视频和所述目标视频对应相同的非身份属性，所述原始视频和所述目标视频对应不同的身份属性；
从所述原始视频中获取包含同一对象的图像作为源图像和目标图像；
从所述目标视频中获取与所述原始视频中的目标图像相同帧的图像作为第一图像；
将所述源图像、所述第一图像和所述目标图像作为三元组样本。


4.根据权利要求1所述的方法，其特征在于，所述将所述源图像、所述第一图像、所述目标图像和所述输出图像输入所述图像处理模型中的判别器，得到图像属性判别结果，包括：
将所述源图像、所述第一图像、所述目标图像作为第一组合输入所述图像处理模型中的判别器，得到所述第一组合对应的第一判别概率；所述第一判别概率表征所述第一组合为非伪造图像的概率；
将所述源图像、所述第一图像、所述输出图像作为第二组合输入所述判别器，得到所述第二组合对应的第二判别概率；所述第二判别概率表征所述第二组合为伪造图像的概率；
所述根据所述图像属性判别结果调整所述生成器的参数和所述判别器的参数并继续训练，包括：
根据所述第一判别概率和所述第二判别概率调整所述生成器的参数和所述判别器的参数并继续训练。


5.根据权利要求4所述的方法，其特征在于，根据所述第一判别概率和所述第二判别概率调整所述判别器的参数，包括：
获取所述第一组合对应的标签和所述第二组合对应的第一标签，根据所述第一组合对应的标签、所述第一判别概率、所述第二组合对应的第一标签和所述第二判别概率确定第一损失函数；
基于所述第一损失函数训练所述判别器，满足训练停止条件时得到训练好的判别器。


6.根据权利要求1所述的方法，其特征在于，所述图像处理模型中的生成器的训练方式包括：
获取所述输出图像和所述目标图像之间的特征向量相似度、通道空间相似度、多层次特征相似度，以及所述输出图像和所述源图像之间的特征向量相似度；
根据所述输出图像和所述目标图像之间的特征向量相似度、通道空间相似度、多层次特征相似度，以及所述输出图像和所述源图像之间的特征向量相似度构建第二损失函数；
基于所述第二损失函数训练图像处理模型中的生成器，当满足训练停止条件时停止训练，得到训练好的生成器。


7.根据权利要求6所述的方法，其特征在于，获取所述输出图像和所述目标图像之间的通道空间相似度，包括：
确定所述输出图像对应的通道矩阵和所述目标图像对应的通道矩阵；
确定所述输出图像对应的通道矩阵和所述目标图像对应的通道矩阵之间的相似度。


8.根据权利要求6所述的方法，其特征在于，获取所述输出图像和所述目标图像之间的多层次特征相似度，包括：
对所述输出图像和所述目标图像进行特征提取，得到所述输出图像的特征和所述目标图像的特征...

【专利技术属性】
技术研发人员：朱俊伟，倪辉，邰颖，曹赟，陈旭，葛彦昊，汪铖杰，李季檩，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44