表情迁移方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请公开了一种表情迁移方法、装置、设备、存储介质及程序产品，涉及人工智能技术领域。所述方法包括：根据源图和驱动图，生成第一3D关键点集合和第二3D关键点集合；根据第一3D关键点集合和第二3D关键点集合，生成3D稠密光流集合；基于3D稠密光流集合对源图的3D特征表征进行处理，生成3D光流掩码和2D遮挡掩码；根据3D稠密光流集合、3D光流掩码、源图的3D特征表征和2D遮挡掩码，生成源图对应的驱动结果图。本申请在提升表情迁移效果的同时，还提升了表情迁移的效率。了表情迁移的效率。了表情迁移的效率。

【技术实现步骤摘要】
表情迁移方法、装置、设备、存储介质及程序产品


[0001]本申请实施例涉及人工智能
，特别涉及一种表情迁移方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]表情迁移是指将驱动图中脸部对象的姿态和表情，迁移到源图的脸部对象上，生成一张驱动结果图。该驱动结果图是具有源图中脸部对象的身份信息，以及驱动图中脸部对象的姿态和表情信息的图像。
[0003]相关技术提供了一种基于三维建模的表情迁移方法，首先构建源图中脸部对象的3D(3Dimension，三维)模型，然后基于驱动图中脸部对象的姿态和表情，对上述3D模型进行姿态和表情的拟合，使得该3D模型具备驱动图中脸部对象的姿态和表情。
[0004]这种方式由于需要对源图中的脸部对象进行三维重构，一方面，重构出的3D模型往往不够真实，缺少源图中脸部对象的个性化特征，导致表情迁移效果不够理想；另一方面，由于三维重构需要较长时间，因此导致表情迁移的效率不高。

技术实现思路

[0005]本申请实施例提供了一种表情迁移方法、装置、设备、存储介质及程序产品。所述技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情迁移方法，其特征在于，所述方法包括：根据源图和驱动图，生成第一3D关键点集合和第二3D关键点集合；其中，所述第一3D关键点集合是用于表征所述源图中脸部对象的姿态和表情信息的关键点集合；所述第二3D关键点集合是用于表征所述源图中脸部对象受所述驱动图驱动后的姿态和表情信息的关键点集合；根据所述第一3D关键点集合和所述第二3D关键点集合，生成3D稠密光流集合；其中，所述3D稠密光流集合用于表征所述第一3D关键点集合和所述第二3D关键点集合中相对应关键点的空间位置变化；基于所述3D稠密光流集合对所述源图的3D特征表征进行处理，生成3D光流掩码和2D遮挡掩码；其中，所述3D光流掩码用于对所述3D稠密光流集合中的各个3D稠密光流进行线性组合，所述2D遮挡掩码用于对所述源图的特征信息进行选择性保留；根据所述3D稠密光流集合、所述3D光流掩码、所述源图的3D特征表征和所述2D遮挡掩码，生成所述源图对应的驱动结果图；其中，所述驱动结果图是具有所述源图中脸部对象的身份信息，以及所述驱动图中脸部对象的姿态和表情信息的图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述3D稠密光流集合、所述3D光流掩码、所述源图的3D特征表征和所述2D遮挡掩码，生成所述源图对应的驱动结果图，包括：基于所述3D光流掩码对所述3D稠密光流集合中的各个3D稠密光流进行线性组合，得到组合后的3D稠密光流；基于所述组合后的3D稠密光流对所述源图的3D特征表征进行变换处理，得到变换后的3D特征表征；对所述变换后的3D特征表征进行降维处理，得到变换后的2D特征表征；根据所述2D遮挡掩码和所述变换后的2D特征表征，生成所述源图对应的驱动结果图。3.根据权利要求2所述的方法，其特征在于，所述根据所述2D遮挡掩码和所述变换后的2D特征表征，生成所述源图对应的驱动结果图，包括：采用所述2D遮挡掩码对所述变换后的2D特征表征进行处理，得到处理后的2D特征表征；对所述处理后的2D特征表征进行解码，生成所述源图对应的驱动结果图。4.根据权利要求1所述的方法，其特征在于，所述基于所述3D稠密光流集合对所述源图的3D特征表征进行处理，生成3D光流掩码和2D遮挡掩码，包括：基于所述3D稠密光流集合中的各个3D稠密光流，对所述源图的3D特征表征分别进行变换处理，得到多个变换后的3D特征表征；对所述多个变换后的3D特征表征进行拼接，得到拼接后的3D特征表征；对所述拼接后的3D特征表征进行处理，生成所述3D光流掩码和所述2D遮挡掩码。5.根据权利要求1所述的方法，其特征在于，所述根据源图和驱动图，生成第一3D关键点集合和第二3D关键点集合，包括：从所述源图中提取K个规范化的3D关键点，所述K为正整数；获取所述源图和所述驱动图分别对应的图像信息，所述图像信息包括脸部对象的姿态角、平移量和K个3D关键点的偏置量；
采用所述源图对应的图像信息对所述K个规范化的3D关键点进行3D变换处理，生成所述第一3D关键点集合；采用所述驱动图对应的图像信息对所述K个规范化的3D关键点进行3D变换处理，生成所述第二3D关键点集合。6.根据权利要求5所述的方法，其特征在于，所述获取所述源图和所述驱动图分别对应的图像信息，包括：分别提取所述源图的特征信息和所述驱动图的特征信息；基于所述源图的特征信息，预测得到所述源图对应的图像信息；基于所述驱动图的特征信息，预测得到所述驱动图对应的图像信息。7.根据权利要求1所述的方法，其特征在于，所述根据所述第一3D关键点集合和所述第二3D关键点集合，生成3D稠密光流集合，包括：对于所述第一3D关键点集合和所述第二3D关键点集合中的每一组相对应关键点，根据所述相对应关键点中两个3D关键点的位置信息，确定所述相对应关键点对应的3D稠密光流；根据各组所述相对应关键点分别对应的3D稠密光流，得到所述3D稠密光流集合。8.根据权利要求1至7任一项所述的方法，其特征在于，通过表情迁移模型实现所述方法，所述表情迁移模型包括：3D关键点提取网络、图像信息提取网络、3D特征提取网络、运动场估计网络和解码网络；其中，所述3D关键点提取网络用于从所述源图中提取K个规范化的3D关键点；所述图像信息提取网络用于获取所述源图和所述驱动图分别对应的图像信息，其中，所述源图对应的图像信息用于对所述K个规范化的3D关键点进行3D变换处理，生成所述第一3D关键点集合，所述驱动图对应的图像信息用于对所述K个规范化的3D关键点进行3D变换处理，生成所述第二3D关键点集合；所述3D特征提取网络用于提取所述源图的3D特征表征；所述运动场估计网络用于生成所述3D光流掩码和所述2D遮挡掩码；所述解码网络用于生成所述源图对应的驱动结果图。9.根据权利要求1至7任一项所述的方法，其特征在于，所述驱动图是驱动视频中的一个图像帧，所述方法还包括：将所述源图对应的多个驱动结果图进行整合，生成所述源图对应的驱动结果视频；其中，所述多个驱动结果图是根据所述源图和所述驱动视频中的多个图像帧生成的。10.一种表情迁移模型的训练方法，其特征在于，所述方法包括：获取所述表情迁移模型的训练数据，所述训练数据包括源图样本、驱动图样本和所述源图样本对应的目标驱动结果图；通过所述表情迁移模型根据所述源图样本和所述驱动图样本，生成第一3D关键点集合和第二3D关键点集合；其中，所述第一3D关键点集合是用于表征所述源图样本中脸部对象的姿态和表情信息的关键点集合；所述第二3D关键点集合是用于表征所述源图样本中脸部对象受所述驱动图样本驱动后的姿态和表情信息的关键点集合；根据所述第一3D关键点集合和所述第二3D关键点集合，生成3D稠密光流集合；其中，所述3D稠密光流集合用于表征所述第一3D关键点集合和所述第二3D关键点集合中相对应关
键点的空间位置变化；通过所述表情迁移模型基于所述3D稠密光流集合对所述源图样本的3D特征表征进行处理，生成3D光流掩码和2D遮挡掩码；其中，所述3D光流掩码用于对所述3D稠密光流集合中的各个3D稠密光流进行线性组合，所述2D遮挡掩码用于对所述源图样本的特征信息进行选择性保留；通过所述表情迁移模型根据所述3D稠密光流集合、所述3D光流掩码、所述源图样本的3D特征表征和所述2D遮挡掩码，生成所述源图样本对应的输出驱动结果图；根据所述输出驱动结果图和所述目标驱动结果图计算所述表情迁移模型的训练损失，并基于所述训练损失对所述表情迁移模型的参数进行调整。11.根据权利要求10所述的...

【专利技术属性】
技术研发人员：李泽奇，程培，俞刚，傅斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：