一种面部表情及头部动作迁移方法及系统技术方案

本申请实施例提供一种面部表情及头部动作迁移方法及系统。所述方法通过在带有目标人物的驱动视频中提取驱动图像，并提取驱动图像中的人物特征以及模板图像的人物面部特征。然后对模板图像进行编码操作，得到模板编码图像，并基于目标人物的头部区域对模板编码图像进行解码，得到模板解码图像。使用编码网络融合人物表情特征、头部动作特征以及人物面部特征，得到融合特征，最后融合所述模板编码图像以及所述模板解码图像，得到模板头部图像，并根据所述融合特征与所述模板头部图像得到目标模板图像。本申请通过对驱动视频中的人物特征进行进行融合，将融合特征迁移到特定的模板头部图像上，真实还原目标人物形象，提高用户的使用体验。的使用体验。的使用体验。

【技术实现步骤摘要】
一种面部表情及头部动作迁移方法及系统


[0001]本申请涉及表情迁移领域，尤其涉及一种面部表情及头部动作迁移方法及系统。

技术介绍

[0002]数字人是通过计算机技术制作的类人形象或者软件制作的结果。它们具备人类的外观或者行为模式，却不是现实世界中的某个人的录像，能独立运行和存在。数字人的本体存在于计算设备中(比如电脑、手机)，并通过显示设备呈现出来。它们能够实现如语音交互、网上直播、客服沟通、导游向导、导购等等工作。
[0003]在2D数字人方向，需要语音驱动的方式来生成2D数字人，以实现音频和数字人的口型同步。上述过程可以通过深度学习技术实现，但是，在生成数字人的过程中，会高度依赖生成数字人所用的模板，这就造成了数字人的表情或者头部动作较为僵硬，情感不够饱满。
[0004]因此存在除音频与口型不同步以外的其他问题，例如，无法对音频中的情感特征进行量化，并根据情感特征对数字人的面部表情或者头部动作进行调整等。由于数字人的表情不赋有情感特征，所以在生成数字人的过程中，造成数字人与所要生成的目标人物形象的还原度较低、面部表情在迁移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部表情及头部动作迁移方法，其特征在于，所述方法包括：在驱动视频中提取驱动图像；所述驱动视频为带有目标人物的视频；所述驱动图像中包括至少一个目标人物；提取所述驱动图像中目标人物的人物表情特征、头部动作特征以及提取模板图像中的人物面部特征；对模板图像进行编码操作，得到模板编码图像；所述模板编码图像为包含待迁移特征的面部图像；基于所述目标人物的头部区域对所述模板编码图像进行解码操作，得到模板解码图像；使用编码网络融合所述人物表情特征、所述头部动作特征以及所述人物面部特征，得到融合特征；融合所述模板编码图像以及所述模板解码图像，得到模板头部图像，并根据所述融合特征与所述模板头部图像得到目标模板图像。2.根据权利要求1所述的面部表情及头部动作迁移方法，其特征在于，所述融合所述模板编码图像以及所述模板解码图像的步骤中，所述方法还包括：提取所述模板编码图像的编码特征图；提取所述模板解码图像中所述头部区域的头部特征图；对所述头部特征图执行下采样，以得到与所述编码特征图尺寸相同的采样头部特征图；融合所述编码特征图以及所述采样头部特征图，得到模板头部图像。3.根据权利要求2所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：对所述模板头部图像执行预设次数的上采样；每次所述上采样的分辨率提升倍数为2倍；根据所述上采样之后模板头部图像以及所述融合特征得到目标模板图像。4.根据权利要求3所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：根据所述驱动图像中目标人物，提取目标人物的特征参数；所述特征参数包括表情参数和头部动作参数；根据所述表情参数以及所述头部动作参数对所述目标模板图像进行参数调整。5.根据权利要求4所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：向目标模板图像输入所述特征参数；根据所述特征参数提取深层次特征；在提取所述深层次特征的过程中，为所述深层次特征设置非线性属性。6.根据权利要求1所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：从样本视频中提取样本图像；所述样本视频为带有样本人物的视频；所述样本图像中至少包括一个样本人物；
根据所述样本图像，提取所述样本人物的人物特征；所述人物特征包括人物表情特征...

【专利技术属性】
技术研发人员：司马华鹏，王建，
申请(专利权)人：南京硅基智能科技有限公司，
类型：发明
国别省市：