一种面部表情及头部动作迁移方法及系统技术方案

本申请实施例提供一种面部表情及头部动作迁移方法及系统。所述方法通过在带有目标人物的驱动视频中提取驱动图像，并提取驱动图像中的人物特征以及模板图像的人物面部特征。然后对模板图像进行编码操作，得到模板编码图像，并基于目标人物的头部区域对模板编码图像进行解码，得到模板解码图像。使用编码网络融合人物表情特征、头部动作特征以及人物面部特征，得到融合特征，最后融合所述模板编码图像以及所述模板解码图像，得到模板头部图像，并根据所述融合特征与所述模板头部图像得到目标模板图像。本申请通过对驱动视频中的人物特征进行进行融合，将融合特征迁移到特定的模板头部图像上，真实还原目标人物形象，提高用户的使用体验。的使用体验。的使用体验。

【技术实现步骤摘要】
一种面部表情及头部动作迁移方法及系统


[0001]本申请涉及表情迁移领域，尤其涉及一种面部表情及头部动作迁移方法及系统。

技术介绍

[0002]数字人是通过计算机技术制作的类人形象或者软件制作的结果。它们具备人类的外观或者行为模式，却不是现实世界中的某个人的录像，能独立运行和存在。数字人的本体存在于计算设备中(比如电脑、手机)，并通过显示设备呈现出来。它们能够实现如语音交互、网上直播、客服沟通、导游向导、导购等等工作。
[0003]在2D数字人方向，需要语音驱动的方式来生成2D数字人，以实现音频和数字人的口型同步。上述过程可以通过深度学习技术实现，但是，在生成数字人的过程中，会高度依赖生成数字人所用的模板，这就造成了数字人的表情或者头部动作较为僵硬，情感不够饱满。
[0004]因此存在除音频与口型不同步以外的其他问题，例如，无法对音频中的情感特征进行量化，并根据情感特征对数字人的面部表情或者头部动作进行调整等。由于数字人的表情不赋有情感特征，所以在生成数字人的过程中，造成数字人与所要生成的目标人物形象的还原度较低、面部表情在迁移时损失较大，无法真实还原目标人物形象的表情和动作的问题。

技术实现思路

[0005]本申请实施例提供一种面部表情及头部动作迁移方法及系统，以解决由于数字人的表情不赋有情感特征，所以在生成数字人的过程中，造成数字人与所要生成的目标人物形象的还原度较低、面部表情在迁移时损失较大，无法真是还原目标人物形象的表情和动作的问题。
[0006]第一方面，本申请的一些实施例提供一种面部表情及头部动作迁移方法，所述方法包括：
[0007]在驱动视频中提取驱动图像；所述驱动视频为带有目标人物的视频；所述驱动图像中包括至少一个目标人物；
[0008]提取所述驱动图像中目标人物的人物表情特征、头部动作特征以及提取模板图像中的人物面部特征；
[0009]对模板图像进行编码操作，得到模板编码图像；所述模板编码图像为包含待迁移特征的面部图像；
[0010]基于所述目标人物的头部区域对所述模板编码图像进行解码操作，得到模板解码图像；
[0011]使用编码网络融合所述人物表情特征、所述头部动作特征以及所述人物面部特征，得到融合特征；
[0012]融合所述模板编码图像以及所述模板解码图像，得到模板头部图像，并根据所述
融合特征与所述模板头部图像得到目标模板图像。
[0013]在本申请的一个实施例中，所述融合所述模板编码图像以及所述模板解码图像的步骤中，所述方法还包括：
[0014]提取所述模板编码图像的编码特征图；
[0015]提取所述模板解码图像中所述头部区域的头部特征图；
[0016]对所述头部特征图执行下采样，以得到与所述编码特征图尺寸相同的采样头部特征图；
[0017]融合所述编码特征图以及所述采样头部特征图，得到模板头部图像。
[0018]在本申请的一个实施例中，所述方法还包括：
[0019]对所述模板头部图像执行预设次数的上采样；每次所述上采样的分辨率提升倍数为2倍；
[0020]根据所述上采样之后模板头部图像以及所述融合特征得到目标模板图像。
[0021]在本申请的一个实施例中，所述方法还包括：
[0022]根据所述驱动图像中目标人物，提取目标人物的特征参数；所述特征参数包括表情参数和头部动作参数；
[0023]根据所述表情参数以及所述头部动作参数对所述目标模板图像进行参数调整。
[0024]在本申请的一个实施例中，所述方法还包括：
[0025]向目标模板图像输入所述特征参数；
[0026]根据所述特征参数提取深层次特征；
[0027]在提取所述深层次特征的过程中，为所述深层次特征设置非线性属性。
[0028]在本申请的一个实施例中，所述方法还包括：
[0029]从样本视频中提取样本图像；所述样本视频为带有样本人物的视频；所述样本图像中至少包括一个样本人物；
[0030]根据所述样本图像，提取所述样本人物的人物特征；所述人物特征包括人物表情特征和头部动作特征；
[0031]将模板图像和所述人物特征输入至待训练模型的生成器中，通过所述生成器向所述模板图像中注入所述人物表情特征和所述头部动作特征，以生成训练图像；
[0032]使用损失函数计算训练图像与标准图像之间的生成损失；
[0033]如果所述生成损失的值小于损失阈值，输出当前生成器的训练参数。
[0034]在本申请的一个实施例中，使用损失函数计算训练图像与标准图像之间的生成损失的步骤之后，所述方法还包括：
[0035]通过判别器对训练图像进行判别，得到判别损失；
[0036]当判别损失小于所述损失阈值时，根据所述生成损失对所述生成器进行迭代训练，更新所述生成损失。
[0037]在本申请的一个实施例中，所述方法还包括：
[0038]从应用视频中提取应用帧图像；所述应用视频包括驱动视频和/或样本视频；所述应用帧图像是根据所述应用视频提取的一帧或多帧图像；
[0039]对所述应用帧图像进行人脸预测，以识别出所述应用帧图像中头部区域；
[0040]根据所述头部区域对所述应用帧图像执行裁剪操作，得到所述应用图像；所述应
用图像包括驱动图像和样本图像。
[0041]在本申请的一个实施例中，所述方法还包括：
[0042]对所述应用图像进行清晰度识别，得到图像分辨率；
[0043]如果图像分辨率小于分辨率阈值，提升所述应用图像的清晰度；
[0044]如果图像分辨率大于或者等于分辨率阈值，输出所述应用图像。
[0045]第二方面，本申请提供一种面部表情及头部动作迁移系统，用于执行一种面部表情及头部动作迁移方法，所述系统包括应用模块，所述应用模块被配置为：
[0046]在驱动视频中提取驱动图像；所述驱动视频为一段带有目标人物的视频；所述驱动图像中包括至少一个目标人物；
[0047]提取所述驱动图像中目标人物人物表情特征、头部动作特征以及提取模板图像中的人物面部特征；
[0048]对模板图像进行编码操作，得到模板编码图像；所述模板编码图像为包含待迁移特征的面部图像；
[0049]基于所述目标人物的头部区域对所述模板编码图像进行解码操作，得到模板解码图像；
[0050]使用编码网络融合所述人物表情特征、所述头部动作特征以及所述人物面部特征，得到融合特征；
[0051]融合所述模板编码图像以及所述模板解码图像，得到模板头部图像，并根据所述融合特征与所述模板头部图像得到目标模板图像。
[0052]由以上技术方案可知，本申请一些实施例提供一种面部表情及头部动作迁移方法及系统。所述方法通过在带有目标人物的驱动视频中提取包括至少一个目标人物的驱动图像，并提取驱动图像中目标人物的人物特征。然后对模板图像进行编码操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部表情及头部动作迁移方法，其特征在于，所述方法包括：在驱动视频中提取驱动图像；所述驱动视频为带有目标人物的视频；所述驱动图像中包括至少一个目标人物；提取所述驱动图像中目标人物的人物表情特征、头部动作特征以及提取模板图像中的人物面部特征；对模板图像进行编码操作，得到模板编码图像；所述模板编码图像为包含待迁移特征的面部图像；基于所述目标人物的头部区域对所述模板编码图像进行解码操作，得到模板解码图像；使用编码网络融合所述人物表情特征、所述头部动作特征以及所述人物面部特征，得到融合特征；融合所述模板编码图像以及所述模板解码图像，得到模板头部图像，并根据所述融合特征与所述模板头部图像得到目标模板图像。2.根据权利要求1所述的面部表情及头部动作迁移方法，其特征在于，所述融合所述模板编码图像以及所述模板解码图像的步骤中，所述方法还包括：提取所述模板编码图像的编码特征图；提取所述模板解码图像中所述头部区域的头部特征图；对所述头部特征图执行下采样，以得到与所述编码特征图尺寸相同的采样头部特征图；融合所述编码特征图以及所述采样头部特征图，得到模板头部图像。3.根据权利要求2所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：对所述模板头部图像执行预设次数的上采样；每次所述上采样的分辨率提升倍数为2倍；根据所述上采样之后模板头部图像以及所述融合特征得到目标模板图像。4.根据权利要求3所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：根据所述驱动图像中目标人物，提取目标人物的特征参数；所述特征参数包括表情参数和头部动作参数；根据所述表情参数以及所述头部动作参数对所述目标模板图像进行参数调整。5.根据权利要求4所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：向目标模板图像输入所述特征参数；根据所述特征参数提取深层次特征；在提取所述深层次特征的过程中，为所述深层次特征设置非线性属性。6.根据权利要求1所述的面部表情及头部动作迁移方法，其特征在于，所述方法还包括：从样本视频中提取样本图像；所述样本视频为带有样本人物的视频；所述样本图像中至少包括一个样本人物；
根据所述样本图像，提取所述样本人物的人物特征；所述人物特征包括人物表情特征...

【专利技术属性】
技术研发人员：司马华鹏，王建，
申请(专利权)人：南京硅基智能科技有限公司，
类型：发明
国别省市：