一种将人脸表情迁移到虚拟角色面部的方法技术

本发明专利技术公布了一种将人脸表情迁移到虚拟角色面部的方法，该方法要求用户提供少数人类表情与虚拟角色表情匹配的网格对，与自动生成的大量具有随机表情的网格一同作为神经网络的训练数据，由神经网络学习得到使任意人类网格与虚拟角色网格面部表情匹配的映射；本发明专利技术显著减少了表情迁移工作流程的工作量，用户需要创建的表情匹配的网格对的数量不再有数十对之多，本发明专利技术的方法在神经网络训练完成后，可以实时地将任意人脸网格的表情迁移到虚拟角色的网格上，迁移得到的结果能够保证在感官上与人脸表情一致。上与人脸表情一致。上与人脸表情一致。

【技术实现步骤摘要】
一种将人脸表情迁移到虚拟角色面部的方法


[0001]本专利技术涉及三维几何建模领域，尤其涉及一种将人脸表情迁移到虚拟角色面部的方法。

技术介绍

[0002]表情迁移技术在直播行业、电影工业、社交软件与VR应用等领域有着广泛的应用。以往工作采用blendshape变形动画技术实现表情迁移，此类方法要求艺术家手动创建大量与人脸基本表情相对应的虚拟角色表情网格，对人工工作量、职业技能和经验有很高要求。基于几何特征的方法计算人脸表情相对于无表情网格的变形特征，对虚拟角色无表情网格应用同样的变形以进行表情迁移，但该类方法仅适用于外形接近的网格，而虚拟角色面部特征与人脸往往有很大不同,例如一个卡通风格的虚拟角色拥有较大的眼睛，此类方法的迁移结果中虚拟角色无法完全将眼睛闭上。最近的表情迁移方法是基于机器学习技术的方法，无监督的方法无需人工劳力，而是使用几何特征作为先验,因此与基于几何特征的方法有类似的问题；有监督的方法则采用大量的人工标注作为先验，尽管降低了对专业性的要求，但仍需要一定劳力，且难以得到符合工业生产要求的高质量表情结果。r/>
技术实现思路
<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种将人脸表情迁移到虚拟角色面部的方法，其特征在于，包括以下步骤：(1)准备训练数据集：所述训练数据集包括人脸网格数据、虚拟角色网格数据和用户提供的表情匹配网格对；其中，所述人脸网格数据为通过对公开的人脸数据集进行表情系数随机采样获得；所述虚拟角色网格数据通过对虚拟角色随机施加合理的变形处理获得；所述表情匹配网格对包括带有表情的人脸网格和与该人脸有相同表情的虚拟角色网格；(2)分别用所述人脸网格数据和所述虚拟角色网格数据训练一个变分自编码器网络，利用训练后的变分自编码器网络将每个网格进行编码，得到每个网格对应的低维隐式向量，以低维隐式向量的欧式距离为衡量标准，找出各个网格的K个最近邻网格；(3)采用所述训练数据集联合训练一个新的人脸对应的变分自编码器网络和一个新的虚拟角色对应的变分自编码器网络，训练过程中，将训练数据集嵌入低维空间，并根据所述表情匹配网格对在低维空间中的位置和拉普拉斯算子，使人脸网格数据在低维空间中的流形与虚拟角色的流形对齐；所述拉普拉斯算子为网格自身特征减去K个近邻网格的特征平均值；(4)采用所述训练数据集训练循环生成对抗网络，学习得到人脸网格与虚拟角色网格面部表情对应的映射；(5)将待迁移表情的人脸网格输入训练后的人脸对应的变分自编码器网络的编码器中，得到其对应的低维隐式向量，然后将低维隐式向量输入训练...

【专利技术属性】
技术研发人员：邵天甲，周昆，
申请(专利权)人：浙江大学，
类型：发明
国别省市：