【技术实现步骤摘要】
一种基于三维人脸重建的人脸表情驱动方法及系统
[0001]本专利技术涉及人工智能
，特别是一种基于三维人脸重建的人脸表情驱动方法及系统。
技术介绍
[0002]人脸表情驱动技术广泛应用于社交互动、在线培训及数字电影、游戏等行业中，极大提升了相关产品力和用户体验。人脸表情驱动技术是通过一定方法获取预设的表情特征，对在初始无表情的人脸模型上的特征点进行相关表情构造，得到同预设表情一致的人脸模型。
[0003]人脸表情驱动技术主要可分为基于几何学的方法和基于图像的方法，基于几何学的方法是通过构造插值函数对人脸模型顶点进行散点插值，其实现的难度随着人脸模型的复杂度而大大增加，基于图像的方法则更适合当前的实际应用，可以更精确的地对脸模型中眼睛、嘴巴等区域进行操作，是当下人脸表情驱动技术方案实现的较优选择。
[0004]随着人工智能技术的发展，许多研究提出了基于人工智能方案实现人脸表情驱动技术，但往往受限于实际应用中的计算资源，导致现有技术中的表情驱动方法仍然存在驱动效果的准确性较差、驱动效果不佳的问题。
【技术保护点】
【技术特征摘要】
1.一种基于三维人脸重建的人脸表情驱动方法，其特征在于，具体包括以下步骤：获取输入图像，对输入图像进行人脸特征提取；将人脸特征输入系数回归模型以得到人脸系数，人脸系数包括位置系数、形状系数、表情系数、纹理系数；根据形状系数、表情系数，通过预设人脸三维形变统计模型进行三维重建处理得到初始重建人脸，根据位置系数，对初始重建人脸进行投影变换处理，得到三维重建人脸图像Rec
model
；根据纹理系数，通过纹理统计模型进行纹理重建处理得到重建纹理图，获取输入图像对应的人脸纹理图，并将重建纹理图与人脸纹理图进行图像融合处理，得到融合纹理图；根据三维重建人脸图像Rec
model
与融合纹理图，进行可微分渲染处理，得到输出图像。2.根据权利要求1所述的一种基于三维人脸重建的人脸表情驱动方法，其特征在于：其中，P表示投影变换处理结果、为平均人脸模型、α
i
为形状系数、S
i
表示第i个形状基、β
j
为表情系数、E
j
表示第j个表情基、pose为位置系数，m表示形状基的数量、n表示表情基的数量；根据形状系数、表情系数，通过预设人脸三维形变统计模型进行三维重建处理得到初始重建人脸，具体为：获取形状系数、表情系数后，通过预设人脸三维形变统计模型，拟合出人脸的线性组合基，再结合形状系数、表情系数进行三维重建处理，以得到初始重建人脸。3.根据权利要求1所述的一种基于三维人脸重建的人脸表情驱动方法，其特征在于：根据纹理系数，通过纹理统计模型进行纹理重建处理得到重建纹理图，具体为：获取纹理系数，将纹理系数与纹理统计模型进行加权组合处理，再进行光栅化渲染处理，以得到重建纹理图；获取输入图像对应的人脸纹理图，具体为：对输入图像进行人脸分割处理，得到人脸掩膜；采集人脸对应的人脸像素，并平铺至标准人脸模板中；获取缺失部分，并对其进行拉伸处理。4.根据权利要求3所述的一种基于三维人脸重建的人脸表情驱动方法，其特征在于：拉伸处理具体为基于插值填充法对缺失部分进行填充。5.一种人脸表情驱动系统，其特征在于，包括：图像获取模块，用于获取输入图像；人脸特征提取模块，用于对输入图像进行人脸特征提取；系数回归模块，用于获取人脸特征，输出人脸系数，人脸系数包括位置系数、形状系数、表情系数、纹理系数；三维人脸重建模块，用于根据形状系数、表情系数，通过预设人脸三维形变统计模型进行三维重建处理得到初始重建人脸，根据位置系数，对初始重建人脸进行投影变换处理，得到三维重建人脸图像Rec
model
；纹理重建模块，用于根据纹理系数，通过纹理统计模型进行纹理重建处理得到重建纹理图，获取输入图像对应的人脸纹理图，并将重建纹理图与人脸纹理图进行图像融合处理，
得到融合纹理图；可微分渲染处理模块，用于根据三维重建人脸图像Rec
modrl
与融合纹理图，进行可微分渲染处理，得到输出图像。6.根据权利要求5所述的一种人脸表情驱动系统，其特征在于：通过所述人脸表情驱动系统训练人脸表情驱动模型；...
【专利技术属性】
技术研发人员：郑伟鑫，苏灿平，刘洛麒，张毓峰，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。