一种3D角色实时面部驱动方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种3D角色实时面部驱动方法、装置、电子设备及存储介质，包括获取角色面部动画文件及对应演员的面部表情视频文件；基于角色面部动画文件，获取每一帧动画对应的控制器值；将角色面部动画文件渲染角色视频文件，从角色视频文件和演员的面部表情视频文件提取出对应角色图片集和演员面部图片集；构建VAE模型；基于角色图片集、演员面部图片集及角色图片集对应的控制器值，对VAE模型进行训练；训练完成后，将演员面部图片输入至训练完成的VAE模型中，获取控制器的系数；将控制器的系数传输给渲染软件，渲染软件实时驱动3D虚拟形象，获得高质量的面部动画。本发明专利技术通过VAE模型能获得高精度的面部动画。能获得高精度的面部动画。能获得高精度的面部动画。

【技术实现步骤摘要】
一种3D角色实时面部驱动方法、装置、电子设备及存储介质


[0001]本专利技术涉及3D图像处理
，具体涉及一种3D角色实时面部驱动方法、装置、电子设备及存储介质。

技术介绍

[0002]随着元宇宙时代的到来，产生了大量对高精度3D人脸模型(模型顶点数 3～4万)进行实时面部驱动的需求。目前的视频面部驱动方案：以iphoneX为代表的手机端，它的问题是表现力不够，比如说话的嘴型的变化，用于驱动高精度写实虚拟人时无法跨过uncanny valley(恐怖谷效应)；面捕头盔，一般存在复杂的3D角色，演员的校准阶段，有较高的使用门槛，而且每次换演员的时候都需要重新校准。

技术实现思路

[0003]为解决现有技术中存在的上述问题，本专利技术提供一种3D角色实时面部驱动方法、装置、电子设备及存储介质。
[0004]本专利技术公开了一种3D角色实时面部驱动方法，包括：
[0005]获取3D角色面部动画文件以及对应演员的面部表情视频文件；
[0006]基于所述3D角色面部动画文件，获取每一帧动画对应的控制器值；...

【技术保护点】

【技术特征摘要】
1.一种3D角色实时面部驱动方法，其特征在于，包括：获取3D角色面部动画文件以及对应演员的面部表情视频文件；基于所述3D角色面部动画文件，获取每一帧动画对应的控制器值；将所述3D角色面部动画文件渲染成3D角色视频文件，并从所述3D角色视频文件和所述演员的面部表情视频文件提取出对应3D角色图片集和演员面部图片集；构建VAE模型；基于所述3D角色图片集、所述演员面部图片集以及所述3D角色图片集对应的控制器值，对所述VAE模型进行训练；训练完成后，将演员面部图片输入至训练完成的所述VAE模型中，获取所述控制器的系数；将所述控制器的系数传输给渲染软件，所述渲染软件实时驱动3D虚拟形象，获得高质量的面部动画。2.根据权利要求1所述的3D角色实时面部驱动方法，其特征在于，所述VAE模型包括一编码器以及两个解码器；所述编码器将输入的所述3D角色图片集和所述演员面部图片集中的图片编码；一所述解码器对编码后的所述3D角色图片集和所述演员面部图片集中的图片进行解码优化训练，获得所述编码器和所述解码器的最优权重值；另一所述解码器对编码后的所述3D角色图片集以及所述3D角色图片集对应的控制器值进行解码训练，获得所述控制器系数。3.根据权利要求2所述的3D角色实时面部驱动方法，其特征在于，所述编码器编码函数为：Enc(x)＝(f
z
(x),f
id
(x))；式中：x为输入的图片；f
z
(x)为VAE的编码；z为表情信息在隐空间的编码；f
id
(x)为AE的编码；id为身份信息在隐空间的编码。4.根据权利要求3所述的3D角色实时面部驱动方法，其特征在于，所述解码优化训练的损失函数为：L＝L
vae
+L
rec
+L
cycle
；；；式中：x1为3D角色图片；x...

【专利技术属性】
技术研发人员：邱戴飞，范勇，吴永辉，
申请(专利权)人：唯物杭州科技有限公司，
类型：发明
国别省市：