人脸图像重演方法、系统、电子设备、存储介质技术方案

本发明专利技术提供一种人脸图像重演方法、系统、电子设备、存储介质，所述方法包括如下步骤：获取源人脸图像和驱动人脸图像；进行三维重建，获取所述源人脸图像对应的第一三维人脸表征和所述驱动人脸图像对应的第二三维人脸表征；将所述第一三维人脸表征中的表情系数和姿态系数替换为所述第二三维人脸表征中的表情系数和姿态系数，形成第三三维人脸表征；在所述第三三维人脸表征对应的第一三维人脸上附着人脸纹理，形成第二三维人脸；将所述第二三维人脸投影至二维空间，形成二维纹理图；渲染形成第一人脸面部图。本发明专利技术借助三维人脸重建技术实现大姿态运动下更加准确的人脸运动，同时获取大姿态运动条件下更好的人脸纹理生成效果。果。果。

【技术实现步骤摘要】
人脸图像重演方法、系统、电子设备、存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种人脸图像重演方法、系统、电子设备、存储介质。

技术介绍

[0002]人脸图像重演技术是指将一段视频（驱动视频）中一个人的表情和头部姿态迁移到一张静态的人脸图像上（源人脸），生成一段源人脸的视频，该视频拥有和驱动视频一样的表情和头部姿势变化。人脸重演属于计算机视觉领域，因为它有着广泛的应用场景，比如虚拟客服、虚拟主播、虚拟偶像等。为实现面部重演，现有的方法一般采用人脸的关键点或者光流来实现表情和头部姿态的迁移，然而如果驱动视频的人脸姿态范围变化很大，关键点和光流的估计会不准确，导致无法实现大姿态运动的人脸运动或者出现人脸变形；另外大姿态运动下，人脸纹理的生成也不准确。
[0003]现有的人脸重演技术方案分为两类：（a）基于运动场的方法；（b）基于人脸关键点的方法。
[0004]在基于运动场的方案中，人脸的表情和头部姿态的变化由运动场描述，该方法首先估计原人脸图片和驱动视频帧的虚拟关键点，然后根据两组关键点之间的变换关系估计出从原人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像重演方法，其特征在于，所述方法包括如下步骤：获取源人脸图像和驱动人脸图像；基于所述源人脸图像和所述驱动人脸图像，进行三维重建，获取所述源人脸图像对应的第一三维人脸表征和所述驱动人脸图像对应的第二三维人脸表征，其中，三维人脸表征包括身份系数、表情系数和姿态系数；基于所述第一三维人脸表征，将所述第一三维人脸表征中的表情系数和姿态系数替换为所述第二三维人脸表征中的表情系数和姿态系数，形成第三三维人脸表征；在所述第三三维人脸表征对应的第一三维人脸上附着人脸纹理，形成第二三维人脸；将所述第二三维人脸投影至二维空间，形成二维纹理图；基于所述二维纹理图，渲染形成第一人脸面部图。2.根据权利要求1所述的人脸图像重演方法，其特征在于，所述方法还包括如下步骤：获取二维的脸部运动场；将所述源人脸图像的背景图像和所述脸部运动场拼接后输入背景运动估计网络，所述背景运动估计网络输出背景运动场；基于所述背景运动场，对所述源人脸图像的背景图像进行变形，形成驱动后背景图像；基于所述驱动后背景图像和所述二维纹理图，渲染形成第二人脸面部图。3.根据权利要求2所述的人脸图像重演方法，其特征在于，获取二维的脸部运动场，包括如下步骤：获取所述第一三维人脸的顶点，作为第一组顶点；获取所述第一三维人脸表征对应的第三三维人脸的顶点，作为第二组顶点；基于所述第一组顶点和所述第二组顶点，获取三维空间的顶点位移；将所述三维空间的顶点位移投影至二维空间，形成二维的脸部运动场。4.根据权利要求2所述的人脸图像重演方法，其特征在于，基于所述驱动后背景图像和所述二维纹理图，渲染形成第二人脸面部图，包括如下步骤：将所述驱动后背景图像和所述二维纹理图输入神经渲染网络，所述神经渲染网络输出所述第二人脸面部图；其中，所述神经渲染网络将所述二维纹理图渲染形成真实图像，并同时将所述真实图像和所述驱动后背景图像融合，形成所述第二人脸面部图。5.根据权利要求1所述的人脸图像重演方法，其特征在于，所在所述第三三维人脸表征对应的第一三维人脸上附着人脸纹理，包括如下步骤：将所述源人脸图像输入神经纹理编码网络，所述神经纹理编码网络输出第一神经纹理，将所述第一神经纹理作为所述人脸纹理；采用三维贴图方法将所述人脸纹理附着至所述第一三维人脸的表面。6.根据权利要求5所述的人脸图像重演方法，其特征在于，将所述第一神经纹理...

【专利技术属性】
技术研发人员：赵秋雨，刘智威，张连海，王圣玉，
申请(专利权)人：北京邃芒科技有限公司，
类型：发明
国别省市：