【技术实现步骤摘要】
人脸表情迁移方法、装置、电子设备及存储介质
[0001]本申请涉及机器学习
，具体而言，涉及一种人脸表情迁移方法、装置、电子设备及存储介质。
技术介绍
[0002]2D人脸表情迁移是一种人脸图片编辑技术。通过提供一张源人脸图片和一张驱动人脸图片，可以将源人脸图片变为驱动人脸的表情和头部姿态。
[0003]现有的人脸表情迁移主要通过预先训练的生成器编辑实现，通过接收源人脸图像、源人脸关键点和目标人脸关键点作为生成器的输入，通过神经网络计算得到表情迁移后的目标图像。
[0004]但是，上述方法生成的图片效果不佳，尤其当驱动图与源图的姿态差异较大时，最终生成的图像中会产生扭曲、模糊等问题。
技术实现思路
[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种人脸表情迁移方法、装置、电子设备及存储介质，以便于解决现有技术中存在的人脸表情迁移效果较差的问题。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种人脸表情
【技术保护点】
【技术特征摘要】
1.一种人脸表情迁移方法，其特征在于，包括：获取源人脸图像以及驱动人脸图像，所述源人脸图像为具有初始表情的第一目标对象的人脸图像，所述驱动人脸图像为具有目标表情的第二目标对象的人脸图像；对所述源人脸图像和所述驱动人脸图像分别进行三维重建，得到所述源人脸图像和所述驱动人脸图像分别对应的人脸网格参数，所述人脸网格参数包括身份参数、表情参数和姿态参数；根据所述源人脸图像对应的人脸网格参数，获得源人脸网格；以及根据所述源人脸图像对应的身份参数、所述驱动人脸图像对应的表情参数和姿态参数，获得驱动人脸网格；采用预先训练的人脸表情迁移模型，生成所述源人脸图像对应的优化后的源人脸纹理贴图；根据所述优化后的源人脸纹理贴图以及所述驱动人脸网格，生成目标人脸图像，所述目标人脸图像为具有所述目标表情的所述第一目标对象的人脸图像。2.根据权利要求1所述的方法，其特征在于，所述人脸表情迁移模型包括纹理优化模块；所述采用预先训练的人脸表情迁移模型，生成所述源人脸图像对应的优化后的源人脸纹理贴图，包括：由所述纹理优化模块根据所述源人脸网格对所述源人脸图像进行反扭曲处理，生成初始的源人脸纹理贴图；采用所述纹理优化模块，对所述初始的源人脸纹理贴图进行优化，得到所述优化后的源人脸纹理贴图。3.根据权利要求2所述的方法，其特征在于，所述纹理优化模块由编码器、解码器及掩膜网络构成；所述采用所述纹理优化模块，对所述初始的源人脸纹理贴图进行优化，得到所述优化后的源人脸纹理贴图，包括：使用所述编码器对所述初始的源人脸纹理贴图进行编码，得到源人脸特征图；将所述源人脸特征图输入所述解码器和所述掩膜网络中，得到所述解码器输出的处理后的纹理贴图以及所述掩膜网络输出的纹理掩膜图像；根据所述纹理掩膜图像和所述处理后的纹理贴图，生成所述优化后的源人脸纹理贴图。4.根据权利要求1所述的方法，其特征在于，所述人脸表情迁移模型还包括运动估计模块；所述根据所述优化后的源人脸纹理贴图以及所述驱动人脸网格，生成目标人脸图像，包括：采用所述运动估计模块，对所述源人脸网格以及所述驱动人脸网格进行运动光流估算处理，生成从所述源人脸图像到所述驱动人脸图像的运动光流图像；根据所述优化后的源人脸纹理贴图、所述运动光流图像以及所述驱动人脸网格，生成目标人脸图像。5.根据权利要求4所述的方法，其特征在于，所述人脸表情迁移模型还包括人脸驱动模块，所述人脸驱动模块由可微渲染器、编码器、解码器以及遮挡网络构成；所述根据所述优化后的源人脸纹理贴图、所述运动光流图像以及所述驱动人脸网格，生成目标人脸图像，包括：将所述优化后的源人脸纹理贴图以及所述驱动人脸网格输入所述可微渲染器，得到所
述可微渲染器输出的可微渲染后的人脸图像；将所述源人脸图像以及所述运动光流图像输入所述遮挡网络，得到所述遮挡网络输出的掩膜图像；对所述源人脸图像进行扭曲变形处理，生成第一形变图像；根据所述可微渲染后的人脸图像、所述掩膜图像、以及所述第一形变图像，生成所述目标人脸图像。6.根据权利要求5所述的方法，其特征在于，所述将所述源人脸图像以及所述运动光流图像输入所述遮挡...
【专利技术属性】
技术研发人员：姚光明，袁燚，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。