一种人脸驱动方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术的实施例提供了一种人脸驱动方法、装置、电子设备及计算机可读存储介质，方法包括：获取待驱动图像和驱动图像；基于待驱动图像和驱动图像，生成目标稀疏光流图像；将目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像；将目标稠密光流图像中各像素的坐标和待驱动图像的各像素坐标相乘，得到待驱动图像的第一目标驱动图像；将第一目标驱动图像与目标显著性图像进行融合后，得到融合图像；将融合图像输入图像生成模型，得到待驱动图像的第二目标驱动图像。本发明专利技术无需限制驱动图像和待驱动图像的角度，且基于目标显著性图像对第一目标驱动图像修复更正像素，避免最终生成的第二目标驱动图像破裂。裂。裂。

【技术实现步骤摘要】
一种人脸驱动方法、装置、电子设备及计算机可读存储介质


[0001]本专利技术涉及图像处理
，具体而言，涉及一种人脸驱动方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]人脸驱动技术是根据给定的一个待驱动图像和一个驱动图像，待驱动图像中人物为A，驱动图像的人物为B，在人脸驱动过程中，最终生成的图像为拥有与人物B表情姿态相同的人物A的图像。该种技术可以应用到社交娱乐、视频压缩、直播特效等多种场景中。
[0003]目前的人脸驱动方式，为了保证驱动的效果，需要待驱动图像和驱动图像的人脸为正脸图像，当为侧脸时，生成的图像会出现破裂。

技术实现思路

[0004]本专利技术的目的包括，例如，提供了一种人脸驱动方法、装置、电子设备及计算机可读存储介质，其能够实现在待驱动图像或驱动图像为侧脸时，避免生成图像的破裂。
[0005]本专利技术的实施例可以这样实现：
[0006]第一方面，本专利技术实施例提供了一种人脸驱动方法，所述方法包括：
[0007]获取待驱动图像和驱动图像，其中，所述待驱动图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸驱动方法，其特征在于，所述方法包括：获取待驱动图像和驱动图像，其中，所述待驱动图像和驱动图像的人脸不同；基于所述待驱动图像和驱动图像，生成目标稀疏光流图像；将所述目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像；将所述目标稠密光流图像中各像素的坐标和所述待驱动图像的各像素坐标相乘，得到所述待驱动图像的第一目标驱动图像；将所述第一目标驱动图像与所述目标显著性图像进行融合后，得到融合图像；将所述融合图像输入图像生成模型，得到所述待驱动图像的第二目标驱动图像。2.根据权利要求1所述的方法，其特征在于，所述运动估计模型基于第一训练样本集训练得到，所述第一训练样本集采用以下步骤得到：获取不同人物的多组两帧图像，每组所述两帧图像均包括第一被驱动图像和第一驱动图像；针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像和所述第一驱动图像的稀疏光流图像；基于所述第一图像和所述第一被驱动图像，得到稠密光流图像；基于所述第一驱动图像和所述第一图像，得到显著性图像；将所述稀疏光流图像、稠密光流图像以及显著性图像作为第一训练样本集。3.根据权利要求2所述的方法，其特征在于，所述针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像的步骤，包括：针对每组所述两帧图像，识别所述第一被驱动图像的第一人脸关键点；识别所述第一驱动图像的第二人脸关键点；依据所述第一人脸关键点，构建所述第一被驱动图像的第一人脸网格；依据所述第二人脸关键点，构建所述第一驱动图像的第二人脸网格；将各第一网格向与所述第一网格对应的各第二网格移动，确定移动量，其中，所述第一人脸网格包括多个第一网格，所述第二人脸网格包括多个第二网格；基于所述移动量，得到所述第一被驱动图像的第一图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一被驱动图像和所述第一驱动图像，得到所述第一驱动图像的稀疏光流图像的步骤，包括：确定各所述第一人脸关键点的第一坐标和各所述第二人脸关键点的第二坐标；计算各所述第一坐标和各所述第二坐...

【专利技术属性】
技术研发人员：华路延，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：