本发明专利技术的实施例提供了一种人脸驱动方法、装置、电子设备及计算机可读存储介质，方法包括：获取待驱动图像和驱动图像；基于待驱动图像和驱动图像，生成目标稀疏光流图像；将目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像；将目标稠密光流图像中各像素的坐标和待驱动图像的各像素坐标相乘，得到待驱动图像的第一目标驱动图像；将第一目标驱动图像与目标显著性图像进行融合后，得到融合图像；将融合图像输入图像生成模型，得到待驱动图像的第二目标驱动图像。本发明专利技术无需限制驱动图像和待驱动图像的角度，且基于目标显著性图像对第一目标驱动图像修复更正像素，避免最终生成的第二目标驱动图像破裂。裂。裂。
【技术实现步骤摘要】
一种人脸驱动方法、装置、电子设备及计算机可读存储介质
[0001]本专利技术涉及图像处理
，具体而言，涉及一种人脸驱动方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]人脸驱动技术是根据给定的一个待驱动图像和一个驱动图像，待驱动图像中人物为A，驱动图像的人物为B，在人脸驱动过程中，最终生成的图像为拥有与人物B表情姿态相同的人物A的图像。该种技术可以应用到社交娱乐、视频压缩、直播特效等多种场景中。
[0003]目前的人脸驱动方式，为了保证驱动的效果，需要待驱动图像和驱动图像的人脸为正脸图像，当为侧脸时，生成的图像会出现破裂。
技术实现思路
[0004]本专利技术的目的包括，例如，提供了一种人脸驱动方法、装置、电子设备及计算机可读存储介质，其能够实现在待驱动图像或驱动图像为侧脸时，避免生成图像的破裂。
[0005]本专利技术的实施例可以这样实现：
[0006]第一方面，本专利技术实施例提供了一种人脸驱动方法，所述方法包括：
[0007]获取待驱动图像和驱动图像，其中，所述待驱动图像和驱动图像的人脸不同；
[0008]基于所述待驱动图像和驱动图像，生成目标稀疏光流图像；
[0009]将所述目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像；
[0010]将所述目标稠密光流图像中各像素的坐标和所述待驱动图像的各像素坐标相乘，得到所述待驱动图像的第一目标驱动图像；
[0011]将所述第一目标驱动图像与所述目标显著性图像进行融合后，得到融合图像；
[0012]将所述融合图像输入图像生成模型，得到所述待驱动图像的第二目标驱动图像。
[0013]在可选的实施方式中，所述运动估计模型基于第一训练样本集训练得到，所述第一训练样本集采用以下步骤得到：
[0014]获取不同人物的多组两帧图像，每组所述两帧图像均包括第一被驱动图像和第一驱动图像；
[0015]针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像和所述第一驱动图像的稀疏光流图像；
[0016]基于所述第一图像和所述第一被驱动图像，得到稠密光流图像；
[0017]基于所述第一驱动图像和所述第一图像，得到显著性图像；
[0018]将所述稀疏光流图像、稠密光流图像以及显著性图像作为第一训练样本集。
[0019]在可选的实施方式中，所述针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像的步骤，包括：
[0020]针对每组所述两帧图像，识别所述第一被驱动图像的第一人脸关键点；
[0021]识别所述第一驱动图像的第二人脸关键点；
[0022]依据所述第一人脸关键点，构建所述第一被驱动图像的第一人脸网格；
[0023]依据所述第二人脸关键点，构建所述第一驱动图像的第二人脸网格；
[0024]将各第一网格向与所述第一网格对应的各第二网格移动，确定移动量，其中，所述第一人脸网格包括多个第一网格，所述第二人脸网格包括多个第二网格；
[0025]基于所述移动量，得到所述第一被驱动图像的第一图像。
[0026]在可选的实施方式中，所述基于所述第一被驱动图像和所述第一驱动图像，得到所述第一驱动图像的稀疏光流图像的步骤，包括：
[0027]确定各所述第一人脸关键点的第一坐标和各所述第二人脸关键点的第二坐标；
[0028]计算各所述第一坐标和各所述第二坐标的第一差值，所述第一坐标和所述第二坐标的人脸关键点对应；
[0029]基于各所述第一差值，得到所述第一驱动图像的稀疏光流图像。
[0030]在可选的实施方式中，所述基于所述第一图像和所述第一被驱动图像，得到稠密光流图像的步骤，包括：
[0031]将所述第一图像和所述第一被驱动图像输入至光流估计模型，得到稠密光流图像。
[0032]在可选的实施方式中，基于所述第一驱动图像和所述第一图像，得到显著性图像的步骤，包括：
[0033]将所述第一驱动图像转换为第一灰度图像；
[0034]将所述第一图像转换为第二灰度图像；
[0035]确定所述第一灰度图像中各像素点的第一灰度值；
[0036]确定所述第二灰度图像中的各像素点的第二灰度值；
[0037]计算所述第一灰度值和所述第二灰度值的第二差值；
[0038]依据所述第二差值，得到显著性图像。
[0039]在可选的实施方式中，所述图像生成模型基于第二训练样本集训练得到，所述第二训练样本集采用以下步骤得到：
[0040]将各所述显著性图像与对应的所述第一图像融合，得到各第二图像；
[0041]将各所述第二图像和所述第一驱动图像作为第二训练样本集。
[0042]第二方面，本专利技术实施例还提供了一种人脸驱动装置，所述装置包括获取模块和处理模块：
[0043]所述获取模块，用于获取待驱动图像和驱动图像，其中，所述待驱动图像和驱动图像的人脸不同；
[0044]所述处理模块，用于基于所述待驱动图像和驱动图像，生成目标稀疏光流图像；
[0045]将所述目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像；
[0046]将所述目标稠密光流图像中各像素的坐标和所述待驱动图像的各像素坐标相乘，得到所述待驱动图像的第一目标驱动图像；
[0047]将所述第一目标驱动图像与所述目标显著性图像进行融合后，得到融合图像；
[0048]将所述融合图像输入图像生成模型，得到所述待驱动图像的第二目标驱动图像。
[0049]第三方面，本专利技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述人脸驱动的步骤。
[0050]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时所述人脸驱动方法的步骤。
[0051]本专利技术具有以下效果：
[0052]本专利技术通过获取待驱动图像和驱动图像，基于待驱动图像和驱动图像，生成目标稀疏光流图像，将目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像，将目标稠密光流图像中各像素的坐标和待驱动图像的各像素坐标相乘，得到待驱动图像的第一目标驱动图像，将第一目标驱动图像与目标显著性图像进行融合后，得到融合图像，将融合图像输入图像生成模型，得到待驱动图像的第二目标驱动图像。通过目标显著性图像对第一目标驱动图像的缺失的像素进行修复，得到最接近现实的第二目标驱动图像。本专利技术无需限制驱动图像和待驱动图像的角度，且基于目标显著性图像对第一目标驱动图像修复更正像素，避免最终生成的第二目标驱动图像破裂。
附图说明
[0053]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸驱动方法，其特征在于，所述方法包括：获取待驱动图像和驱动图像，其中，所述待驱动图像和驱动图像的人脸不同；基于所述待驱动图像和驱动图像，生成目标稀疏光流图像；将所述目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像；将所述目标稠密光流图像中各像素的坐标和所述待驱动图像的各像素坐标相乘，得到所述待驱动图像的第一目标驱动图像；将所述第一目标驱动图像与所述目标显著性图像进行融合后，得到融合图像；将所述融合图像输入图像生成模型，得到所述待驱动图像的第二目标驱动图像。2.根据权利要求1所述的方法，其特征在于，所述运动估计模型基于第一训练样本集训练得到，所述第一训练样本集采用以下步骤得到：获取不同人物的多组两帧图像，每组所述两帧图像均包括第一被驱动图像和第一驱动图像；针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像和所述第一驱动图像的稀疏光流图像；基于所述第一图像和所述第一被驱动图像，得到稠密光流图像；基于所述第一驱动图像和所述第一图像，得到显著性图像；将所述稀疏光流图像、稠密光流图像以及显著性图像作为第一训练样本集。3.根据权利要求2所述的方法，其特征在于，所述针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像的步骤，包括：针对每组所述两帧图像，识别所述第一被驱动图像的第一人脸关键点；识别所述第一驱动图像的第二人脸关键点；依据所述第一人脸关键点，构建所述第一被驱动图像的第一人脸网格；依据所述第二人脸关键点，构建所述第一驱动图像的第二人脸网格；将各第一网格向与所述第一网格对应的各第二网格移动，确定移动量，其中，所述第一人脸网格包括多个第一网格，所述第二人脸网格包括多个第二网格；基于所述移动量，得到所述第一被驱动图像的第一图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一被驱动图像和所述第一驱动图像，得到所述第一驱动图像的稀疏光流图像的步骤，包括：确定各所述第一人脸关键点的第一坐标和各所述第二人脸关键点的第二坐标；计算各所述第一坐标和各所述第二坐...
【专利技术属性】
技术研发人员：华路延，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。