本发明专利技术的实施例提供了一种人脸驱动方法、装置、电子设备及存储介质，所述方法包括：确定待处理图像和待处理视频，获取待处理视频的多帧视频图像，分别基于各视频图像的人脸关键点对待处理图像的人脸关键点进行调整，得到多张第一图像，其中，各第一图像包含第一人脸关键点，针对每张第一图像，将第一图像中的第一人脸关键点对应的目标mask图像与第一图像叠加，得到多个第二图像，将各第二图像输入至训练好的图像生成模型，输出多张目标图像，基于各目标图像，生成人脸驱动视频。本申请能够填补人脸驱动过程中缺失的信息，保证驱动过程中人脸的完整性，避免在对人脸驱动时，图像破裂的问题。题。题。
【技术实现步骤摘要】
一种人脸驱动方法、装置、电子设备及存储介质
[0001]本专利技术涉及图像处理
，具体而言，涉及一种人脸驱动方法、装置、电子设备及存储介质。
技术介绍
[0002]图片的人脸驱动是指驱动图片中的人脸，使得图片中所包含的人脸发生变化。
[0003]目前，无法生成原本图片不携带的内容，例如原来图像是闭嘴的图像，驱动张嘴会出现破裂撕裂的现象，导致驱动效果差。
技术实现思路
[0004]本专利技术的目的在于提供一种人脸驱动方法、装置、电子设备及存储介质，能够保证驱动后的图像的完整性，从而提升驱动效果。
[0005]为了实现上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，本申请实施例提供了一种人脸驱动方法，所述方法包括：
[0007]确定待处理图像和待处理视频，其中，基于所述待处理视频对所述待处理图像的人像进行驱动处理；
[0008]获取所述待处理视频的多帧视频图像；
[0009]分别基于各所述视频图像的人脸关键点对所述待处理图像的人脸关键点进行调整，得到多张第一图像，其中，各所述第一图像包含第一人脸关键点；
[0010]针对每张所述第一图像，将所述第一图像中的第一人脸关键点对应的目标mask图像与所述第一图像叠加，得到多个第二图像；
[0011]将各所述第二图像输入至训练好的图像生成模型，输出多张目标图像；
[0012]基于各所述目标图像，生成人脸驱动视频。
[0013]在可选的实施方式中，所述分别基于各所述视频图像的人脸关键点对所述待处理图像的人脸关键点进行调整，得到多张第一图像的步骤，包括：
[0014]针对每张所述视频图像，确定所述视频图像中的第二人脸关键点和各所述第二人脸关键点的第一坐标；
[0015]确定所述待处理图像的第三人脸关键点和各所述第三人脸关键点的第二坐标；
[0016]基于所述第一坐标对对应的所述第二坐标进行调整，得到调整后的多张第一图像。
[0017]在可选的实施方式中，所述针对每张所述第一图像，将所述第一图像中的第一人脸关键点对应的目标mask图像与所述第一图像叠加，得到多个第二图像的步骤，包括：
[0018]针对每张所述第一图像，确定每张所述第一图像中的第一人脸关键点；
[0019]基于每张所述第一图像中的第一人脸关键点构建多个第一三角网格图像；
[0020]获取标准人脸的第一mask图像；
[0021]获取所述第一mask图像中人脸的第四人脸关键点，并基于所述第四人脸关键点构
建第二三角网格图像；
[0022]分别基于每个所述第一三角网格图像对所述第二三角网格图像进行调整，得到更新后的多张目标mask图像；
[0023]将各所述目标mask图像与对应的所述第一图像叠加，得到多个第二图像。
[0024]在可选的实施方式中，所述分别基于每个所述第一三角网格图像对所述第二三角网格图像进行调整，得到更新后的多张目标mask图像的步骤，包括：
[0025]针对每个所述第一三角网络图像，确定该第一三角网格图像中各第一三角网格；
[0026]针对每个所述第一三角网格，确定与该第一三角网格对应的第二三角网格，所述第二三角网格为所述第二三角网格图像中的三角网格；
[0027]基于所述第一三角网格，对所述第二三角网格进行仿射变化，得到更新后的多张目标mask图像。
[0028]在可选的实施方式中，所述方法还包括：
[0029]对所述图像生成模型进行训练；
[0030]该步骤包括：
[0031]获取标准人脸的第二mask图像，以及所述第二mask图像中人脸关键点；
[0032]基于所述第二mask图像中的人脸关键点，构建第三三角网格图像；
[0033]确定待训练图像；
[0034]确定所述待训练图像中的人脸关键点，并基于所述待训练图像的人脸关键点构建第四三角网格图像；
[0035]基于所述第四三角网格图像中的各三角网格，对所述第三三角网格图像中的各三角网格进行调整，得到第三mask图像；
[0036]将所述第三mask图像与所述待训练图像进行叠加，得到目标训练图像；
[0037]基于所述目标训练图像对图像生成模型进行训练，其中，所述图像生成模型的输入为目标训练图像，输出为训练图像。
[0038]在可选的实施方式中，所述针对每张所述第一图像，将所述第一图像中的第一人脸关键点对应的目标mask图像与所述第一图像叠加，得到多个第二图像的步骤，包括：
[0039]针对每张所述第一图像，将所述第一图像中的第一人脸关键点对应的目标mask图像与所述第一图像叠加；
[0040]将叠加在所述第一图像中的所述目标mask图像进行羽化操作，得到多个第二图像。
[0041]第二方面，本申请实施例提供了一种人脸驱动装置，所述装置包括：确定模块和处理模块；
[0042]所述确定模块，用于确定待处理图像和待处理视频，其中，基于所述待处理视频对所述待处理图像的人像进行驱动处理；
[0043]获取所述待处理视频的多帧视频图像；
[0044]所述处理模块，用于分别基于各所述视频图像的人脸关键点对所述待处理图像的人脸关键点进行调整，得到多张第一图像，其中，各所述第一图像包含第一人脸关键点；
[0045]针对每张所述第一图像，将所述第一图像中的第一人脸关键点对应的目标mask图像与所述第一图像叠加，得到多个第二图像；
[0046]将各所述第二图像输入至训练好的图像生成模型，输出多张目标图像；
[0047]基于各所述目标图像，生成人脸驱动视频。
[0048]第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述人脸驱动方法的步骤。
[0049]第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述人脸驱动方法的步骤。
[0050]本申请具有以下有益效果：
[0051]本申请通过确定待处理图像和待处理视频，获取待处理视频的多帧视频图像，分别基于各视频图像的人脸关键点对待处理图像的人脸关键点进行调整，得到多张第一图像，其中，各第一图像包含第一人脸关键点，针对每张第一图像，将第一图像中的第一人脸关键点对应的目标mask图像与第一图像叠加，得到多个第二图像，将各第二图像输入至训练好的图像生成模型，输出多张目标图像，基于各目标图像，生成人脸驱动视频。本申请能够填补人脸驱动过程中缺失的信息，保证驱动过程中人脸的完整性，避免在对人脸驱动时，图像破裂的问题。
附图说明
[0052]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸驱动方法，其特征在于，所述方法包括：确定待处理图像和待处理视频，其中，基于所述待处理视频对所述待处理图像的人像进行驱动处理；获取所述待处理视频的多帧视频图像；分别基于各所述视频图像的人脸关键点对所述待处理图像的人脸关键点进行调整，得到多张第一图像，其中，各所述第一图像包含第一人脸关键点；针对每张所述第一图像，将所述第一图像中的第一人脸关键点对应的目标mask图像与所述第一图像叠加，得到多个第二图像；将各所述第二图像输入至训练好的图像生成模型，输出多张目标图像；基于各所述目标图像，生成人脸驱动视频。2.根据权利要求1所述的方法，其特征在于，所述分别基于各所述视频图像的人脸关键点对所述待处理图像的人脸关键点进行调整，得到多张第一图像的步骤，包括：针对每张所述视频图像，确定所述视频图像中的第二人脸关键点和各所述第二人脸关键点的第一坐标；确定所述待处理图像的第三人脸关键点和各所述第三人脸关键点的第二坐标；基于所述第一坐标对对应的所述第二坐标进行调整，得到调整后的多张第一图像。3.根据权利要求1所述的方法，其特征在于，所述针对每张所述第一图像，将所述第一图像中的第一人脸关键点对应的目标mask图像与所述第一图像叠加，得到多个第二图像的步骤，包括：针对每张所述第一图像，确定每张所述第一图像中的第一人脸关键点；基于每张所述第一图像中的第一人脸关键点构建多个第一三角网格图像；获取标准人脸的第一mask图像；获取所述第一mask图像中人脸的第四人脸关键点，并基于所述第四人脸关键点构建第二三角网格图像；分别基于每个所述第一三角网格图像对所述第二三角网格图像进行调整，得到更新后的多张目标mask图像；将各所述目标mask图像与对应的所述第一图像叠加，得到多个第二图像。4.根据权利要求3所述的方法，其特征在于，所述分别基于每个所述第一三角网格图像对所述第二三角网格图像进行调整，得到更新后的多张目标mask图像的步骤，包括：针对每个第一三角网络图像，确定该第一三角网格图像中各第一三角网格；针对每个所述第一三角网格，确定与该第一三角网格对应的第二三角网格，所述第二三角网格为所述第二三角网格图像中的三角网格；基于所述第一三角网格，对所述第二三角网格进行仿射变化，得到更新后的多张目标mask图像。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述图像生成模型进行训练；该步骤包括：获取标准人脸的第二mask图像，...
【专利技术属性】
技术研发人员：华路延，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。