本申请涉及一种基于人脸表情生成动物表情动画方法、装置、设备及介质，其中方法包括：获取人脸对齐后的源人脸图像和目标人脸图像；将源人脸图像和目标人脸图像输入至目标对抗神经网络中，并对源人脸图像和目标人脸图像进行高维特征提取，得到源人脸图像特征和目标人脸图像特征；将源人脸图像特征和目标人脸图像特征进行身份信息融合，得到重建特征；通过将重建特征与目标人脸图像特征进行属性信息融合，得到目标融合特征；通过对目标融合特征进行特征解码，得到目标融合人脸图像。本发明专利技术无需在特征维度上显式的区分身份和属性，有利于提高基于人脸表情生成动物表情动画的精准度，从而提高了基于人脸表情生成动物表情动画的生成质量。生成质量。生成质量。
【技术实现步骤摘要】
基于人脸表情生成动物表情动画方法、装置、设备及介质
[0001]本申请涉及视频图像处理
，尤其涉及一种基于人脸表情生成动物表情动画方法、装置、设备及介质。
技术介绍
[0002]使用视频驱动一张图片进行运行是近几年的一种新玩法。例如输入一段脸部运动视频和另一张人脸，然后驱动输入的人脸进行类似的运动。那么同样的原理也可以应用到动物脸上。但人脸的表情视频容易获取和收集，动物脸的表情视频却不太容易收集。
[0003]现有技术能够实现人脸图像转换成表情动画，而难以实现将人脸表情转换成动物表情，从而导致现有的动物脸的表情视频较少。现亟需一种能够实现将人脸表情转换成动物表情，以解决动物脸表情视频数量较少的问题。
技术实现思路
[0004]本申请实施例的目的在于提供一种基于人脸表情生成动物表情动画方法、装置、设备及介质，以实现将人脸表情转换成动物表情，以解决动物脸表情视频数量较少的问题。
[0005]为了解决上述技术问题，本申请实施例提供一种基于人脸表情生成动物表情动画方法，包括：
[0006]获取人脸表情视频和动物脸图像；
[0007]分别对所述人脸表情视频和所述动物脸图像进行关键点检测，得到人脸关键点和动物脸关键点；
[0008]基于所述人脸关键点，构建人脸稀疏光流场；
[0009]通过训练好的转换网络模型将所述人脸稀疏光流场转换为动物稀疏光流场；
[0010]基于所述动物脸图像、所述动物脸关键点以及所述动物稀疏光流场，将所述动物稀疏光流场转换为密集光流场；
[0011]通过对所述动物脸图像和所述密集光流场进行特征变换和特征汇总，生成目标动物表情动画。
[0012]为了解决上述技术问题，本申请实施例提供一种基于人脸表情生成动物表情动画装置，包括：
[0013]人脸表情视频获取单元，用于获取人脸表情视频和动物脸图像；
[0014]关键点检测检测单元，用于分别对所述人脸表情视频和所述动物脸图像进行关键点检测，得到人脸关键点和动物脸关键点；
[0015]稀疏光流场构建单元，用于基于所述人脸关键点，构建人脸稀疏光流场；
[0016]稀疏光流场转换单元，用于通过训练好的转换网络模型将所述人脸稀疏光流场转换为动物稀疏光流场；
[0017]密集光流场生成单元，用于基于所述动物脸图像、所述动物脸关键点以及所述动物稀疏光流场，将所述动物稀疏光流场转换为密集光流场；
[0018]目标动物表情动画生成单元，用于通过对所述动物脸图像和所述密集光流场进行特征变换和特征汇总，生成目标动物表情动画。
[0019]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于人脸表情生成动物表情动画方法。
[0020]为解决上述技术问题，本专利技术采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于人脸表情生成动物表情动画方法。
[0021]本专利技术实施例提供了一种基于人脸表情生成动物表情动画方法、装置、设备及介质。其中方法包括：获取人脸表情视频和动物脸图像；分别对所述人脸表情视频和所述动物脸图像进行关键点检测，得到人脸关键点和动物脸关键点；基于所述人脸关键点，构建人脸稀疏光流场；通过训练好的转换网络模型将所述人脸稀疏光流场转换为动物稀疏光流场；基于所述动物脸图像、所述动物脸关键点以及所述动物稀疏光流场，将所述动物稀疏光流场转换为密集光流场；通过对所述动物脸图像和所述密集光流场进行特征变换和特征汇总，生成目标动物表情动画。本专利技术实施例能够基于人脸表情视频和动物脸图像，生成目标动物表情动画，实现了将人脸表情转换成动物表情，以解决动物脸表情视频数量较少的问题。
附图说明
[0022]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请实施例提供的基于人脸表情生成动物表情动画方法流程的一实现流程图；
[0024]图2是本申请实施例提供的基于人脸表情生成动物表情动画方法中子流程的一实现流程图；
[0025]图3是本申请实施例提供的基于人脸表情生成动物表情动画方法中子流程的又一实现流程图；
[0026]图4是本申请实施例提供的基于人脸表情生成动物表情动画方法中子流程的又一实现流程图；
[0027]图5是本申请实施例提供的基于人脸表情生成动物表情动画方法中子流程的又一实现流程图；
[0028]图6是本申请实施例提供的基于人脸表情生成动物表情动画方法中子流程的又一实现流程图；
[0029]图7是本申请实施例提供的基于人脸表情生成动物表情动画方法中子流程的又一实现流程图；
[0030]图8是本申请实施例提供的基于人脸表情生成动物表情动画装置示意图；
[0031]图9是本申请实施例提供的计算机设备的示意图。
具体实施方式
[0032]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0033]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0034]为了使本
的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0035]下面结合附图和实施方式对本专利技术进行详细说明。
[0036]需要说明的是，本申请实施例所提供的基于人脸表情生成动物表情动画方法一般由服务器执行，相应地，基于人脸表情生成动物表情动画装置一般配置于服务器中。
[0037]请参阅图1，图1示出了基于人脸表情生成动物表情动画方法的一种具体实施方式。
[0038]需注意的是，若有实质上相同的结果，本专利技术的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：
[0039]S1：获取人脸表情视频和动物脸图像。
[0040]具体地，人脸表情视频是具有人脸表情的视频。本申请实施例基于人脸表情视频和动物脸本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于人脸表情生成动物表情动画方法，其特征在于，包括：获取人脸表情视频和动物脸图像；分别对所述人脸表情视频和所述动物脸图像进行关键点检测，得到人脸关键点和动物脸关键点；基于所述人脸关键点，构建人脸稀疏光流场；通过训练好的转换网络模型将所述人脸稀疏光流场转换为动物稀疏光流场；基于所述动物脸图像、所述动物脸关键点以及所述动物稀疏光流场，将所述动物稀疏光流场转换为密集光流场；通过对所述动物脸图像和所述密集光流场进行特征变换和特征汇总，生成目标动物表情动画。2.根据权利要求1所述的基于人脸表情生成动物表情动画方法，其特征在于，所述通过训练好的转换网络模型将所述人脸稀疏光流场转换为动物稀疏光流场之前，所述方法还包括：获取多个动物表情视频，并对所述动物表情视频进行裁剪，得到动物脸区域；提取所述动物脸区域的关键点，得到初始动物脸关键点；采集与所述动物脸表情视频相同动作和表情的初始人脸视频，并对所述初始人脸视频进行人脸裁剪，得到人脸区域；将所述人脸区域与所述动物脸区域进行对齐，并提取所述人脸区域中的关键点，得到初始人脸关键点；基于所述初始动物脸关键点与所述初始人脸关键点构建训练数据，并通过所述训练数据训练转换网络模型，得到所述训练好的转换网络模型。3.根据权利要求1所述的基于人脸表情生成动物表情动画方法，其特征在于，所述基于所述人脸关键点，构建人脸稀疏光流场，包括：基于人脸中的每一关键点，获取所述人脸关键点中的初始帧关键点；根据相同关键点对齐的方式，计算每一所述人脸关键点与所述初始帧关键点的位移，得到关键点的光流；基于所述关键点的光流构建所述人脸稀疏光流场。4.根据权利要求1所述的基于人脸表情生成动物表情动画方法，其特征在于，所述基于所述动物脸图像、所述动物脸关键点以及所述动物稀疏光流场，将所述动物稀疏光流场转换为密集光流场，包括：对所述动物脸图像进行下采样处理，得到下采样图像；基于所述下采样图像、所述动物脸关键点以及所述动物稀疏光流场，生成关键点热力图和仿射变换图；将所述关键点热力图和所述仿射变换图进行串联，得到动物脸特征；通过对所述动物脸特征进行分割和整合处理，得到所述密集光流场。5.根据权利要求4所述的基于人脸表情生成动物表情动画方法，其特征在于，所述基于所述下采样图像、所述动物脸关键点以及所述动物稀疏光流场，生成关键点热力图和仿射变换图，包括：基于所述动物脸关键点以及所述动物稀疏光流场，构建目标...
【专利技术属性】
技术研发人员：谢衍涛，王鼎，
申请(专利权)人：杭州云像科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。