一种表情动画生成方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种表情动画生成方法、装置、设备及存储介质，其中，方法包括：获取目标图片和目标驱动数据，目标图片为指定动画人物的图片，目标驱动数据为决定指定动画人物脸部动作的数据；根据目标图片获取动画特征点，作为目标图片对应的参考信息；建立目标图片对应的参考信息与目标图片的目标映射关系；基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，生成指定动画人物的表情动画。本申请提供的表情动画方法可基于指定动画人物的图片以及决定指定动画人物脸部动作的驱动数据自动生成指定动画人物的表情动画，由于动画的生成过程不需要人工参与，因此，节省了人工成本，降低了时间成本，提高了动画生成效率。效率。效率。

【技术实现步骤摘要】
一种表情动画生成方法、装置、设备及存储介质


[0001]本申请涉及动画生成
，尤其涉及一种表情动画生成方法、装置、设备及存储介质。

技术介绍

[0002]一个表情动画由多幅动画图片组成，表情动画生成实质是，生成组成表情动画的多幅表情图片，目前的表情动画生成方案大多为基于人工的表情动画生成方案，即，由专业绘制人员根据指定动画人物的图片和指定表情(即脸部动作)绘制多幅指定动画人物的表情图片，进而由绘制的多幅指定动画人物的表情图片组成指定动画人物的表情动画。由于一个表情动画由多幅表情图片组成，且在某些场景中，可能还需要多个表情动画，因此，基于人工的表情动画生成方案人工成本和时间成本较高。

技术实现思路

[0003]有鉴于此，本申请提供了一种表情动画生成方法、装置、设备及存储介质，用以解决现有的表情动画生成方案人工成本和时间成本较高的问题，其技术方案如下：
[0004]一种表情动画生成方法，其包括：
[0005]获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；
[0006]根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；
[0007]建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；
[0008]基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画。
[0009]可选的，所述根据所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画，包括：
[0010]基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画；
[0011]其中，所述动画生成模型以训练图片、训练驱动数据、所述训练图片对应的参考信息、所述训练图片对应的参考信息与所述训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到。
[0012]可选的，所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，包括：
[0013]基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列；
[0014]基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序
列；
[0015]由所述目标图片和生成的所述图片序列组成所述指定动画人物的第一表情动画。
[0016]可选的，所述基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列，包括：
[0017]针对每个待生成的目标参考信息：
[0018]将所述目标驱动数据和前一个参考信息，输入所述动画生成模型的参考信息生成模块，得到生成的所述目标参考信息。
[0019]可选的，所述基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列，包括：
[0020]针对所述参考信息序列中的每个目标参考信息：
[0021]将所述目标参考信息和所述目标映射关系，输入所述动画生成模型的图片生成模块，得到所述目标参考信息对应的图片；
[0022]由所述参考信息序列中各参考信息分别对应的图片组成所述图片序列。
[0023]可选的，所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，还包括：
[0024]利用所述动画生成模型对所述目标驱动数据提取特征，以得到所述目标驱动数据对应的目标特征；
[0025]利用所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征；
[0026]基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画。
[0027]可选的，所述基于所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征，包括：
[0028]针对组成所述第一表情动画的每个图片：
[0029]基于所述动画生成模型和该图片对应的参考信息，将该图片切分为多个子图；
[0030]利用所述动画生成模型分别对所述多个子图提取特征，并将分别对所述多个子图提取的特征整合，整合后特征作为该图片对应的目标特征。
[0031]可选的，所述基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画，包括：
[0032]针对组成所述第一表情动画的每幅图片：
[0033]利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征；
[0034]基于所述动画生成模型和该图片对应的融合后特征，生成图片；
[0035]由基于组成所述第一表情动画的各幅图片分别对应的融合后特征生成的图片组成所述指定动画人物的第二表情动画。
[0036]可选的，所述基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动
画，包括：
[0037]针对组成所述第一表情动画的每幅图片：
[0038]若该图片为首幅图片，则基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；
[0039]若该图片为非首幅图片，则基于所述动画生成模型和该图片之前的一幅或多幅图片对应的目标特征，预测该图片对应的特征，基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；
[0040]由基于组成所述第一表情动画的各图片分别对应的目标特征和所述目标驱动数据对应的目标特征生成的图片组成第二表情动画。
[0041]可选的，所述基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片，包括：
[0042]利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征；
[0043]基于所述动画生成模型和该图片对应的融合后特征生成图片；
[0044]所述基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片，包括：
[0045]利用所述动画生成模型将预测的特征与该图片对应的目标特征融合，得到该图片对应的第一融合特征；
[0046本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情动画生成方法，其特征在于，包括：获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画。2.根据权利要求1所述的表情动画生成方法，其特征在于，所述根据所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画，包括：基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画；其中，所述动画生成模型以训练图片、训练驱动数据、所述训练图片对应的参考信息、所述训练图片对应的参考信息与所述训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到。3.根据权利要求2所述的表情动画生成方法，其特征在于，所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，包括：基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列；基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列；由所述目标图片和生成的所述图片序列组成所述指定动画人物的第一表情动画。4.根据权利要求3所述的表情动画生成方法，其特征在于，所述基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列，包括：针对每个待生成的目标参考信息：将所述目标驱动数据和前一个参考信息，输入所述动画生成模型的参考信息生成模块，得到生成的所述目标参考信息。5.根据权利要求3所述的表情动画生成方法，其特征在于，所述基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列，包括：针对所述参考信息序列中的每个目标参考信息：将所述目标参考信息和所述目标映射关系，输入所述动画生成模型的图片生成模块，得到所述目标参考信息对应的图片；由所述参考信息序列中各参考信息分别对应的图片组成所述图片序列。6.根据权利要求3～5中任一项所述的表情动画生成方法，其特征在于，所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，还包括：利用所述动画生成模型对所述目标驱动数据提取特征，以得到所述目标驱动数据对应的目标特征；利用所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成
所述第一表情动画的各图片分别对应的目标特征；基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画。7.根据权利要求6所述的表情动画生成方法，其特征在于，所述基于所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征，包括：针对组成所述第一表情动画的每个图片：基于所述动画生成模型和该图片对应的参考信息，将该图片切分为多个子图；利用所述动画生成模型分别对所述多个子图提取特征...

【专利技术属性】
技术研发人员：吴小燕，何山，殷兵，胡金水，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：