【技术实现步骤摘要】
本说明书涉及计算机视觉领域，尤其涉及一种基于多标签控制的三维动态表情生成方法及装置。
技术介绍
1、随着动画电影、游戏等产业的迅速发展，动态表情的逼真度在虚拟人物的制作中是一个备受瞩目的问题。提高动态表情的逼真度和精确性，使用户可以通过虚拟人物进行更细致的情感表达。
2、在现有技术中，有两种常见的动态表情生成方法。一种方法是通过动态捕捉技术获取真实人脸的信息，逐帧生成虚拟人物的动态表情，但是人工成本较高。为了降低人工成本，可采用的另一种方法是利用生成对抗网络生成虚拟人物的动态表情。具体的，根据用户输入的情感信息，通过训练完成的生成对抗网络得到对应的动态表情。
3、但是，生成对抗网络根据用户输入的情感信息，生成的动态表情较单一，无法生成更细致以及更复杂的动态表情，使得虚拟人物的无法进行更精确地情感表达。
4、基于此，本说明书提供一种基于多标签控制的三维动态表情生成方法及装置。
技术实现思路
1、本说明书提供一种基于多标签控制的三维动态表情生成方法及装置，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种基于多标签控制的三维动态表情生成方法，所述方法包括：
4、接收动态表情的生成请求，确定所述生成请求中携带的表情类别信息以及表情强度信息；
5、获取响应于所述生成请求确定出的各表情帧中人脸关键点的位移，并根据获取的各人脸关键点的位移确定位移序列；
6、
7、将所述位移序列作为输入，输入所述特征转换模型的线性投影层，确定所述线性投影层输出的预测向量；
8、根据所述嵌入向量以及所述预测向量，确定输入数据，并输入所述特征转换模型的特征转换层，确定所述特征转换层输出的当前表情帧的第一特征向量；
9、将所述第一特征向量输入表情生成模型，得到所述表情生成模型输出的当前表情帧中人脸关键点的位移，作为生成的表情帧；
10、判断生成的表情帧数量是否满足动态表情对应的帧数；
11、若否，则继续确定下一表情帧中人脸关键点的位移，直至生成的表情帧数量满足所述帧数为止；
12、若是，则根据生成的各表情帧生成动态表情。
13、可选地，接收动态表情的生成请求，确定所述生成请求中携带的表情类别信息以及表情强度信息，具体包括：
14、接收动态表情的生成请求，确定所述生成请求中携带的表情类别信息、表情强度信息以及表情风格信息。
15、可选地，根据所述表情类别信息以及所述表情强度信息，通过预训练的特征转换模型的嵌入层，确定嵌入向量，具体包括：
16、将所述表情类别信息、所述表情强度信息以及所述表情风格信息作为输入，输入特征转换模型的嵌入层，确定所述嵌入层输出的嵌入向量。
17、可选地，根据得到的各表情帧的位移，生成动态表情，具体包括：
18、针对生成的每个表情帧，根据该表情帧中人脸关键点的位移以及预设的中性表情帧中人脸关键点的位置，确定该表情帧中人脸关键点的位置；
19、根据该表情帧中人脸关键点的位置，生成该表情帧对应的三维人脸模型；
20、根据生成的各表情帧对应的三维人脸模型，生成动态表情。
21、可选地，采用下述方法训练所述表情生成模型，所述表情生成模型包括编码器、离散码本和解码器，其中：
22、采集人脸的动态表情，确定所述动态表情对应各表情帧中人脸关键点的位移，并将确定的各位移，作为训练样本；
23、确定各表情帧中人脸关键点的位移作为原始位移组，并将所述原始位移组作为输入，输入所述表情生成模型的编码器，得到所述编码器输出的各表情帧分别对应的第一特征向量，作为第一特征向量组；
24、将所述第一特征向量组与所述表情生成模型中的离散码本进行匹配，得到各表情帧分别对应的第二特征向量，作为第二特征向量组；
25、将所述第二特征向量组作为输入，输入所述表情生成模型的解码器，得到所述解码器输出的重建位移组；
26、根据所述第一特征向量组与所述第二特征向量组的差异，所述原始位移组与所述重建位移组的差异，确定损失，并以损失最小为优化目标训练所述表情生成模型。
27、可选地，将所述第一特征向量组与所述表情生成模型中的离散码本进行匹配，得到各表情帧分别对应的第二特征向量，具体包括：
28、针对每一表情帧，从所述第一特征向量组获取该表情帧对应的第一特征向量；
29、确定所述第一特征向量与所述离散码本中的各向量值的相似度；
30、根据确定出的各相似度，从所述离散码本的各向量值中，确定与所述第一特征向量匹配的向量值，作为该表情帧对应的第二特征向量。
31、可选地，采用下述方法训练所述特征转换模型，其中：
32、采集预设表情类别信息以及表情强度信息对应的人脸的动态表情，确定所述动态表情对应各表情帧中人脸关键点的位移；
33、针对每一个表情帧，确定该表情帧之前的其他表情帧的人脸关键点的位移得到该表情帧对应的位移序列，将该表情帧对应的位移序列、所述表情类别信息以及所述表情强度信息，作为训练样本，将该表情帧的人脸关键点的位移，以及通过所述表情生成模型的离散码本获取的该表情帧的第二特征向量，作为所述训练样本的标注；
34、将所述训练样本包含的所述表情类别信息以及所述表情强度信息作为输入，输入待训练的特征转换模型的嵌入层，确定所述嵌入层输出的嵌入向量；
35、将所述训练样本包含的位移序列作为输入，输入所述特征转换模型的线性投影层，确定所述线性投影层输出的预测向量；
36、根据所述嵌入向量以及所述预测向量，重新确定输入数据，并输入所述特征转换模型，确定所述特征转换模型输出的第一特征向量；
37、根据所述第一特征向量，通过所述表情生成模型的离散码本和解码器，得到所述表情生成模型输出的人脸关键点的位移；
38、根据所述第一特征向量、所述表情生成模型输出的人脸关键点的位移以及所述训练样本的标注，确定损失，并以损失最小为优化目标训练所述特征转换模型。
39、本说明书提供了一种基于多标签控制的三维动态表情生成装置，包括：
40、接收模块，用于接收动态表情的生成请求，确定所述生成请求中携带的表情类别信息以及表情强度信息；
41、获取模块，用于获取响应于所述生成请求确定出的各表情帧中人脸关键点的位移，并根据获取的各人脸关键点的位移确定位移序列；
42、嵌入模块，用于将所述表情类别信息以及所述表情强度信息作为输入，输入特征转换模型的嵌入层，确定所述嵌入层输出的嵌入向量；
43、线性投影模块，用于将所述位移序列作为输入，输入所述特征本文档来自技高网...
【技术保护点】
1.一种基于多标签控制的三维动态表情生成方法，其特征在于，包括：
2.如权利要求1所述方法，其特征在于，接收动态表情的生成请求，确定所述生成请求中携带的表情类别信息以及表情强度信息，具体包括：
3.如权利要求2所述方法，其特征在于，根据所述表情类别信息以及所述表情强度信息，通过预训练的特征转换模型的嵌入层，确定嵌入向量，具体包括：
4.如权利要求1所述方法，其特征在于，根据得到的各表情帧的位移，生成动态表情，具体包括：
5.如权利要求1所述方法，其特征在于，采用下述方法训练所述表情生成模型，所述表情生成模型包括编码器、离散码本和解码器，其中：
6.如权利要求5所述方法，其特征在于，将所述第一特征向量组与所述表情生成模型中的离散码本进行匹配，得到各表情帧分别对应的第二特征向量，具体包括：
7.如权利要求5所述方法，其特征在于，采用下述方法训练所述特征转换模型，其中：
8.一种基于多标签控制的三维动态表情生成装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述存储介质存储
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。
...【技术特征摘要】
1.一种基于多标签控制的三维动态表情生成方法，其特征在于，包括：
2.如权利要求1所述方法，其特征在于，接收动态表情的生成请求，确定所述生成请求中携带的表情类别信息以及表情强度信息，具体包括：
3.如权利要求2所述方法，其特征在于，根据所述表情类别信息以及所述表情强度信息，通过预训练的特征转换模型的嵌入层，确定嵌入向量，具体包括：
4.如权利要求1所述方法，其特征在于，根据得到的各表情帧的位移，生成动态表情，具体包括：
5.如权利要求1所述方法，其特征在于，采用下述方法训练所述表情生成模型，所述表情生成模型包括编码器、离散码本和解码器，其中：
6.如权利要求5所述方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。