【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种模型训练方法、面部动画生成方法、装置、设备、及介质。
技术介绍
1、音频驱动人脸动画是vr/ar、游戏和电影制作等应用中广泛应用的技术，随着3d引擎的快速发展，对音频驱动3d人脸的需求越来越大。
2、目前，对于音频驱动人脸动画方式主要包括传统的基于语音信号的模型，引入面部数据集，计算人脸模型的顶点位移量的方法和将语音信号转化为向量表示后输入神经网络进行训练，得到人脸模型的顶点位移量的方法。
3、然而，目前的音频驱动人脸动画方式在使用时，存在模型泛化能力不足、生成的面部动画不够生动的问题。
技术实现思路
1、本申请提供一种模型训练方法、面部动画生成方法、装置、设备、及介质，用以解决音频驱动泛化能力不足、生成的面部动画不够生动的问题。
2、第一方面，本申请提供一种模型训练方法，包括：
3、确定第一表情系数和第二表情系数，其中，第一表情系数为与输入样本数据对应的真实标签数据，第二表情系数为输入样本数据输入至待训练模型后得到的预测标签数据；
4、对第一表情系数和第二表情系数进行计算均方误差处理，得到第一损失；
5、根据第一表情系数和第二表情系数，确定嘴唇闭合信息和上下唇距离；
6、根据嘴唇闭合信息和上下唇距离，确定第二损失；
7、根据第一损失和第二损失，对待训练模型进行优化，得到目标模型。
8、在本申请中，在确定第一表情系数和第二表情系数之前，方法还包括
9、获取面部捕捉视频、情感类型数据和演讲风格数据，面部捕捉视频为演讲者进行阅读时的面部视频，情感类型数据表征与阅读内容对应的情感类型，演讲风格数据表征演讲者在进行阅读时的各种音色和各种说话风格；
10、对面部捕捉视频进行音频提取，得到初始音频；
11、对初始音频进行归一化处理和降采样处理，得到目标音频；
12、根据目标音频，确定音频特征序列；
13、根据音频特征序列、情感类型数据和演讲风格数据，确定输入样本数据。
14、在本申请中，确定第一表情系数，包括：
15、根据面部捕捉视频，确定面部帧图像；
16、对面部帧图像进行线性插值处理，得到目标帧图像；
17、根据目标帧图像，确定第一表情系数。
18、在本申请中，根据第一表情系数和第二表情系数，确定嘴唇闭合信息和上下唇距离，包括：
19、确定第一表情系数中第一嘴唇闭合数据和第一下巴移动数据、第二表情系数中的第二嘴唇闭合数据、第二下巴移动数据、以及嘴唇移向数据；
20、根据第一嘴唇闭合数据和第一下巴移动数据，确定嘴唇闭合信息；
21、根据第二嘴唇闭合数据、第二下巴移动数据、以及嘴唇移向数据，确定上下唇距离。
22、在本申请中，根据第一嘴唇闭合数据和第一下巴移动数据，确定嘴唇闭合信息，包括：
23、确定第一嘴唇闭合数据和第一下巴移动数据的比值；
24、根据比值、第一预设比值阈值和第二预设比值阈值，确定嘴唇闭合信息，其中，第二预设比值阈值大于第一预设比值阈值，当比值小于或等于第一预设比值阈值时，嘴唇闭合信息表征嘴唇张开，当比值大于或等于第二预设比值阈值时，嘴唇闭合信息表征嘴唇完全闭合，当比值处于第一预设比值阈值和第二预设比值阈值时，嘴唇闭合信息表征嘴唇的张开程度。
25、在本申请中，根据第二嘴唇闭合数据、第二下巴移动数据、以及嘴唇移向数据，确定上下唇距离，包括：
26、根据第二嘴唇闭合数据和第二下巴移动数据，得到嘴唇变化数据；
27、根据嘴唇移向数据中上嘴唇向上预测数据和下嘴唇向下预测数据，确定嘴唇上下开闭预测数据；
28、根据嘴唇变化数据、嘴唇上下开闭预测数据、以及嘴唇移向数据中的下嘴唇压向左下预测数据、下嘴唇压向右下预测数据、上嘴唇压向左上预测数据和上嘴唇压向右上预测数据，确定上下唇距离。
29、在本申请中，根据嘴唇变化数据、嘴唇上下开闭预测数据、以及嘴唇移向数据中的下嘴唇压向左下预测数据、下嘴唇压向右下预测数据、上嘴唇压向左上预测数据和上嘴唇压向右上预测数据，确定上下唇距离，包括：确定嘴唇上下开闭预测数据的权重、下嘴唇压向左下预测数据的权重、下嘴唇压向右下预测数据的权重、上嘴唇压向左上预测数据的权重和上嘴唇压向右上预测数据的权重；
30、根据嘴唇变化数据、嘴唇上下开闭预测数据、下嘴唇压向左下预测数据、下嘴唇压向右下预测数据、上嘴唇压向左上预测数据和上嘴唇压向右上预测数据、以及权重，确定上下唇距离。
31、在本申请中，当第二表情系数有多个、与第二表情系数对应的嘴唇闭合信息和上下唇距离有多组时，根据嘴唇闭合信息和上下唇距离，确定第二损失，包括：
32、确定嘴唇闭合信息和上下唇距离的组数、以及每组嘴唇闭合信息和上下唇距离的第二初始损失，第二初始损失根据嘴唇闭合信息和上下唇距离确定；
33、根据嘴唇闭合信息和上下唇距离的组数，对每组嘴唇闭合信息和上下唇距离的第二初始损失进行加权求和、再求平均处理，得到第二损失。
34、在本申请中，根据第一损失和第二损失，对待训练模型进行优化，得到目标模型，包括：
35、对第一损失和第二损失进行加权求和处理，得到目标损失；
36、根据目标损失，对待训练模型进行梯度下降法处理，得到目标模型。
37、第二方面，本申请提供一种面部动画生成方法，包括：
38、获取输入数据，输入数据包括音频特征序列、情感类型数据和演讲风格数据；
39、将输入数据输入至目标模型，得到表情系数序列结果，目标模型为本申请中模型训练方法中的目标模型；
40、根据表情系数序列结果，得到面部动画。
41、第三方面，本申请提供一种模型训练装置，包括：
42、第一确定模块，用于确定第一表情系数和第二表情系数，其中，第一表情系数为与输入样本数据对应的真实标签数据，第二表情系数为输入样本数据输入至待训练模型后得到的预测标签数据；
43、第一得到模块，用于对第一表情系数和第二表情系数进行计算均方误差处理，得到第一损失；
44、第二确定模块，用于根据第一表情系数和第二表情系数，确定嘴唇闭合信息和上下唇距离；
45、第三确定模块，用于根据嘴唇闭合信息和上下唇距离，确定第二损失；
46、第二得到模块，用于根据第一损失和第二损失，对待训练模型进行优化，得到目标模型。
47、第四方面，本申请提供一种面部动画生成装置，包括：
48、获取模块，用于获取输入数据，输入数据包括音频特征序列、情感类型数据和演讲风格数据；
49、第三得到模块，用于将输入数据输入至目标模型，得到表情系数序列结果，目标模型为在本申请中模型训练方法中的目标模型；...
【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述确定第一表情系数和第二表情系数之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述确定第一表情系数，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一表情系数和所述第二表情系数，确定嘴唇闭合信息和上下唇距离，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一嘴唇闭合数据和所述第一下巴移动数据，确定嘴唇闭合信息，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述第二嘴唇闭合数据、所述第二下巴移动数据、以及所述嘴唇移向数据，确定所述上下唇距离，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述嘴唇变化数据、所述嘴唇上下开闭预测数据、以及所述嘴唇移向数据中的下嘴唇压向左下预测数据、下嘴唇压向右下预测数据、上嘴唇压向左上预测数据和上嘴唇压向右上预测数据，确定所述上下唇距离，包括：
8.根据权利要求1所述的方法，其特征在于，当所述第二表情
9.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失和所述第二损失，对所述待训练模型进行优化，得到目标模型，包括：
10.一种面部动画生成方法，其特征在于，所述方法包括：
11.一种模型训练装置，其特征在于，包括：
12.一种面部动画生成装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至10任一项所述的模型训练方法。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述确定第一表情系数和第二表情系数之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述确定第一表情系数，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一表情系数和所述第二表情系数，确定嘴唇闭合信息和上下唇距离，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一嘴唇闭合数据和所述第一下巴移动数据，确定嘴唇闭合信息，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述第二嘴唇闭合数据、所述第二下巴移动数据、以及所述嘴唇移向数据，确定所述上下唇距离，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述嘴唇变化数据、所述嘴唇上下开闭预测数据、以及所述嘴唇移向数据中的下嘴唇压向左下预测数据、下嘴唇压向右下预测数据、上嘴唇压向左上...
【专利技术属性】
技术研发人员：彭逸风，王响，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。