【技术实现步骤摘要】
本专利技术涉及数字人，具体涉及一种数字人生成模型的生成器训练方法、数字人生成方法及装置。
技术介绍
1、现在的2d超写实数字人主要是通过语音驱动嘴型变化来实现，常用的方法是wav2lip，该方法在训练完模型后，可用于任意的人脸，即不需要针对特定人进行训练；另外，该方法的嘴型和语音匹配得很好。然而，使用该方法存在一个问题，就是牙齿和嘴唇的细节会比较模糊，这会影响到其实际应用的效果。所以需要进一步完善这个方法，使得生成的数字人更加真实和逼真。
2、目前在wav2lip的训练过程中，通常使用生成的整张人脸和当前帧比较，得到l1重构损失，并通过梯度下降方法来得到生成的人脸图像。一方面，由于牙齿和嘴唇在整个人脸图像中的比例占比很低，因此导致了牙齿和嘴唇模糊。另一方面，l1重构损失只关注每个像素的差异，无法捕捉到图像的结构、纹理等重要特征，这也是导致牙齿和嘴唇模糊的原因之一。
技术实现思路
1、针对上述提到的现有数字人生成模型的生成器所生成的人脸图像牙齿和嘴唇模糊的技术问题。本申请的实施例...
【技术保护点】
1.一种数字人生成模型的生成器训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的数字人生成模型的生成器训练方法，其特征在于，所述根据所述第一图像和第二图像构建嘴部重构损失函数，具体包括：
3.根据权利要求2所述的数字人生成模型的生成器训练方法，其特征在于，所述计算所述语音驱动生成的人脸图像和所述当前帧之间的L1重构损失函数、SSIM损失函数、对抗损失函数和嘴型同步损失函数，具体包括：
4.根据权利要求3所述的数字人生成模型的生成器训练方法，其特征在于，所述总损失函数Ltotal如下式所示：
5.根据权利要求1...
【技术特征摘要】
1.一种数字人生成模型的生成器训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的数字人生成模型的生成器训练方法，其特征在于，所述根据所述第一图像和第二图像构建嘴部重构损失函数，具体包括：
3.根据权利要求2所述的数字人生成模型的生成器训练方法，其特征在于，所述计算所述语音驱动生成的人脸图像和所述当前帧之间的l1重构损失函数、ssim损失函数、对抗损失函数和嘴型同步损失函数，具体包括：
4.根据权利要求3所述的数字人生成模型的生成器训练方法，其特征在于，所述总损失函数ltotal如下式所示：
5.根据权利要求1所述的数字人生成模型的生成器训练方法，其特征在于，所述...
【专利技术属性】
技术研发人员：叶志坚，肖龙源，李海洲，李稀敏，
申请(专利权)人：厦门快商通科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。