本公开提供了一种虚拟对象的表情驱动方法、装置、设备及介质，该方法包括：获取真实对象的目标人脸图像；基于训练好的表情解算模型对目标人脸图像进行表情解算处理，得到与目标人脸图像对应的表情系数；训练好的表情解算模型基于人脸图像样本集合训练得到，人脸图像样本集合包括第一真实人脸图像样本以及与第一真实人脸图像样本对应的至少一个虚拟人脸图像样本，虚拟人脸图像样本通过对虚拟人脸模型渲染后生成，虚拟人脸模型的面部表情通过与第一真实人脸图像样本对应的人脸表情系数驱动得到；基于目标人脸图像对应的表情系数，驱动虚拟场景中的目标虚拟对象做出与目标人脸图像相应的表情。本公开实施例，有利于提升表情驱动的准确性。驱动的准确性。驱动的准确性。
【技术实现步骤摘要】
虚拟对象的表情驱动方法、装置、设备及介质
[0001]本公开涉及计算机
，具体而言，涉及一种虚拟对象的表情驱动方法、虚拟对象的表情驱动装置、电子设备以及存储介质。
技术介绍
[0002]随着计算机技术以及人工智能技术迅速发展，虚拟对象直播在视频直播业务中占据着越来越大的比例，虚拟对象直播是以特定的虚拟对象替代主播的真实对象进行视频直播，使用虚拟对象直播进行社交、表演、直播等已经成为目前互联网上的流行趋势。
[0003]在利用虚拟对象直播的过程中，虚拟对象的表情通常是对真实对象的表情进行捕捉，并根据捕捉到的表情信息驱动虚拟对象做出相应的表情，因此，如何提升表情驱动的准确性也是业界所关注的重点。
技术实现思路
[0004]本公开实施例至少提供一种虚拟对象的表情驱动方法、装置、电子设备以及存储介质，能够提升表情驱动的准确性。
[0005]本公开实施例提供了一种虚拟对象的表情驱动方法，包括：
[0006]获取真实对象的目标人脸图像；
[0007]基于训练好的表情解算模型，对所述目标人脸图像进行表情解算处理，得到与所述目标人脸图像对应的表情系数；所述训练好的表情解算模型基于人脸图像样本集合训练得到，所述人脸图像样本集合包括第一真实人脸图像样本以及与所述第一真实人脸图像样本对应的至少一个虚拟人脸图像样本，所述虚拟人脸图像样本通过对虚拟人脸模型进行渲染后生成，所述虚拟人脸模型的面部表情通过与所述第一真实人脸图像样本对应的人脸表情系数进行驱动得到；
[0008]基于所述目标人脸图像对应的表情系数，对虚拟场景中的目标虚拟对象进行表情驱动，使得所述目标虚拟对象做出与所述目标人脸图像相应的表情。
[0009]本公开实施例中，由于训练好的表情解算模型基于第一真实人脸图像样本以及与第一真实人脸图像样本对应的至少一个虚拟人脸图像样本训练得到，且虚拟人脸图像样本通过对虚拟人脸模型进行渲染后生成，虚拟人脸模型的面部表情通过与第一真实人脸图像样本对应的人脸表情系数进行驱动得到，也即，通过构建增广数据(虚拟人脸图像样本)，并基于增广数据以及第一真实人脸图像样本进行模型训练，可以提升模型的鲁棒性，进而可以提升表情系数的解算精度，从而对目标虚拟对象进行表情驱动时，可以提升表情驱动的准确性。
[0010]在一种可能的实施方式中，所述人脸图像样本集合通过以下步骤生成：
[0011]获取第一真实人脸图像样本以及至少一个虚拟人脸模型，并基于与所述第一真实人脸图像样本对应的人脸表情系数对每个虚拟人脸模型分别进行表情驱动，使得所述每个虚拟人脸模型做出相应的表情；
[0012]对每个做出相应表情的虚拟人脸模型分别进行渲染，得到所述至少一张虚拟人脸图像样本，并基于所述第一真实人脸图像样本以及所述至少一张虚拟人脸图像样本，生成所述人脸图像样本集合。
[0013]本公开实施例中，针对同一人脸表情系数可以驱动至少一个虚拟人脸模型做出相应表情，这样即可得到至少一张虚拟人脸图像，也即，可以批量生产虚拟人脸图像，提升虚拟人脸图像样本的产出效率，从而基于第一真实人脸图像样本以及至少一张虚拟人脸图像样本生成人脸图像样本集合，可以提升人脸图像样本集合中的样本丰富度，进而在后续模型训练的过程中，有利于提升模型的鲁棒性。
[0014]在一种可能的实施方式中，所述对每个做出相应表情的虚拟人脸模型分别进行渲染，得到所述至少一张虚拟人脸图像样本，包括：
[0015]针对每个做出相应表情的目标虚拟人脸模型，确定所述目标虚拟人脸模型的渲染参数；所述渲染参数包括所述目标虚拟人脸模型所处目标场景的镜头信息以及光照信息；所述镜头信息包括所述目标场景中的虚拟相机的镜头位置信息以及镜头朝向信息；
[0016]基于所述渲染参数，对所述目标虚拟人脸模型进行渲染，得到渲染结果，并基于各个做出相应表情的目标虚拟人脸模型对应的渲染结果，得到所述至少一张虚拟人脸图像样本。
[0017]本公开实施例中，针对每个做出相应表情的目标虚拟人脸模型，可以为目标虚拟人脸模型设置相应的渲染参数，如此，可以使得渲染得到的各个虚拟人脸图像样本更加贴近真实人脸图像。
[0018]在一种可能的实施方式中，所述训练好的表情解算模型通过以下步骤训练得到：
[0019]从所述人脸图像样本集合中确定人脸图像样本子集；
[0020]将所述人脸图像样本子集中的每个人脸图像样本输入所述表情解算模型，得到与每个人脸图像样本对应的预测人脸表情系数；
[0021]基于预设的第一损失函数、所述每个人脸图像样本对应的预测人脸表情系数以及所述每个人脸图像样本对应的人脸表情系数，对所述表情解算模型进行模型参数调整；
[0022]重复上述迭代训练过程，直到训练结果符合第一预设要求，得到所述训练好的表情解算模型。
[0023]本公开实施例中，基于预设的第一损失函数、每个人脸图像样本对应的预测人脸表情系数以及每个人脸图像样本对应的人脸表情系数，对表情解算模型进行有监督训练，如此，可以提升训练好的表情解算模型的性能，进而提升模型的解算精度。
[0024]在一种可能的实施方式中，所述获取真实对象的目标人脸图像，包括：
[0025]获取所述真实对象的初始人脸图像；
[0026]基于训练好的光照均衡模型，对所述初始人脸图像进行光照均衡处理，得到所述目标人脸图像。
[0027]本公开实施例中，基于训练好的光照均衡模型，对初始人脸图像进行光照均衡处理得到目标人脸图像，如此，可以降低光照对于人脸图像的影响，从而降低光照不均对于后续表情驱动的过程的影响，进而提升表情驱动的准确性。
[0028]在一种可能的实施方式中，所述训练好的光照均衡模型通过以下步骤训练得到：
[0029]获取第二真实人脸图像样本；
[0030]对所述第二真实人脸图像样本进行光照噪声处理，得到噪声图像；
[0031]将所述噪声图像输入光照均衡模型，得到光照复原图像；
[0032]基于预设的第二损失函数，确定所述光照复原图像与所述第二真实人脸图像样本之间的损失值，并基于所述损失值对所述光照均衡模型的模型参数进行调整，直至所述损失值满足预设要求，得到所述训练好的光照均衡模型。
[0033]本公开实施例中，通过对第二真实人脸图像样本进行光照噪声处理，得到噪声图像，然后将噪声图像输入光照均衡模型，得到光照复原图像，这样基于第二损失函数以及光照复原图像与第二真实人脸图像样本之间的损失值，对光照均衡模型进行训练，有利于提升模型的性能。
[0034]在一种可能的实施方式中，所述基于预设的第二损失函数，确定所述光照复原图像与所述第二真实人脸图像样本之间的损失值，包括：
[0035]获取所述光照复原图像中的每个第一像素点的第一亮度值，以及获取所述第二真实人脸图像样本中的每个第二像素点的第二亮度值；每个第一像素点对应一个第二像素点；
[0036]基于所述预设的第二损失函数、各个第一亮度值以及与每个本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟对象的表情驱动方法，其特征在于，包括：获取真实对象的目标人脸图像；基于训练好的表情解算模型，对所述目标人脸图像进行表情解算处理，得到与所述目标人脸图像对应的表情系数；所述训练好的表情解算模型基于人脸图像样本集合训练得到，所述人脸图像样本集合包括第一真实人脸图像样本以及与所述第一真实人脸图像样本对应的至少一个虚拟人脸图像样本，所述虚拟人脸图像样本通过对虚拟人脸模型进行渲染后生成，所述虚拟人脸模型的面部表情通过与所述第一真实人脸图像样本对应的人脸表情系数进行驱动得到；基于所述目标人脸图像对应的表情系数，对虚拟场景中的目标虚拟对象进行表情驱动，使得所述目标虚拟对象做出与所述目标人脸图像相应的表情。2.根据权利要求1所述的方法，其特征在于，所述人脸图像样本集合通过以下步骤生成：获取第一真实人脸图像样本以及至少一个虚拟人脸模型，并基于与所述第一真实人脸图像样本对应的人脸表情系数对每个虚拟人脸模型分别进行表情驱动，使得所述每个虚拟人脸模型做出相应的表情；对每个做出相应表情的虚拟人脸模型分别进行渲染，得到所述至少一张虚拟人脸图像样本，并基于所述第一真实人脸图像样本以及所述至少一张虚拟人脸图像样本，生成所述人脸图像样本集合。3.根据权利要求2所述的方法，其特征在于，所述对每个做出相应表情的虚拟人脸模型分别进行渲染，得到所述至少一张虚拟人脸图像样本，包括：针对每个做出相应表情的目标虚拟人脸模型，确定所述目标虚拟人脸模型的渲染参数；所述渲染参数包括所述目标虚拟人脸模型所处目标场景的镜头信息以及光照信息；所述镜头信息包括所述目标场景中的虚拟相机的镜头位置信息以及镜头朝向信息；基于所述渲染参数，对所述目标虚拟人脸模型进行渲染，得到渲染结果，并基于各个做出相应表情的目标虚拟人脸模型对应的渲染结果，得到所述至少一张虚拟人脸图像样本。4.根据权利要求1所述的方法，其特征在于，所述训练好的表情解算模型通过以下步骤训练得到：从所述人脸图像样本集合中确定人脸图像样本子集；将所述人脸图像样本子集中的每个人脸图像样本输入所述表情解算模型，得到与每个人脸图像样本对应的预测人脸表情系数；基于预设的第一损失函数、所述每个人脸图像样本对应的预测人脸表情系数以及所述每个人脸图像样本对应的人脸表情系数，对所述表情解算模型进行模型参数调整；重复上述迭代训练过程，直到训练结果符合第一预设要求，得到所述训练好的表情解算模型。5.根据权利要求1所述的方法，其特征在于，所述获取...
【专利技术属性】
技术研发人员：徐国智，郭晓阳，蒋昊，温翔，温琦，唐迪，周佳庆，蒋天翼，金昱含，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。