一种虚拟角色控制方法、装置、计算机设备以及存储介质制造方法及图纸

本公开提供了一种虚拟角色控制方法、装置、计算机设备以及存储介质，其中，该方法包括：获取虚拟角色控制对象的表情数据；基于表情数据，识别虚拟角色控制对象的情绪状态信息，并确定与情绪状态信息匹配的脸部动作数据；基于表情数据中的音频数据，确定虚拟角色控制对象的音频属性特征，并确定与音频属性特征及情绪状态信息匹配的口型动作数据；基于脸部动作数据和口型动作数据，生成用于驱动虚拟角色做出相应面部表情的面部表情数据。本公开实施例得到的驱动虚拟角色面部表情动作的面部表情数据，受到传感器采集数据的精确度的影响较小，鲁棒性更强，能够更好地体现当前场景下的主播情绪状态。下的主播情绪状态。下的主播情绪状态。

【技术实现步骤摘要】
一种虚拟角色控制方法、装置、计算机设备以及存储介质


[0001]本公开涉及数据处理
，具体而言，涉及一种虚拟角色控制方法、装置、计算机设备以及存储介质。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)技术的发展，虚拟角色出现在不同的应用场景中，例如虚拟主播、虚拟展会现场、可互动的虚拟前台等场景。
[0003]目前虚拟角色的面部表情主要是通过增强现实元件(ARKit)技术获取真人面部的混合形状(blendshape)数据控制的。在上述目前控制虚拟角色的面部表情的方法中，当使用ARKit技术的设备精确度不高时，得到的blendshape数据精确性也较差，导致虚拟角色的面部表情表现力不够。

技术实现思路

[0004]本公开实施例至少提供一种虚拟角色控制方法、装置以及计算机存储介质。
[0005]第一方面，本公开实施例提供了一种虚拟角色控制方法，包括：
[0006]获取虚拟角色控制对象的表情数据；
[0007]基于所述表情数据，识别所述虚拟角色控制对象的情绪状态信息，并确定与所述情绪状态信息匹配的脸部动作数据；
[0008]基于所述表情数据中的音频数据，确定所述虚拟角色控制对象的音频属性特征，并确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据；
[0009]基于所述脸部动作数据和所述口型动作数据，生成用于驱动虚拟角色做出相应面部表情的面部表情数据。
[0010]一种可选的实施方式中，所述获取虚拟角色控制对象的表情数据，包括：
[0011]获取所述虚拟角色控制对象的人脸图像、所述虚拟角色控制对象脸部的混合形状blendshape数据、以及虚拟角色控制对象的音频数据；
[0012]所述基于所述表情数据，识别所述虚拟角色控制对象的情绪状态信息，包括：
[0013]将所述人脸图像、blendshape数据、以及音频数据分别对应的特征数据，输入预先训练的深度学习模型，得到所述深度学习模型输出的所述虚拟角色控制对象的情绪状态信息。
[0014]一种可选的实施方式中，所述确定与所述情绪状态信息匹配的脸部动作数据，包括：
[0015]获取与所述情绪状态信息对应的美术制作的第一脸部动作数据；
[0016]将所述第一脸部动作数据，与获取的所述表情数据中的混合形状blendshape数据进行数据融合，得到第二脸部动作数据，将所述第二脸部动作数据作为确定的所述与所述情绪状态信息匹配的脸部动作数据。
[0017]一种可选的实施方式中，所述情绪状态信息中包括情绪类别和情绪强度；
[0018]所述获取与所述情绪状态信息对应的美术制作的第一脸部动作数据，包括：
[0019]根据所述情绪状态信息中的情绪类别，获取与所述情绪类别匹配的所述第一脸部动作数据；
[0020]所述将所述第一脸部动作数据，与获取的所述表情数据中的混合形状blendshape数据进行数据融合，得到第二脸部动作数据，包括：
[0021]根据所述情绪状态信息中的情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重；
[0022]根据所述第一权重和第二权重，将所述第一脸部动作数据与所述blendshape数据进行数据融合，得到所述第二脸部动作数据。
[0023]一种可选的实施方式中，根据所述情绪状态信息中的情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重，包括：
[0024]获取所述情绪类别的当前持续时长；
[0025]根据所述当前持续时长，以及所述情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重。
[0026]一种可选的实施方式中，所述确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据，包括：
[0027]根据所述音频属性特征，确定所述虚拟角色控制对象的目标口型类型；
[0028]基于与所述情绪状态信息对应的多种口型类型的口型动作数据，以及所述目标口型类型，确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据。
[0029]一种可选的实施方式中，所述表情数据为按照预设的时间周期获取的；
[0030]所述基于与所述情绪状态信息对应的多种口型类型的口型动作数据，以及所述目标口型类型，确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据，包括：
[0031]从与所述情绪状态信息对应的多种口型类型的口型动作数据中，选择与所述目标口型类型对应的目标口型动作数据；
[0032]根据基于前一时间周期获取的表情数据确定的前一目标口型动作数据，以及当前选择的所述目标口型动作数据，确定在当前时间周期内，从前一目标口型动作数据过渡到当前选择的目标口型动作数据的各帧动画的口型动作数据。
[0033]一种可选的实施方式中，确定与所述情绪状态信息匹配的脸部动作数据之前，还包括：
[0034]确定所述虚拟角色控制对象的状态信息满足目标触发条件；所述目标触发条件用于指示能够基于所述情绪状态信息和音频属性特征生成所述面部表情数据；所述状态信息包括肢体动作信息、情绪状态信息、以及音频内容信息中的至少一种。
[0035]一种可选的实施方式中，所述音频属性特征包括声音强度。
[0036]一种可选的实施方式中，所述方法还包括：
[0037]根据识别的所述情绪状态信息，确定与所述情绪状态信息匹配的虚拟特效；
[0038]生成用于驱动虚拟角色做出相应面部表情的面部表情数据之后，还包括：
[0039]在基于所述面部表情数据驱动虚拟角色做出相应面部表情的同时，展示所述虚拟特效。
[0040]一种可选的实施方式中，在获取虚拟角色控制对象的表情数据之前，所述方法还
包括：
[0041]获取预先存储的表演数据；
[0042]基于所述表演数据，确定所述虚拟角色的初始情绪状态信息；
[0043]生成与所述初始情绪状态信息匹配的初始面部表情数据，以在获取虚拟角色控制对象的表情数据之前驱动虚拟角色做出相应的初始面部表情。
[0044]第二方面，本公开实施例还提供一种虚拟角色控制装置，包括：
[0045]第一获取模块，用于获取虚拟角色控制对象的表情数据；
[0046]识别模块，用于基于所述表情数据，识别所述虚拟角色控制对象的情绪状态信息，并确定与所述情绪状态信息匹配的脸部动作数据；
[0047]第一确定模块，用于基于所述表情数据中的音频数据，确定所述虚拟角色控制对象的音频属性特征，并确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据；
[0048]第一生成模块，用于基于所述脸部动作数据和所述口型动作数据，生成用于驱动虚拟角色做出相应面部表情的面部表情数据。
[0049]第三方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色控制方法，其特征在于，应用于通过捕捉虚拟角色控制对象的面部表情来驱动虚拟角色做出对应面部表情的场景，所述方法包括：获取虚拟角色控制对象的表情数据；基于所述表情数据，识别所述虚拟角色控制对象的情绪状态信息，并确定与所述情绪状态信息匹配的脸部动作数据；基于所述表情数据中的音频数据，确定所述虚拟角色控制对象的音频属性特征，并确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据；基于所述脸部动作数据和所述口型动作数据，生成用于驱动虚拟角色做出相应面部表情的面部表情数据。2.根据权利要求1所述的方法，其特征在于，所述获取虚拟角色控制对象的表情数据，包括：获取所述虚拟角色控制对象的人脸图像、所述虚拟角色控制对象脸部的混合形状blendshape数据、以及虚拟角色控制对象的音频数据；所述基于所述表情数据，识别所述虚拟角色控制对象的情绪状态信息，包括：将所述人脸图像、blendshape数据、以及音频数据分别对应的特征数据，输入预先训练的深度学习模型，得到所述深度学习模型输出的所述虚拟角色控制对象的情绪状态信息。3.根据权利要求1所述的方法，其特征在于，所述确定与所述情绪状态信息匹配的脸部动作数据，包括：获取与所述情绪状态信息对应的美术制作的第一脸部动作数据；将所述第一脸部动作数据，与获取的所述表情数据中的混合形状blendshape数据进行数据融合，得到第二脸部动作数据，将所述第二脸部动作数据作为确定的所述与所述情绪状态信息匹配的脸部动作数据。4.根据权利要求3所述的方法，其特征在于，所述情绪状态信息中包括情绪类别和情绪强度；所述获取与所述情绪状态信息对应的美术制作的第一脸部动作数据，包括：根据所述情绪状态信息中的情绪类别，获取与所述情绪类别匹配的所述第一脸部动作数据；所述将所述第一脸部动作数据，与获取的所述表情数据中的混合形状blendshape数据进行数据融合，得到第二脸部动作数据，包括：根据所述情绪状态信息中的情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重；根据所述第一权重和第二权重，将所述第一脸部动作数据与所述blendshape数据进行数据融合，得到所述第二脸部动作数据。5.根据权利要求4所述的方法，其特征在于，根据所述情绪状态信息中的情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重，包括：获取所述情绪类别的当前持续时长；根据所述当前持续时长，以及所述情绪强度，确定与所述第一脸部动作数据对应的第一权重和与所述blendshape数据对应的第二权重。
6.根据权利要求1所述的方法，其特征在于，所述确定与所述音频属性特征及所述情绪状态信息匹配的口型动作数据，包括：根据所述音频属性特征，确定所述虚拟角色控制对象的目标口型类型；基于与所述情绪状态信息对应的多种口型类型的口型动作数据，以及所述目标口型类型，确定与所述音频属性特征及所述情绪状态信息匹配的口型动...

【专利技术属性】
技术研发人员：唐迪，刘汶斌，南天骄，温翔，蒋昊，王峰，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：