基于语音实时驱动人物模型的表情和姿态的方法技术

本发明专利技术公开一种基于语音实时驱动人物模型的表情和姿态的方法，用于驱动说话的虚拟现实人物模型的表情和姿态，包括：获取语音数据；计算基本动画的权重值；计算修饰动画的权重值；计算基本口型动画的权重值；修正合成动画；输出脸部表情网格。本发明专利技术能够通过语音的声波信息来实时驱动当前虚拟现实人物的脸部表情和嘴部表情，以使得虚拟形象自动生成和真人一样自然的表情表达，无需制作虚拟现实人物影像，成本低省时省力。

【技术实现步骤摘要】

本专利技术涉及虚拟现实(VR,virtualreality)，尤其涉及在VR中生成人物模型的表情和姿态的方法。
技术介绍
随着虚拟现实技术的发展，市面上出现了虚拟现实设备和与之匹配的虚拟现实引擎。在虚拟现实的人机交互中，虚拟人物的真实度会大大影响用户的体验感。比起现实中的人物为了排解用户的烦忧，部分公司开发了智能机器人，实现了自动识别用户意图，并回答的功能，例如微软的机器人小冰，已经实现了和用户文字上的自动对话交流的功能。并且，机器人的文字答复也能够通过TTS的文字转语音技术转换成语音流和相应的情绪数据。但是市面上却没有一款在虚拟现实中说话时通过语音驱动来实现自动做出表情和姿态的机器人。因此，当虚拟人物要说话时，需要专业人士制作虚拟现实人物的影像，不仅成本高，而且费时费力。本领域迫切需要一款能克服上述缺陷的基于语音实时驱动人物模型的表情和姿态的方法。
技术实现思路
本专利技术之目的是一种基于语音实时驱动人物模型的表情和姿态的方法，其能够通过语音的声波信息来实时驱动当前虚拟现实人物的脸部表情和嘴部表情，以使得虚拟形象自动生成和真人一样自然的表情表达，无需制作虚拟现实人物影像，成本低省时省本文档来自技高网...

【技术保护点】
一种基于语音实时驱动人物模型的表情和姿态的方法，用于驱动说话的虚拟现实人物模型的表情和姿态，包括：获取语音数据，语音驱动模块同步接收语音流和对应语音流设置的情绪标签；计算基本动画的权重值，所述语音驱动模块根据所述情绪标签和所述语音流的音量来计算出平静、快乐、愤怒、恐惧、悲伤5种基本表情动画的权重值；计算修饰动画的权重值，所述语音驱动模块根据所述情绪标签和所述语音流的音量来计算出眉毛、眼睛、嘴角修饰动画的权重值；计算基本口型动画的权重值，所述语音驱动模块对所述语音流进行口型动画分析，计算出基本发音PP、FF、TH、DD、H、CH、SS、NN、RR、AH、EI、IH、OH、WU基本口型动画的权重值...

【技术特征摘要】
1.一种基于语音实时驱动人物模型的表情和姿态的方法，用于驱动说话的虚拟现实人物模型的表情和姿态，包括：获取语音数据，语音驱动模块同步接收语音流和对应语音流设置的情绪标签；计算基本动画的权重值，所述语音驱动模块根据所述情绪标签和所述语音流的音量来计算出平静、快乐、愤怒、恐惧、悲伤5种基本表情动画的权重值；计算修饰动画的权重值，所述语音驱动模块根据所述情绪标签和所述语音流的音量来计算出眉毛、眼睛、嘴角修饰动画的权重值；计算基本口型动画的权重值，所述语音驱动模块对所述语音流进行口型动画分析，计算出基本发音PP、FF、TH、DD、H、CH、SS、NN、RR、AH、EI、IH、OH、WU基本口型动画的权重值；修正合成动画，所述语音驱动模块修正合成的所述基本表情动画、所述修饰动画和所述基本口型动画，以生成脸部模型网格；输出脸部表情网格，所述语音驱动模块输出所述脸部表情网格。2.根据权利要求1所述的方法，还包括：在获取语音数据前通过状态机根据相应场景控制人物模型的身体动作。3.根据权利要求1所述的方法，其中，所述获取语音数据包括：UE4引擎并行渲染人物模型，以输出语音。4.根据权利要求1所述的方法，其中，所述获取语音数据包括：在每一个所述语音流上人工设置所述情绪标签；通过语义引擎选择人物模型的文字答复，其中，语义引擎设置有意图分析模块；通过文字转语音技术(TTS)将文字答复转换为语音输出至所述语音驱动模块。5.根据权利要求1-4中任一项所述的方法，还包括：UE4引擎接收所述语音驱动模块输出的所述脸部模型网格；U...

【专利技术属性】
技术研发人员：魏建权，
申请(专利权)人：当家移动绿色互联网技术集团有限公司，
类型：发明
国别省市：北京;11