一种基于虚拟人的多模态交互输出方法及系统技术方案

本申请提供一种基于虚拟人的多模态交互输出方法及系统，其中，所述方法包括：所述虚拟人在智能设备运行，获取多模态数据，所述多模态数据中至少包含语音数据，解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据，将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出；通过对获取到的多模态数据进行语义数据和情感数据解析，使虚拟人的面部可以根据解析结果进行面部动作和面部情感的模仿，增强用户视觉感觉的粘度，呈现逼真、流畅的模拟交互效果，提高了交互体验。

【技术实现步骤摘要】
一种基于虚拟人的多模态交互输出方法及系统
本申请涉及人工智能
，特别涉及一种基于虚拟人的多模态交互输出方法及系统、一种虚拟人、一种智能设备及一种计算机可读存储介质。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。目前机器人包括具备实体的实体机器人和搭载在硬件设备上的虚拟机器人。现有技术中的虚拟机器人无法进行多模态交互，一直呈现出固定不变的状态，更不能将被模仿者的情绪、情感通过面部真实流畅的模仿出来，无法实现逼真、流畅、拟人的交互效果。因此，提升虚拟机器人的交互能力和呈现能力，是现在亟需解决的重要问题。
技术实现思路
有鉴于此，本申请提供一种基于虚拟人的多模态交互输出方法及系统、一种虚拟人、一种智能设备及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。一方面，本申请提供一种基于虚拟人的多模态交互输出方法，所述虚拟人在智能设备运行，包括：获取多模态数据，所述多模态数据中至少包含语音数据；解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据；将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出。可选地，获取多模态数据之前，还包括：唤醒虚拟人，使所述虚拟人显示在预设的显示区域内。可选地，将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出包括：根据所述语义数据进行切词，将切词结果与所述虚拟人的嘴型模型进行匹配，以生成嘴部仿生数据并输出；为所述情感数据设置情感标签；根据所述情感标签选择对应的面部参量集合，以配合所述嘴型模型的嘴部仿生数据。可选地，所述虚拟人的面部参量包括所述面部骨骼、所述皮肤褶皱、所述面部肌群和/或所述面部肤色。可选地，所述面部参量集合包括但不限于：所述面部骨骼与所述面部肌群运动的仿生协同数据；所述面部骨骼与所述皮肤褶皱运动的仿生协同数据；所述皮肤褶皱与所述面部肌群运动的仿生协同数据；或者所述面部骨骼、所述皮肤褶皱、所述面部肌群和/或所述面部肤色的仿生协同数据。可选地，所述虚拟人通过3D高模构建生成，具备预设的形象及技能；所述虚拟人包括运行在所述智能设备上的应用程序、可执行文件或通过所述智能设备投射出的全息影像。可选地，所述智能设备使用的系统包括但不限于WINDOWS系统、MACOS系统或全息设备内置系统。可选地，所述预设的显示区域包括所述智能设备的显示界面或所述智能设备的投射区域。另一方面，本申请提供了一种基于虚拟人的多模态交互输出系统，包括智能设备和服务器，所述虚拟人在智能设备运行，其中：所述智能设备获取多模态数据，所述多模态数据中至少包含语音数据；所述服务器解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据；所述服务器将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据；所述智能设备接收所述面部仿生数据并输出。可选地，所述服务器解析所述多模态数据具体实现为：根据所述语义数据进行切词，将切词结果与所述虚拟人的嘴型模型进行匹配，以生成嘴部仿生数据并输出；为所述情感数据设置情感标签；根据所述情感标签选择对应的面部参量集合，以配合所述嘴型模型的嘴部仿生数据。另一方面，本申请提供了一种虚拟人，所述虚拟人在智能设备运行，所述虚拟人执行上述基于虚拟人的多模态交互输出方法。另一方面，本申请提供了一种智能设备，所述智能设备上运行上述的虚拟人。另一方面，本申请提供了一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现上述基于虚拟人的多模态交互输出方法的步骤。本申请提供的一种基于虚拟人的多模态交互输出方法及系统、一种虚拟人、一种智能设备及一种计算机可读存储介质，通过获取多模态数据，所述多模态数据中至少包含语音数据；然后解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据；最后将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出；通过对获取到的多模态数据进行语义数据和情感数据解析，使虚拟人的面部可以根据解析结果进行面部动作和面部情感的模仿，增强用户视觉感觉的粘度，呈现逼真、流畅的模拟交互效果，提高了交互体验。附图说明图1为本申请一实施例提供的一种基于虚拟人的多模态交互输出系统的结构示意图；图2为本申请一实施例提供的一种基于虚拟人的多模态交互输出方法流程图；图3为本申请一实施例提供的一种基于虚拟人的多模态交互输出方法流程图；图4为本申请一实施例提供的一种基于虚拟人的多模态交互输出方法流程图；图5为本申请一实施例提供的一种基于虚拟人的多模态交互输出方法流程图；图6为本申请一实施例提供的一种基于虚拟人的多模态交互输出系统的结构示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。在本申请中，提供了一种基于虚拟人的多模态交互输出方法及系统、一种虚拟人、一种智能设备及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。本申请中，所述虚拟人为搭载于支持感知、控制等输入输出模块的智能设备；以高仿真3d虚拟人物形象为主要用户界面，具备显著人物特征的外观；支持多模态人机交互，具备自然语言理解、视觉感知、触摸感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验的虚拟人物。虚拟人运行在智能设备，所述智能设备可以是桌上型计算机、笔记本、掌上电脑及移动终端等智能计算设备，更为重要的是，也可以是智能的全息投影设备等，所述移动终端可以包括智能手机、平板、智能机器人等。所述虚拟人具备的属性，可以包括：虚拟人标识、社会属性、人格属性、人物技能等属性。具体来说，社会属性可以包括：外貌、姓名、性别、籍贯、年龄、家庭关系、职业、职位、宗教信仰、感情状态、学历等属性字段；人格属性可以包括：性格、气质等属性字段；人物技能可以包括：唱歌、跳舞、讲故事、培训等专业技能。在本申请中，虚拟人的属性可以使得多模态交互的解析和决策结果能够更倾向或更为适合该虚拟人，系统可通过调用该属性信息实现虚拟人的唤醒、活动、去唤醒以及注销等状态的控制，属于虚拟人区别真实人的附加属性信息。本申请中，所述智能全息投影设备可以使用全息设备内置系统，当然还可以通过其他设备及平台，其他设备及平台可配置WINDOWS系统或MACOS系统。因此，所述虚拟人可以是由智能全息投影设备投影出来的全息影像，也可以是运行在所述智能设备上的应用程序或可执行文件。参见图1，为本申请实施例的基于虚拟人的多模态输出系统的结构示意图。该基于虚拟人的多模态输出系统包括智能设备120和服务器，所述服务器可以为云端大脑110。所述智能设备120可以包括：用户界面121、通信模块122、中央处理单元123和人机交互输入输出模块124本文档来自技高网...

【技术保护点】
一种基于虚拟人的多模态交互输出方法，其特征在于，所述虚拟人在智能设备运行，包括：获取多模态数据，所述多模态数据中至少包含语音数据；解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据；将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出。

【技术特征摘要】
1.一种基于虚拟人的多模态交互输出方法，其特征在于，所述虚拟人在智能设备运行，包括：获取多模态数据，所述多模态数据中至少包含语音数据；解析所述多模态数据，以获得所述语音数据中的语义数据和情感数据；将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出。2.根据权利要求1所述的方法，其特征在于，获取多模态数据之前，还包括：唤醒虚拟人，使所述虚拟人显示在预设的显示区域内。3.根据权利要求1所述的方法，其特征在于，将所述语义数据和所述情感数据与所述虚拟人的面部参量进行匹配，生成面部仿生数据并输出包括：根据所述语义数据进行切词，将切词结果与所述虚拟人的嘴型模型进行匹配，以生成嘴部仿生数据并输出；为所述情感数据设置情感标签；根据所述情感标签选择对应的面部参量集合，以配合所述嘴型模型的嘴部仿生数据。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述虚拟人的面部参量包括所述面部骨骼、所述皮肤褶皱、所述面部肌群和/或所述面部肤色。5.根据权利要求4所述的方法，其特征在于，所述面部参量集合包括但不限于：所述面部骨骼与所述面部肌群运动的仿生协同数据；所述面部骨骼与所述皮肤褶皱运动的仿生协同数据；所述皮肤褶皱与所述面部肌群运动的仿生协同数据；或者所述面部骨骼、所述皮肤褶皱、所述面部肌群和/或所述面部肤色的仿生协同数据。6.根据权利要求1所述的方法，其特征在于，所述虚拟人通过3D高模构建生成，具备预设的形象及技能；所述虚拟人包括运行在所述智...

【专利技术属性】
技术研发人员：徐强，尚小维，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11