基于虚拟人行为标准的交互方法及系统技术方案

本发明专利技术提供一种基于虚拟人行为标准的交互方法，虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，其包含：获取多模态交互数据，对多模态交互数据进行解析，得到用户的交互意图；根据交互意图生成多模态回应数据以及与多模态回应数据匹配的虚拟人情绪表达数据，其中，虚拟人情绪表达数据通过虚拟人的面部表情以及肢体动作表现虚拟人当前的情绪；配合虚拟人情绪表达数据输出多模态回应数据。本发明专利技术提供了一种虚拟人，能够与用户进行多模态的交互。并且，本发明专利技术还能够在输出多模态回应数据时配合输出虚拟人情绪表达数据，通过虚拟人情绪表达数据表达当前虚拟人的情绪，使得用户享受拟人的交互体验。

【技术实现步骤摘要】
基于虚拟人行为标准的交互方法及系统
本专利技术涉及人工智能领域，具体地说，涉及一种基于虚拟人行为标准的交互方法及系统。
技术介绍
机器人多模态交互系统的开发致力于模仿人类对话，以试图在上下文之间模仿人类之间的交互。但是，目前来说，对于虚拟人相关的机器人多模态交互系统的开发还不太完善，尚未出现进行多模态交互的虚拟人，更为重要的是，尚无基于虚拟人自身行为标准进行交互的交互产品。因此，本专利技术提供了一种基于虚拟人行为标准的交互方法及系统。
技术实现思路
为解决上述问题，本专利技术提供了一种基于虚拟人行为标准的交互方法，所述虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，所述方法包含以下步骤：获取多模态交互数据，对所述多模态交互数据进行解析，得到用户的交互意图；根据所述交互意图生成多模态回应数据以及与所述多模态回应数据匹配的虚拟人情绪表达数据，其中，所述虚拟人情绪表达数据通过虚拟人的面部表情以及肢体动作表现虚拟人当前的情绪；配合所述虚拟人情绪表达数据输出所述多模态回应数据。根据本专利技术的一个实施例，根据所述交互意图生成多模态回应数据以及与所述多模态回应数据匹配的虚拟人情绪表达数据的步骤中，还包含以下步骤：根据所述交互意图以及交互的上下文环境确定当前虚拟人的情绪参数；依据所述情绪参数生成与所述多模态回应数据匹配的所述虚拟人情绪表达数据。根据本专利技术的一个实施例，所述情绪参数包含积极情绪参数、生气情绪参数以及恐惧情绪参数。根据本专利技术的一个实施例，依据所述情绪参数生成与所述多模态回应数据匹配的所述虚拟人情绪表达数据的步骤中，包含以下步骤：生成与所述情绪参数匹配的虚拟人面部表情数据以及虚拟人肢体动作数据，其中，所述虚拟人面部表情数据以及所述虚拟人肢体动作数据属于所述虚拟人情绪表达数据。根据本专利技术的一个实施例，所述肢体动作数据包含头部动作数据、手部动作数据、四肢动作数据以及躯干动作数据中的任一项或任几项的组合。根据本专利技术的一个实施例，在输出所述多模态回应数据时，当用户与所述虚拟人针对当前交互话题的看法一致，则输出的虚拟人肢体动作为点头动作以及同意手势动作；在输出所述多模态回应数据时，当用户与所述虚拟人针对当前交互话题的看法相反，则输出的虚拟人肢体动作为摇头动作以及不同意手势动作。根据本专利技术的一个实施例，在交互过程中，虚拟人输出具备特定意图的预设动作与用户展开交互。根据本专利技术的另一个方面，还提供了一种基于虚拟人行为标准的交互装置，所述装置包含：交互意图获取模块，其用于获取多模态交互数据，对所述多模态交互数据进行解析，得到用户的交互意图；生成模块，其用于根据所述交互意图生成多模态回应数据以及与所述多模态回应数据匹配的虚拟人情绪表达数据，其中，所述虚拟人情绪表达数据通过虚拟人的表情以及肢体动作表现虚拟人当前的情绪；输出模块，其用于配合所述虚拟人情绪表达数据输出所述多模态回应数据。根据本专利技术的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。根据本专利技术的另一个方面，还提供了一种基于虚拟人行为标准的交互系统，所述系统包含：智能设备，其上装载有虚拟人，用于获取多模态交互数据，并具备语音、情感、表情和动作输出的能力，所述智能设备包含全息设备；云端大脑，其用于对所述多模态交互数据进行语义理解、视觉识别、认知计算以及情感计算，以决策所述虚拟人输出多模态回应数据。本专利技术提供的基于虚拟人行为标准的交互方法及系统提供了一种虚拟人，虚拟人具备预设形象和预设属性，能够与用户进行多模态的交互。并且，本专利技术提供的基于虚拟人行为标准的交互方法及系统还能够在输出多模态回应数据时配合输出虚拟人情绪表达数据，通过虚拟人情绪表达数据表达当前虚拟人的情绪，使得用户与虚拟人之间能够进行流畅的交流，并使得用户享受拟人的交互体验。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互系统的交互示意图；图2显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互系统的结构框图；图3显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互系统的模块框图；图4显示了根据本专利技术的另一个实施例的基于虚拟人行为标准的交互系统的结构框图；图5显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互方法流程图；图6显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互方法中生成虚拟人情绪表达数据的流程图；图7显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互方法中输出多模态应答数据的流程图；图8显示了根据本专利技术的一个实施例的情绪参数与情绪表达数据匹配的示意图；图9显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互方法的另一流程图；以及图10显示了根据本专利技术的一个实施例的在用户、智能设备以及云端大脑三方之间进行通信的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图对本专利技术实施例作进一步地详细说明。为表述清晰，需要在实施例前进行如下说明：本专利技术提到的虚拟人搭载于支持感知、控制等输入输出模块的智能设备；以高仿真3d虚拟人物形象为主要用户界面，具备显著人物特征的外观；支持多模态人机交互，具备自然语言理解、视觉感知、触摸感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验的虚拟人物。虚拟人所搭载的智能设备为：具备非触摸、非鼠标键盘输入的屏幕(全息、电视屏、多媒体显示屏、LED屏等)，并携带有摄像头的智能设备，同时，可以是全息设备、VR设备、PC机。但并不排除其他智能设备，如：手持平板、裸眼3D设备、甚至智能手机等。虚拟人在系统层面与用户进行交互，所述系统硬件中运行操作系统，如全息设备内置系统，如PC则为windows或MACOS。虚拟人为系统应用程序，或者可执行文件。虚拟机器人基于所述智能设备的硬件获取用户多模态交互数据，在云端大脑的能力支持下，对多模态交互数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。所提到的云端大脑为提供所述虚拟人对用户的交互需求进行语义理解(语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述虚拟人的输出多模态回应数据。下面结合附图对本专利技术的各个实施例进行详细描述。图1显示了根据本专利技术的一个实施例的基于虚拟人行为标准的交互系统的交互示意图。如图1所示，进行多模态交互需要用户101、智能设备102、虚拟人103以及云端大脑104。其中，与虚拟人交互的用户101可以为真实人、另一个虚拟人以及实体的虚拟人，另一虚拟人以及实体虚拟人与虚拟人的交互过程与单个的人与虚拟人的交互过程类似。因此，在图1中仅展示的是用户(人)与虚拟人的多模态交互过程。另外，智能设备102包括显示区域1021以及硬件支持设备1022(实质为核心处理器)。本文档来自技高网...

【技术保护点】
1.一种基于虚拟人行为标准的交互方法，其特征在于，所述虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，所述方法包含以下步骤：获取多模态交互数据，对所述多模态交互数据进行解析，得到用户的交互意图；根据所述交互意图生成多模态回应数据以及与所述多模态回应数据匹配的虚拟人情绪表达数据，其中，所述虚拟人情绪表达数据通过虚拟人的面部表情以及肢体动作表现虚拟人当前的情绪；配合所述虚拟人情绪表达数据输出所述多模态回应数据。

【技术特征摘要】
1.一种基于虚拟人行为标准的交互方法，其特征在于，所述虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，所述方法包含以下步骤：获取多模态交互数据，对所述多模态交互数据进行解析，得到用户的交互意图；根据所述交互意图生成多模态回应数据以及与所述多模态回应数据匹配的虚拟人情绪表达数据，其中，所述虚拟人情绪表达数据通过虚拟人的面部表情以及肢体动作表现虚拟人当前的情绪；配合所述虚拟人情绪表达数据输出所述多模态回应数据。2.如权利要求1所述的方法，其特征在于，根据所述交互意图生成多模态回应数据以及与所述多模态回应数据匹配的虚拟人情绪表达数据的步骤中，还包含以下步骤：根据所述交互意图以及交互的上下文环境确定当前虚拟人的情绪参数；依据所述情绪参数生成与所述多模态回应数据匹配的所述虚拟人情绪表达数据。3.如权利要求2所述的方法，其特征在于，所述情绪参数包含积极情绪参数、生气情绪参数以及恐惧情绪参数。4.如权利要求2所述的方法，其特征在于，依据所述情绪参数生成与所述多模态回应数据匹配的所述虚拟人情绪表达数据的步骤中，包含以下步骤：生成与所述情绪参数匹配的虚拟人面部表情数据以及虚拟人肢体动作数据，其中，所述虚拟人面部表情数据以及所述虚拟人肢体动作数据属于所述虚拟人情绪表达数据。5.如权利要求4所述的方法，其特征在于，所述肢体动作数据包含头部动作数据、手部动作数据、四肢动作数据以及躯干动作数据中的任一...

【专利技术属性】
技术研发人员：尚小维，李晓丹，俞志晨，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11