一种基于虚拟人的交互方法及系统技术方案

本发明专利技术公开了一种基于虚拟人的交互方法以及系统。方法包括：采集用户多模态数据并解析，获取包含用户表情意图的用户交互意图，其中：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，生成对应的用户表情意图；针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述表情回应数据对应的表情。根据本发明专利技术的方法及系统，可以令虚拟人展现与当前交互内容自然匹配的表情，从而大大提高虚拟人的亲切感，提高用户体验。

【技术实现步骤摘要】
一种基于虚拟人的交互方法及系统
本专利技术涉及计算机领域，具体涉及一种基于虚拟人的交互方法及系统。
技术介绍
随着人工智能技术的不断发展，智能机器人被越来越多的应用于人类的生产生活当中。在众多种类的智能机器人当中，较为常见的一种就是虚拟机器人。在现有技术中，通常的虚拟机器人是以人类或者与人类相似的形态为其虚拟形象。这就使得虚拟机器人可以利用其虚拟形象模拟人类的表情。基于此，在现有技术中，在很多应用场景中利用虚拟机器人在输出交互数据的同时会进行表情展示。然而，在现有技术中，虚拟机器人在进行人机交互时通常是输出一个大概的表情，不仅输出的表情十分粗糙，而且表情的输出与当前的交互内容的匹配度也很低。在很多应用场景中，虚拟机器人的表情输出不仅不能给人带来亲切感，反而因其与当前交互内容不搭造成用户感到莫名其妙从而降低用户体验。
技术实现思路
本专利技术提供了一种基于虚拟人的交互方法，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：确认当前的交互场景，当所述交互场景为任务场景时采集用户多模态数据并从云端服务器获取对应所述交互场景的场景特征描述；解析所述用户多模态数据，基于所述场景特征描述，获取包含用户表情意图的用户交互意图，针对所述用户交互意图生成包含第一表情回应数据的多模态交互回应数据，其中，获取用户表情意图包括：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，基于所述场景特征描述获取对应的用户表情意图；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述第一表情回应数据所对应的表情。在一实施例中，所述方法还包括：解析所述用户多模态数据，判断是否符合主动交互条件；当符合主动交互条件时，基于所述场景特征描述，获取所述用户表情意图，针对所述用户表情意图生成包含第二表情回应数据的多模态主动交互数据；基于所述虚拟人主动输出所述多模态主动交互数据，其中，利用所述虚拟人展示所述第二表情回应数据所对应的表情。在一实施例中，生成所述多模态主动交互数据或所述多模态交互回应数据，其中：获取所述虚拟人与所述用户的熟悉度参量；当所述熟悉度参量超过设定阈值时生成与所述用户表情意图同步的所述第一表情回应数据或所述第二表情回应数据。在一实施例中，利用所述虚拟人与所述用户的交互次数描述所述熟悉度参量。在一实施例中，所述用户表情数据包括用户面部表情数据和/或用户姿态数据。在一实施例中：当所述交互场景为任务场景时采集所述交互场景中多个用户的用户多模态数据；从每个用户的用户多模态数据中提取所述用户表情数据；对所述用户表情数据进行解析，基于所述场景特征描述获取多个用户的独立用户表情意图；统合所有的独立用户表情意图，基于所述场景特征描述获取所述用户表情意图。本专利技术还提出了一种存储介质，所述存储介质上存储有可实现如本专利技术所述方法的程序代码。本专利技术还提出了一种基于虚拟人的交互系统，所述系统包括：场景确认模块，其配置为确认当前的交互场景，判断所述交互场景是否为任务场景；输入获取模块，其配置为当所述交互场景为任务场景时采集用户多模态数据；场景特征描述获取模块，其配置为当所述交互场景为任务场景时获取对应所述交互场景的场景特征描述；交互解析模块，其配置为解析所述用户多模态数据，基于所述场景特征描述，获取包含用户表情意图的用户交互意图，所述交互解析模块包括：表情数据提取单元，其配置为从所述用户多模态数据中提取用户表情数据；表情数据解析单元，其配置为对所述用户表情数据进行解析，基于所述场景特征描述获取对应的用户表情意图；交互回应生成模块，其配置为基于所述场景特征描述，针对所述用户交互意图生成包含第一表情回应数据的多模态交互回应数据。在一实施例中：所述交互解析模块还配置为解析所述用户多模态数据，判断是否符合主动交互条件，当符合主动交互条件时，基于所述场景特征描述，获取所述用户表情意图；所述交互回应生成模块还配置为当符合主动交互条件时，基于所述场景特征描述，针对所述用户表情意图生成包含第二表情回应数据的多模态主动交互数据。本专利技术还提出了一种虚拟人系统，所述系统包括智能设备以及云端服务器，其中：所述云端服务器包含如本专利技术所述的交互系统，所述交互系统配置为调用所述云端服务器的能力接口确认所述交互场景、获取所述场景特征描述以及所述用户多模态数据并解析，生成并输出所述多模态交互回应数据或所述多模态主动交互数据，其中，所述云端服务器的能力接口包括语义理解接口、视觉识别接口、情感计算接口、认知计算接口；所述智能设备包括：用户界面，其配置为基于虚拟人执行参数在预设显示区域内显示被唤醒的虚拟人；人机交互输入输出模块，其配置为获取所述用户多模态数据以及输出所述虚拟人执行参数；通信模块，其配置为输出所述用户多模态数据并接收所述多模态交互回应数据或所述多模态主动交互数据；中央处理单元，其配置为利用所述多模态交互回应数据或所述多模态主动交互数据计算与所述多模态交互回应数据或所述多模态主动交互数据相对应的虚拟人执行参数。根据本专利技术的方法及系统，可以令虚拟人展现与当前交互内容自然匹配的表情，从而大大提高虚拟人的亲切感，提高用户体验。本专利技术的其它特征或优点将在随后的说明书中阐述。并且，本专利技术的部分特征或优点将通过说明书而变得显而易见，或者通过实施本专利技术而被了解。本专利技术的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是根据本专利技术一实施例的方法流程图；图2以及图3是根据本专利技术实施例的方法的部分流程图；图4是根据本专利技术一实施例的交互系统结构简图；图5是根据本专利技术一实施例的虚拟人系统结构简图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此本专利技术的实施人员可以充分理解本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本专利技术。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。在现有技术中，通常的虚拟机器人是以人类或者与人类相似的形态为其虚拟形象。这就使得虚拟机器人可以利用其虚拟形象模拟人类的表情。基于此，在现有技术中，在很多应用场景中利用虚拟机器人在输出交互数据的同时会进行表情展示。然而，在现有技术中，虚拟机器人在进行人机交互时通常是输出一个大概的表情，不仅输出的表情十分粗糙，而且表情的输出与当前的交互内容的匹配度也很低。在很多应用场景中，虚拟机器人的表情输出不仅不能给人带来亲切感，反而因其与当前交互内容不搭造成用户感到莫名其妙从而降低用户体验。针对上述问题，本专利技术提出了一种基于虚拟人的交互方法。在本专利技术的方法中，虚拟人在智能设备运行，且虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力。具体的，本专利技术提到的虚拟人为搭载于支持感知、控制等输入输出模块的智能设备；以高仿真3d虚拟人物形象为主要用户界面，具备显著人物特征的外观；支持多模态人机交互，具备自然语言理解、本文档来自技高网...

【技术保护点】
1.一种基于虚拟人的交互方法，其特征在于，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：确认当前的交互场景，当所述交互场景为任务场景时采集用户多模态数据并从云端服务器获取对应所述交互场景的场景特征描述；解析所述用户多模态数据，基于所述场景特征描述，获取包含用户表情意图的用户交互意图，针对所述用户交互意图生成包含第一表情回应数据的多模态交互回应数据，其中，获取用户表情意图包括：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，基于所述场景特征描述获取对应的用户表情意图；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述第一表情回应数据所对应的表情。

【技术特征摘要】
1.一种基于虚拟人的交互方法，其特征在于，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：确认当前的交互场景，当所述交互场景为任务场景时采集用户多模态数据并从云端服务器获取对应所述交互场景的场景特征描述；解析所述用户多模态数据，基于所述场景特征描述，获取包含用户表情意图的用户交互意图，针对所述用户交互意图生成包含第一表情回应数据的多模态交互回应数据，其中，获取用户表情意图包括：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，基于所述场景特征描述获取对应的用户表情意图；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述第一表情回应数据所对应的表情。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：解析所述用户多模态数据，判断是否符合主动交互条件；当符合主动交互条件时，基于所述场景特征描述，获取所述用户表情意图，针对所述用户表情意图生成包含第二表情回应数据的多模态主动交互数据；基于所述虚拟人主动输出所述多模态主动交互数据，其中，利用所述虚拟人展示所述第二表情回应数据所对应的表情。3.根据权利要求2所述的方法，其特征在于，生成所述多模态主动交互数据或所述多模态交互回应数据，其中：获取所述虚拟人与所述用户的熟悉度参量；当所述熟悉度参量超过设定阈值时生成与所述用户表情意图同步的所述第一表情回应数据或所述第二表情回应数据。4.根据权利要求3所述的方法，其特征在于，利用所述虚拟人与所述用户的交互次数描述所述熟悉度参量。5.根据权利要求1～4中任一项所述的方法，其特征在于，所述用户表情数据包括用户面部表情数据和/或用户姿态数据。6.根据权利要求1～5中任一项所述的方法，其特征在于：当所述交互场景为任务场景时采集所述交互场景中多个用户的用户多模态数据；从每个用户的用户多模态数据中提取所述用户表情数据；对所述用户表情数据进行解析，基于所述场景特征描述获取多个用户的独立用户表情意图；统合所有的独立用户表情意图，基于所述场景特征描述获取所述用户表情意图。7.一种存储介质，其特征在于，所述存储介质上存储有可实现如权利要...

【专利技术属性】
技术研发人员：俞志晨，李晓丹，尚小维，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11