一种基于虚拟人的交互方法及系统技术方案

本发明专利技术公开了一种基于虚拟人的交互方法以及系统。方法包括：采集用户多模态数据并解析，获取包含用户表情意图的用户交互意图，其中：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，生成对应的用户表情意图；针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述表情回应数据对应的表情。根据本发明专利技术的方法及系统，可以令虚拟人展现与当前交互内容自然匹配的表情，从而大大提高虚拟人的亲切感，提高用户体验。

【技术实现步骤摘要】
一种基于虚拟人的交互方法及系统
本专利技术涉及计算机领域，具体涉及一种基于虚拟人的交互方法及系统。
技术介绍
随着人工智能技术的不断发展，智能机器人被越来越多的应用于人类的生产生活当中。在众多种类的智能机器人当中，较为常见的一种就是虚拟机器人。在现有技术中，通常的虚拟机器人是以人类或者与人类相似的形态为其虚拟形象。这就使得虚拟机器人可以利用其虚拟形象模拟人类的表情。基于此，在现有技术中，在很多应用场景中利用虚拟机器人在输出交互数据的同时会进行表情展示。然而，在现有技术中，虚拟机器人在进行人机交互时通常是输出一个大概的表情，不仅输出的表情十分粗糙，而且表情的输出与当前的交互内容的匹配度也很低。在很多应用场景中，虚拟机器人的表情输出不仅不能给人带来亲切感，反而因其与当前交互内容不搭造成用户感到莫名其妙从而降低用户体验。
技术实现思路
本专利技术提供了一种基于虚拟人的交互方法，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：采集用户多模态数据并解析，获取包含用户表情意图的用户交互意图，其中：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，生成对应的用户表情意图；针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述表情回应数据对应的表情。在一实施例中，所述用户表情数据包括用户面部表情数据和/或用户姿态数据。在一实施例中，调用视觉能力提取所述用户面部表情数据。在一实施例中，对所述用户表情数据进行解析，生成对应的用户表情意图，包括：确认用户情绪和/或用户态度。在一实施例中，利用所述虚拟人展示所述表情回应数据对应的表情，包括：根据所述表情回应数据确定所述虚拟人的基础情绪表现；根据所述虚拟人的基础情绪表现输出与所述基础情绪表现匹配的所述虚拟人眼部变化以及所述虚拟人皮肤肌理反应的展示数据。在一实施例中，针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据，其中：获取所述虚拟人与所述用户的熟悉度参量；当所述熟悉度参量超过设定阈值时生成与所述用户表情意图同步的表情回应数据。在一实施例中，利用所述虚拟人与所述用户的交互次数描述所述熟悉度参量。本专利技术还提出了一种存储介质，所述存储介质上存储有可实现如本专利技术所述方法的程序代码。本专利技术还提出了一种基于虚拟人的交互系统，所述系统包括：输入获取模块，其配置为采集用户多模态数据；交互解析模块，其配置为解析所述用户多模态数据，获取包含用户表情意图的用户交互意图，包括：表情提取单元，其配置为从所述用户多模态数据中提取用户表情数据；表情解析单元，其配置为对所述用户表情数据进行解析，生成对应的用户表情意图；交互回应生成模块，其配置为针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据，所述表情回应数据可被所述虚拟人展示为对应的表情。本专利技术还提出了一种虚拟人系统，其特征在于，所述系统包括智能设备以及云端服务器，其中：所述云端服务器包含如本专利技术所述的交互系统以及多个能力接口，所述交互系统配置为调用所述能力接口获取所述用户多模态数据并解析，生成并输出所述多模态交互回应数据，其中，所述能力接口包括语义理解接口、视觉识别接口、情感计算接口、认知计算接口；所述智能设备包括：用户界面，其配置为基于虚拟人执行参数在预设显示区域内显示被唤醒的虚拟人并令所述虚拟人展示与所述表情回应数据对应的表情；人机交互输入输出模块，其配置为获取所述用户多模态数据以及输出所述虚拟人执行参数；通信模块，其配置为输出所述用户多模态数据并接收所述多模态交互回应数据；中央处理单元，其配置为利用所述多模态交互回应数据计算与所述多模态交互回应数据相对应的虚拟人执行参数。根据本专利技术的方法及系统，可以令虚拟人展现与当前交互内容自然匹配的表情，从而大大提高虚拟人的亲切感，提高用户体验。本专利技术的其它特征或优点将在随后的说明书中阐述。并且，本专利技术的部分特征或优点将通过说明书而变得显而易见，或者通过实施本专利技术而被了解。本专利技术的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是根据本专利技术一实施例的方法流程图；图2以及图3是根据本专利技术实施例的方法的部分流程图；图4是根据本专利技术一实施例的交互系统结构简图；图5是根据本专利技术一实施例的虚拟人系统结构简图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此本专利技术的实施人员可以充分理解本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本专利技术。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。在现有技术中，通常的虚拟机器人是以人类或者与人类相似的形态为其虚拟形象。这就使得虚拟机器人可以利用其虚拟形象模拟人类的表情。基于此，在现有技术中，在很多应用场景中利用虚拟机器人在输出交互数据的同时会进行表情展示。然而，在现有技术中，虚拟机器人在进行人机交互时通常是输出一个大概的表情，不仅输出的表情十分粗糙，而且表情的输出与当前的交互内容的匹配度也很低。在很多应用场景中，虚拟机器人的表情输出不仅不能给人带来亲切感，反而因其与当前交互内容不搭造成用户感到莫名其妙从而降低用户体验。针对上述问题，本专利技术提出了一种基于虚拟人的交互方法。在本专利技术的方法中，虚拟人在智能设备运行，且虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力。具体的，本专利技术提到的虚拟人为搭载于支持感知、控制等输入输出模块的智能设备；以高仿真3d虚拟人物形象为主要用户界面，具备显著人物特征的外观；支持多模态人机交互，具备自然语言理解、视觉感知、触摸感知、语言语音输出、情感表情动作输出等AI能力；可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验的虚拟人物。虚拟机人在系统层面与用户进行交互，所述系统硬件中运行操作系统，如全息设备内置系统，如PC则为windows或MACOS。虚拟人为系统应用程序，或者可执行文件。虚拟机器人基于硬件设备获取用户多模态交互数据，在云端大脑对多模态交互数据进行语义理解、视觉识别、认知计算、情感计算。所提到的云端大脑为提供所述多模态交互机器人对用户的交互需求进行语义理解(语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以便帮助用户进行决策。在正常的人与人交互的过程中，人类所展现出的面部表情通常是与当前的交互内容匹配的。因此，为了提高对人类的交互内容的理解程度，在本专利技术的方法中，特别针对当前交互对象的表情进行解析，在表情解析的基础上对交互对象的交互意图进行理解，从而生成对应的交互回应。并且，进一步的，在进行交互回应时，输出匹配交互对象的交互意图的虚拟人表情进行辅助，从而使得虚拟本文档来自技高网...

【技术保护点】
1.一种基于虚拟人的交互方法，其特征在于，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：采集用户多模态数据并解析，获取包含用户表情意图的用户交互意图，其中：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，生成对应的用户表情意图；针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述表情回应数据对应的表情。

【技术特征摘要】
1.一种基于虚拟人的交互方法，其特征在于，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：采集用户多模态数据并解析，获取包含用户表情意图的用户交互意图，其中：从所述用户多模态数据中提取用户表情数据；对所述用户表情数据进行解析，生成对应的用户表情意图；针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据；基于所述虚拟人输出所述多模态交互回应数据，其中，利用所述虚拟人展示所述表情回应数据对应的表情。2.根据权利要求1所述的方法，其特征在于，所述用户表情数据包括用户面部表情数据和/或用户姿态数据。3.根据权利要求2所述的方法，其特征在于，调用视觉能力提取所述用户面部表情数据。4.根据权利要求1所述的方法，其特征在于，对所述用户表情数据进行解析，生成对应的用户表情意图，包括：确认用户情绪和/或用户态度。5.根据权利要求1所述的方法，其特征在于，利用所述虚拟人展示所述表情回应数据对应的表情，包括：根据所述表情回应数据确定所述虚拟人的基础情绪表现；根据所述虚拟人的基础情绪表现输出与所述基础情绪表现匹配的所述虚拟人眼部变化以及所述虚拟人皮肤肌理反应的展示数据。6.根据权利要求1～5中任一项所述的方法，其特征在于，针对所述用户交互意图，生成对应的多模态交互回应数据，所述多模态交互回应数据包含表情回应数据，其中：获取所述虚拟人与所述用户的熟悉度参量；当所述熟悉度参量超过设定阈值时生成与所述用户表情意图同步的表情回应数据。7.根据权利要求6所述...

【专利技术属性】
技术研发人员：俞志晨，李晓丹，尚小维，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11