The invention provides a head interaction method based on a virtual human, in which the virtual human initiates speech, emotion, vision and perception in an interactive state through an intelligent device display. The method comprises the following steps: outputting multi-modal data through a virtual human; receiving the multi-modal interaction number provided by a user for multi-modal data; According to the analysis of multi-modal interactive data, the head-shaking action in the multi-modal interactive data is detected by visual ability and extracted as the interactive intention, and the multi-modal interactive output is achieved by virtual human according to the interactive intention. The head interaction method and system of the virtual human provided by the invention provide a virtual human, which has a preset image and preset attributes, and can interact with users in multi-modality. In addition, the invention also can judge the user's intention by the head shaking action, interact with the user, enable the user to communicate smoothly with the virtual person, and enable the user to enjoy the anthropomorphic interactive experience.
【技术实现步骤摘要】
基于虚拟人的头部交互方法及系统
本专利技术涉及人工智能领域,具体地说,涉及一种基于虚拟人的头部交互方法及系统。
技术介绍
机器人多模态交互系统的开发致力于模仿人类对话。早期应用比较广泛的聊天机器人应用程序包括小i聊天机器人或是苹果手机上的siri聊天机器人等处理所接收到的输入(包括文本或语音)并根据输入做出相应的响应,以试图在上下文之间模仿人类之间的交互。但是,目前来说,对于虚拟人相关的机器人多模态交互系统的开发还不太完善,尚未出现基于虚拟人的头部交互产品。因此,本专利技术提供了一种基于虚拟人的头部交互方法及系统。
技术实现思路
为解决上述问题,本专利技术提供了一种基于虚拟人的头部交互方法,所述虚拟人通过智能设备展示,在处于交互状态时启动语音、情感、视觉以及感知能力,所述方法包含以下步骤:通过所述虚拟人输出多模态数据;接收用户针对所述多模态数据提供的多模态交互数据;解析所述多模态交互数据,其中:通过视觉能力检测并提取所述多模态交互数据中的摇头动作作为交互意图;通过所述虚拟人按照所述交互意图进行多模态交互输出。根据本专利技术的一个实施例,在通过视觉能力检测到所述摇头动作时,如果头部动作包含水平方向任一幅度的动作,则识别所述头部动作为摇头动作。根据本专利技术的一个实施例,在通过视觉能力检测并提取所述多模态交互数据中的摇头动作作为交互意图的步骤中,还包括:将所述交互意图识别为否定意图作为用户对所述虚拟人输出的所述多模态数据的否定反馈;或,基于所述虚拟人已经输出的多模态数据将所述交互意图识别为疑惑意图,其中,所述疑惑意图表示用户对所述虚拟人输出的多模态数据中的内容不明 ...
【技术保护点】
1.一种基于虚拟人的头部交互方法,其特征在于,所述虚拟人通过智能设备展示,在处于交互状态时启动语音、情感、视觉以及感知能力,所述方法包含以下步骤:通过所述虚拟人输出多模态数据;接收用户针对所述多模态数据提供的多模态交互数据;解析所述多模态交互数据,其中:通过视觉能力检测并提取所述多模态交互数据中的摇头动作作为交互意图;通过所述虚拟人按照所述交互意图进行多模态交互输出。
【技术特征摘要】
1.一种基于虚拟人的头部交互方法,其特征在于,所述虚拟人通过智能设备展示,在处于交互状态时启动语音、情感、视觉以及感知能力,所述方法包含以下步骤:通过所述虚拟人输出多模态数据;接收用户针对所述多模态数据提供的多模态交互数据;解析所述多模态交互数据,其中:通过视觉能力检测并提取所述多模态交互数据中的摇头动作作为交互意图;通过所述虚拟人按照所述交互意图进行多模态交互输出。2.如权利要求1所述的基于虚拟人的头部交互方法,其特征在于,在通过视觉能力检测到所述摇头动作时,如果头部动作包含水平方向任一幅度的动作,则识别所述头部动作为摇头动作。3.如权利要求1所述的基于虚拟人的头部交互方法,其特征在于,在通过视觉能力检测并提取所述多模态交互数据中的摇头动作作为交互意图的步骤中,还包括:将所述交互意图识别为否定意图作为用户对所述虚拟人输出的所述多模态数据的否定反馈;或,基于所述虚拟人已经输出的多模态数据将所述交互意图识别为疑惑意图,其中,所述疑惑意图表示用户对所述虚拟人输出的多模态数据中的内容不明确。4.如权利要求3所述的基于虚拟人的头部交互方法,其特征在于,在通过视觉能力检测并提取所述多模态交互数据中的摇头动作作为交互意图的步骤中,还包括:基于所述否定意图存储针对该用户的偏好数据。5.如权利要求1-4中任一项所述的基于虚拟人的头部交互方法,其特征在于,所述虚拟人接收来自多个用户的针对所述多模态数据提供的多模态交互数据,识别出所述多个用户中...
【专利技术属性】
技术研发人员:尚小维,俞志晨,李晓丹,
申请(专利权)人:北京光年无限科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。