The invention provides a visual interaction method based on a virtual human. The virtual human starts the voice, emotion, vision and perception ability when it is in an interactive state through an intelligent device display. The method comprises the following steps: outputting multi-modal data through a virtual human; receiving multi-modal interactive data provided by a user for multi-modal data; parsing and analyzing the multi-modal interactive data; Multimodal interactive data, in which: through the visual ability detection and extraction of multi-modal interactive data of the hand fist movement and the simultaneous occurrence of hand-related limb movements, and combined with the interactive context environment to identify the interactive intent; through the virtual human according to the interactive intent of multi-modal interactive output. The method and system of visual interaction based on virtual human provides a virtual human with preset image and preset attributes, and can interact with users in multi-modality. In addition, the user's intention can be judged by the fist-gripping movement of the hand and the limb movement matched with the hand, so that the user can enjoy the anthropomorphic interactive experience.
【技术实现步骤摘要】
基于虚拟人的视觉交互方法及系统
本专利技术涉及人工智能领域,具体地说,涉及一种基于虚拟人的视觉交互方法及系统。
技术介绍
机器人多模态交互系统的开发致力于模仿人类对话,以试图在上下文之间模仿人类之间的交互。但是,目前来说,对于虚拟人相关的机器人多模态交互系统的开发还不太完善,尚未出现进行多模态交互的虚拟人,更为重要的是,尚无针对肢体,尤其针对手势交互,且对肢体、尤其手势交互有响应的基于虚拟人的视觉交互产品。因此,本专利技术提供了一种基于虚拟人的视觉交互方法及系统。
技术实现思路
为解决上述问题,本专利技术提供了一种基于虚拟人的视觉交互方法,所述虚拟人通过智能设备展示,在处于交互状态时启动语音、情感、视觉以及感知能力,所述方法包含以下步骤:通过所述虚拟人输出多模态数据;接收用户针对所述多模态数据提供的多模态交互数据;解析所述多模态交互数据,其中:通过视觉能力检测并提取所述多模态交互数据中的手部握拳动作和同时出现的与手部配合的肢体动作,并将其与交互上下文环境进行结合以识别出交互意图;通过所述虚拟人按照所述交互意图进行多模态交互输出。根据本专利技术的一个实施例,在判断周期内,如果所提取的用户的手部动作与预先保存的握拳信息相似度大于第一阈值,则识别所述手部动作作为手部握拳动作。根据本专利技术的一个实施例,当同时出现的与手部配合的肢体动作还包括所述用户一个手臂或两个手臂位于身体上半部,并立于胸前时,则判断所述多模态交互数据中的手部握拳动作为用户当前的交互意图。根据本专利技术的一个实施例,基于所述虚拟人已经输出的多模态数据将所述交互意图识别为鼓励意图,其中,所述鼓励意图表 ...
【技术保护点】
1.一种基于虚拟人的视觉交互方法,其特征在于,所述虚拟人通过智能设备展示,在处于交互状态时启动语音、情感、视觉以及感知能力,所述方法包含以下步骤:通过所述虚拟人输出多模态数据;接收用户针对所述多模态数据提供的多模态交互数据;解析所述多模态交互数据,其中:通过视觉能力检测并提取所述多模态交互数据中的手部握拳动作和同时出现的与手部配合的肢体动作,并将其与交互上下文环境进行结合以识别出交互意图;通过所述虚拟人按照所述交互意图进行多模态交互输出。
【技术特征摘要】
1.一种基于虚拟人的视觉交互方法,其特征在于,所述虚拟人通过智能设备展示,在处于交互状态时启动语音、情感、视觉以及感知能力,所述方法包含以下步骤:通过所述虚拟人输出多模态数据;接收用户针对所述多模态数据提供的多模态交互数据;解析所述多模态交互数据,其中:通过视觉能力检测并提取所述多模态交互数据中的手部握拳动作和同时出现的与手部配合的肢体动作,并将其与交互上下文环境进行结合以识别出交互意图;通过所述虚拟人按照所述交互意图进行多模态交互输出。2.如权利要求1所述的基于虚拟人的视觉交互方法,其特征在于,在判断周期内,如果所提取的用户的手部动作与预先保存的握拳信息相似度大于第一阈值,则识别所述手部动作作为手部握拳动作。3.如权利要求2所述的基于虚拟人的视觉交互方法,其特征在于,当同时出现的与手部配合的肢体动作还包括所述用户一个手臂或两个手臂位于身体上半部,并立于胸前时,则判断所述多模态交互数据中的手部握拳动作为用户当前的交互意图。4.如权利要求2或3所述的基于虚拟人的视觉交互方法,其特征在于,基于所述虚拟人已经输出的多模态数据将所述交互意图识别为鼓励意图,其中,所述鼓励意图表示用户对所述虚拟人输出的多模态数据的认可并鼓励。5.如权利要求1-4中任一项所述的基于虚拟人的视觉交互方法,其特征在于,所述虚拟人接收来自多个用户的针对所述多模态数据提供的多模态交互数据,识别出所述多个用户中的主要用户,并对所述主要用户的手部握拳动作以及与手部配合的肢体动作进行检测;或,采集当前全部或部分用户的手部握拳动作以及与手部配合的肢体动作,按照预设的用户采集比例确定被采集用户的交互意...
【专利技术属性】
技术研发人员:尚小维,李晓丹,俞志晨,
申请(专利权)人:北京光年无限科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。