【技术实现步骤摘要】
本专利技术涉及计算机，具体涉及一种基于虚拟人物的多模态指令交互方法、系统、计算设备及存储介质。
技术介绍
1、近年来，随着深度学习、知识图谱等人工智能的快速发展，xr领域的人机交互技术正迎来新的突破机遇。一些企业纷纷布局xr交互新方案，这些方案集成了先进的计算机视觉、自然语言理解、知识推理等ai技术，初步实现了多通道、多模态的交互融合,为用户带来更加沉浸和智能的体验,虽然独立的语音或手势控制系统已相对成熟,但这些方案往往忽略了人类沟通中非言语手势和语音指令的协同作用。在多模态交互环境，特别是虚拟现实(vr)、增强现实(ar)和混合现实(mr)等应用中，单一的交互方式难以提供自然、高效的用户体验。因此需要一种能够理解和处理结合语音与手势的指令交互系统。在虚拟和虚拟加现实环境中，自然和高效的人机交互对于用户体验至关重要，用户在这些沉浸式环境中需要能够直观且迅速地与虚拟物体和界面进行交互，以实现真正的沉浸感和操作便利性。
2、现有的单一交互方式的局限在于只支持单一的语音或手势控制，这种方式存在诸多局限性。单一交互模式往往无法满足复...
【技术保护点】
1.一种多模态指令交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态指令交互方法，其特征在于，所述获取用户姿态数据，并对姿态数据进行识别，获取姿态数据对应的第一操作指令的步骤包括：
3.根据权利要求1所述的多模态指令交互方法，其特征在于，所述获取用户的语音数据，并对语音数据进行识别获取用户的意图数据，根据所述意图数据获取对应的第二操作指令的步骤包括：
4.根据权利要求1所述的多模态指令交互方法，其特征在于，所述获取用户姿态数据，并对姿态数据进行识别，获取姿态数据对应的第一操作指令的步骤包括：
5.根据权...
【技术特征摘要】
1.一种多模态指令交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多模态指令交互方法，其特征在于，所述获取用户姿态数据，并对姿态数据进行识别，获取姿态数据对应的第一操作指令的步骤包括：
3.根据权利要求1所述的多模态指令交互方法，其特征在于，所述获取用户的语音数据，并对语音数据进行识别获取用户的意图数据，根据所述意图数据获取对应的第二操作指令的步骤包括：
4.根据权利要求1所述的多模态指令交互方法，其特征在于，所述获取用户姿态数据，并对姿态数据进行识别，获取姿态数据对应的第一操作指令的步骤包括：
5.根据权利要求2所述的多模态指令交互方法，其特征在于，所述识别出对应的手势指令的步骤后还包括：
6.根据权利要求5所述的多模态指令交互方法，其特征在于，所述方法还包括：
7.一种多模态指令交互系统，其特征在于，所述系统包括：
8.根据权利要求7所述的多模态指令交互系...
【专利技术属性】
技术研发人员：董鑫鑫，杨柳，张邦禹，范小林，
申请(专利权)人：深圳元想视界科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。