无人设备的多模态交互方法、系统及计算机可读介质技术方案

本发明专利技术提供了一种无人设备的多模态交互方法、系统及计算机可读介质，其中方法包括：获取无人设备当前交互任务对应的行为树，行为树包括多个条件节点，每个条件节点上部署不同模态的交互指令；以行为树的首个控制节点为根节点，从根节点开始对行为树进行遍历；当遍历到其中一个条件节点时，识别条件节点对应的交互指令，根据识别结果驱动动作节点对应的无人设备进行相应的动作。本发明专利技术可以有效地解决多模态交互过程中交互策略不灵活、交互方法不够智能化以及交互信息融合冗余较大的问题。能化以及交互信息融合冗余较大的问题。能化以及交互信息融合冗余较大的问题。

【技术实现步骤摘要】
无人设备的多模态交互方法、系统及计算机可读介质


[0001]本专利技术主要涉及人机交互领域，尤其涉及一种无人设备的多模态交互方法、系统及计算机可读介质。

技术介绍

[0002]随着交互技术日趋成熟，越来越多种模态交互方式被应用于电子设备。
[0003]CN 115062131A公开了一种多模态的人机交互方法及装置，通过在终端收集用户输入的多模态信息，包括视频信息、语音信息和触屏事件信息，分别对用户输入指令和输入自然语言进行融合处理后输出回应内容。该方法通过对多模态信息进行融合的方法提高了人机交互性能，但是对于一些输入指令和输入自然语言复杂的场景对自然指令处理器和自然语言处理器的性能要求比较高，存在交互方法不够智能化以及交互信息融合冗余较大的问题。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种无人设备的多模态交互方法、系统及计算机可读介质，解决现有交互方法不够智能化以及交互信息融合冗余较大的问题。
[0005]为解决上述技术问题，本专利技术提供了一种无人设备的多模态交互方法，包括：获取无人设备当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人设备的多模态交互方法，其特征在于，包括：获取无人设备当前交互任务对应的行为树，所述行为树包括多个条件节点，每个条件节点上部署不同模态的交互指令；以所述行为树的首个控制节点为根节点，从根节点开始对所述行为树进行遍历；当遍历到其中一个条件节点时，识别所述条件节点对应的交互指令，根据识别结果驱动动作节点对应的无人设备进行相应的动作。2.如权利要求1所述的方法，其特征在于，所述交互指令包括手势交互指令、脑机交互指令或唇语交互指令。3.如权利要求2所述的方法，其特征在于，所述条件节点对应的模态交互指令为手势交互指令时，识别所述手势交互指令的步骤包括：设计多种手势动作，每种手势动作对应一种无人设备的第一控制指令；获取手部动作的IMU数据；将所述IMU数据输入手势检测模型，判断所述手部动作是否为手势动作，如果是，则通过手势识别模型进一步判断具体的手势动作类别。4.如权利要求3所述的方法，其特征在于，根据识别结果驱动动作节点对应的无人设备进行相应的动作包括：将所述手势动作类别映射成无人设备的第一控制指令，将所述第一控制指令发送给无人设备，所述第一控制指令属于大幅度低精度运动指令系列。5.如权利要求3所述的方法，其特征在于，将所述IMU数据输入手势检测模型包括：对所述IMU数据进行在线解析和转换，获得IMU十进制数据；从所述IMU十进制数据中提取有效的活动段数据；对所述活动段数据进行特征提取，将提取的特征输入手势检测模型。6.如权利要求2所述的方法，其特征在于，所述条件节点对应的模态交互指令为脑机交互指令时，识别所述脑机交互指令的步骤包括：设计多种脑电信号诱发范式，每种脑电信号诱发范式对应一种无人设备的第二控制指令；实时采集所述脑电信号诱发范式触发的脑电信号数据；对所述脑电信号数据进行滤波、降采样处理，得到第一脑电信号数据；利用典型相关分析算法对所述第一脑电信号数据进行分类，得到脑电信号诱发范式类别。7.如权利要求6所述的方法，其特征在于，利用典型相关分析算法对所述第一脑电信号数据进行分类的步骤包括：根据所述脑电信号诱发范式构造对应的脑电模板信号；利用所述典型相关分析算法计算所述第一脑电信号数据与所述脑电模板信号的相关系数，最大相关系数所对应的脑电模板信号即为目标信号，根据所述目标信号...

【专利技术属性】
技术研发人员：金晶，陆聪，徐瑞甜，
申请(专利权)人：华东理工大学深圳研究院，
类型：发明
国别省市：