无人设备的多模态交互方法、系统及计算机可读介质技术方案

本发明专利技术提供了一种无人设备的多模态交互方法、系统及计算机可读介质，其中方法包括：获取无人设备当前交互任务对应的行为树，行为树包括多个条件节点，每个条件节点上部署不同模态的交互指令；以行为树的首个控制节点为根节点，从根节点开始对行为树进行遍历；当遍历到其中一个条件节点时，识别条件节点对应的交互指令，根据识别结果驱动动作节点对应的无人设备进行相应的动作。本发明专利技术可以有效地解决多模态交互过程中交互策略不灵活、交互方法不够智能化以及交互信息融合冗余较大的问题。能化以及交互信息融合冗余较大的问题。能化以及交互信息融合冗余较大的问题。

【技术实现步骤摘要】
无人设备的多模态交互方法、系统及计算机可读介质


[0001]本专利技术主要涉及人机交互领域，尤其涉及一种无人设备的多模态交互方法、系统及计算机可读介质。

技术介绍

[0002]随着交互技术日趋成熟，越来越多种模态交互方式被应用于电子设备。
[0003]CN 115062131A公开了一种多模态的人机交互方法及装置，通过在终端收集用户输入的多模态信息，包括视频信息、语音信息和触屏事件信息，分别对用户输入指令和输入自然语言进行融合处理后输出回应内容。该方法通过对多模态信息进行融合的方法提高了人机交互性能，但是对于一些输入指令和输入自然语言复杂的场景对自然指令处理器和自然语言处理器的性能要求比较高，存在交互方法不够智能化以及交互信息融合冗余较大的问题。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种无人设备的多模态交互方法、系统及计算机可读介质，解决现有交互方法不够智能化以及交互信息融合冗余较大的问题。
[0005]为解决上述技术问题，本专利技术提供了一种无人设备的多模态交互方法，包括：获取无人设备当前交互任务对应的行为树，所述行为树包括多个条件节点，每个条件节点上部署不同模态的交互指令；以所述行为树的首个控制节点为根节点，从根节点开始对所述行为树进行遍历；当遍历到其中一个条件节点时，识别所述条件节点对应的交互指令，根据识别结果驱动动作节点对应的无人设备进行相应的动作。
[0006]可选地，所述交互指令包括手势交互指令、脑机交互指令或唇语交互指令。
[0007]可选地，所述条件节点对应的模态交互指令为手势交互指令时，识别所述手势交互指令的步骤包括：设计多种手势动作，每种手势动作对应一种无人设备的第一控制指令；获取手部动作的IMU数据；将所述IMU数据输入手势检测模型，判断所述手部动作是否为手势动作，如果是，则通过手势识别模型进一步判断具体的手势动作类别。
[0008]可选地，将所述IMU数据输入手势检测模型包括：对所述IMU数据进行在线解析和转换，获得IMU十进制数据；从所述IMU十进制数据中提取有效的活动段数据；对所述活动段数据进行特征提取，将提取的特征输入手势检测模型。
[0009]可选地，根据识别结果驱动动作节点对应的无人设备进行相应的动作包括：将所述手势动作类别映射成无人设备的第一控制指令，将所述第一控制指令发送给无人设备，所述第一控制指令属于大幅度低精度运动指令系列。
[0010]可选地，所述条件节点对应的模态交互指令为脑机交互指令时，识别所述脑机交互指令的步骤包括：设计多种脑电信号诱发范式，每种脑电信号诱发范式对应一种无人设备的第二控制指令；实时采集所述脑电信号诱发范式触发的脑电信号数据；对所述脑电信号数据进行滤波、降采样处理，得到第一脑电信号数据；利用典型相关分析算法对所述第一
脑电信号数据进行分类，得到脑电信号诱发范式类别。
[0011]可选地，利用典型相关分析算法对所述第一脑电信号数据进行分类的步骤包括：根据所述脑电信号诱发范式构造对应的脑电模板信号；利用所述典型相关分析算法计算所述第一脑电信号数据与所述脑电模板信号的相关系数，最大相关系数所对应的脑电模板信号即为目标信号，根据所述目标信号得到脑电信号诱发范式类别。
[0012]可选地，根据识别结果驱动动作节点对应的无人设备进行相应的动作包括：将所述脑电信号诱发范式类别映射成无人设备的第二控制指令，将所述第二控制指令发送给无人设备，所述第二控制指令属于平稳快速运动指令系列。
[0013]可选地，所述条件节点对应的模态交互指令为唇语交互指令时，识别所述唇语交互指令的步骤包括：设计多种文本指令，每种文本指令对应一种无人设备的第三控制指令；实时采集用户的唇部图像序列数据；对所述唇部图像序列数据进行分帧和滤波处理，得到第一唇部图像序列数据；对所述第一唇部图像序列数据进行特征提取，利用softmax分类器对提取的特征进行分类，得到文本指令类别。
[0014]可选地，根据识别结果驱动动作节点对应的无人设备进行相应的动作包括：将所述文本指令类别映射成无人设备的第三控制指令，将所述第三控制指令发送给无人设备，所述第三控制指令属于精确低速运动指令系列。
[0015]为解决上述技术问题，本专利技术提供了一种无人设备的多模态交互系统，包括：无人设备；交互管理模块，配置为获取无人设备当前交互任务对应的行为树，所述行为树包括多个条件节点，每个条件节点上部署不同模态的交互指令，以所述行为树的首个控制节点为根节点，从根节点开始对所述行为树进行遍历，当遍历到其中一个条件节点时向多模态交互设备发送判断请求；多模态交互设备，配置为收到所述判断请求后，识别所述条件节点对应的交互指令，根据识别结果驱动动作节点对应的无人设备进行相应的动作。
[0016]可选地，所述交互管理模块包括：客户单元，配置为当行为树遍历到其中一个条件节点时，接收所述条件节点发送的函数调用并向服务单元发布目标任务；服务单元，配置为接收所述目标任务，向所述多模态交互设备发送判断请求，接收所述多模态交互设备反馈的控制指令，将所述控制指令发送给所述无人设备。
[0017]可选地，所述多模态交互设备包括IMU数据手套、脑电信号采集设备或增强现实头盔。
[0018]为解决上述技术问题，本专利技术提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。
[0019]与现有技术相比，本专利技术具有以下优点：
[0020]本专利技术提出一种基于行为树的多模态交互方法和系统，利用行为树的触发机制开始进行遍历，并根据不同的节点类型执行不同的遍历方式，根据实际的应用需求在相应的条件节点上部署不同模态的交互指令，当遍历到条件节点时，会根据当前模态的识别结果，驱动动作节点对应的无人设备进行相应的动作。本专利技术可以有效地解决多模态交互过程中交互策略不灵活、交互方法不够智能化以及交互信息融合冗余较大的问题。
附图说明
[0021]包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，
附图示出了本申请的实施例，并与本说明书一起起到解释本专利技术原理的作用。附图中：
[0022]图1是本专利技术一实施的无人设备的多模态交互方法的流程图；
[0023]图2是本专利技术一实施例的无追踪目标时对应的行为树的示意图；
[0024]图3是本专利技术一实施例的手势交互方法的流程图；
[0025]图4是本专利技术一实施例的脑电交互方法的流程图；
[0026]图5是本专利技术一实施例的唇语交互方法的流程图；
[0027]图6是本专利技术一实施例的有追踪目标时对应的行为树的示意图；
[0028]图7是本专利技术一实施的无人设备的多模态交互系统的系统框图。
具体实施方式
[0029]为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人设备的多模态交互方法，其特征在于，包括：获取无人设备当前交互任务对应的行为树，所述行为树包括多个条件节点，每个条件节点上部署不同模态的交互指令；以所述行为树的首个控制节点为根节点，从根节点开始对所述行为树进行遍历；当遍历到其中一个条件节点时，识别所述条件节点对应的交互指令，根据识别结果驱动动作节点对应的无人设备进行相应的动作。2.如权利要求1所述的方法，其特征在于，所述交互指令包括手势交互指令、脑机交互指令或唇语交互指令。3.如权利要求2所述的方法，其特征在于，所述条件节点对应的模态交互指令为手势交互指令时，识别所述手势交互指令的步骤包括：设计多种手势动作，每种手势动作对应一种无人设备的第一控制指令；获取手部动作的IMU数据；将所述IMU数据输入手势检测模型，判断所述手部动作是否为手势动作，如果是，则通过手势识别模型进一步判断具体的手势动作类别。4.如权利要求3所述的方法，其特征在于，根据识别结果驱动动作节点对应的无人设备进行相应的动作包括：将所述手势动作类别映射成无人设备的第一控制指令，将所述第一控制指令发送给无人设备，所述第一控制指令属于大幅度低精度运动指令系列。5.如权利要求3所述的方法，其特征在于，将所述IMU数据输入手势检测模型包括：对所述IMU数据进行在线解析和转换，获得IMU十进制数据；从所述IMU十进制数据中提取有效的活动段数据；对所述活动段数据进行特征提取，将提取的特征输入手势检测模型。6.如权利要求2所述的方法，其特征在于，所述条件节点对应的模态交互指令为脑机交互指令时，识别所述脑机交互指令的步骤包括：设计多种脑电信号诱发范式，每种脑电信号诱发范式对应一种无人设备的第二控制指令；实时采集所述脑电信号诱发范式触发的脑电信号数据；对所述脑电信号数据进行滤波、降采样处理，得到第一脑电信号数据；利用典型相关分析算法对所述第一脑电信号数据进行分类，得到脑电信号诱发范式类别。7.如权利要求6所述的方法，其特征在于，利用典型相关分析算法对所述第一脑电信号数据进行分类的步骤包括：根据所述脑电信号诱发范式构造对应的脑电模板信号；利用所述典型相关分析算法计算所述第一脑电信号数据与所述脑电模板信号的相关系数，最大相关系数所对应的脑电模板信号即为目标信号，根据所述目标信号...

【专利技术属性】
技术研发人员：金晶，陆聪，徐瑞甜，
申请(专利权)人：华东理工大学深圳研究院，
类型：发明
国别省市：