基于多模态交互接口的多机器人连通性控制系统及方法技术方案

本发明专利技术公开了基于多模态交互接口的多机器人连通性控制系统及方法，该系统包括：交互接口模块、通信模块和多机器人协同控制模块；涉及的方法包括：操作员远程操控人机交互模块实现多模态控制指令的输入，通过通信模块传输控制指令给多机器人协同控制模块，多机器人协同控制模块通过连通性保持算法与一致性算法最终实现机器人班组的协同控制。本发明专利技术通过首先将传感模型、避障约束与队形约束嵌入到一个独特的连接保存动作中。然后通过多模态交互接口实现了（1）领航者的线速度与角速度控制（2）在线改变代数连通性的最小阈值，增强了单个操作操控多机器人系统的能力，并且将操作员的智能决策能力与机器的任务执行能力进行了有效的结合。的结合。的结合。

【技术实现步骤摘要】
基于多模态交互接口的多机器人连通性控制系统及方法


[0001]本专利技术属于人机融合交互、多机器人班组协同控制领域，具体涉及一种人机智能融合的脑机协同控制系统及方法。

技术介绍

[0002]使用一组简单的机器人而不是单个复杂的机器人已被证明在多种应用中非常有效，例如大范围监视、灾区搜索和救援以及广阔区域的探索。因此，在过去的几年中，大量的研究工作致力于协调一组机器人的问题。然而，多机器人通信的连通性保持，作为多智能体网络拓扑控制中最基础和最重要的问题之一，是绝大多数应用于多机器人体系协调控制算法例如一致性控制、群体交汇与聚集、队形保持与变换、协作区域探索与覆盖等实现收敛的必要条件。
[0003]当要执行的任务涉及复杂活动时(例如，在非常混乱、可能未知的环境中导航)，多机器人班组的完全自主还很遥远，人类的干预/协助是必要的。在这种情况下，人类操作员通过本地界面命令远程机器人的远程操作系统可用于开发人类的智能。远程操作一组机器人的问题在机器人社区收到了很多关注。然而，多数的远程控制策略的主要缺点在于依赖多机器人编队的刚性，例如在面对特别混乱的环境时无法自由切换编队拓扑，因而需要探索新的多机器人协调控制方法。同时人类操作员由于多机器人系统高度的灵活性，当前的单模态交互方式往往无法对其进行多自由度的控制，所以急需研究多模态的交互方法对多机器人进行更加灵活的控制。

技术实现思路

[0004]为解决上述问题，本专利技术公开了人机智能融合的脑机协同控制系统及方法，采用融合脑机接口与视线追踪的指令输入方法，将脑电、视线信号作为传统输入模态的有力补充，为操作员提供了额外的指令输入通道，增强了操作员的交互能力。
[0005]为达到上述目的，本专利技术的技术方案如下：
[0006]人机智能融合的脑机协同控制系统，包括交互接口模块、通信模块和机器人协同控制模块；
[0007]所述交互接口模块，包括脑机接口模块、视线追踪模块、融合模块、手控器模块；所述脑机接口模块包括视觉刺激呈现模块、脑电信号采集模块和脑电信号处理模块，视觉刺激呈现模块通过在交互界面上设计以特定频率闪烁的刺激源诱发操作员的大脑皮层产生SSVEP信号，脑电信号采集模块检测操作员产生的SSVEP信号并将其传输至脑电信号处理模块，脑电信号处理模块对SSVEP信号进行识别，得到识别结果并将其发送给融合模块；所述视线追踪模块包括眼动信号采集模块和眼动信号处理模块，眼动信号采集模块通过眼动仪检测操作员在交互界面上的注视点位置并将其传输至眼动信号处理模块，眼动信号处理模块对注视点位置进行识别，得到识别结果并将其发送给融合模块；所述融合模块将脑机接口模块和视线追踪模块的输出结果进行融合，根据融合结果得到目标选择指令，将其映射
为编队连通性指令发送到机器人协同控制模块；手控器模块将手控器末端位置映射为线速度与角速度控制指令发送到机器人协同控制模块来控制领航者运动。
[0008]所述通信模块用于实现交互接口模块与机器人协同控制模块的数据交互；
[0009]所述机器人协同控制模块包括连通性保持模块和自适应控制模块；所述连通性保持模块包括传感模块、避障模块和队形距离模块三个模块，其中传感模块表示特定的机器人间传感/通信模型，队形模块实现机器人之间期望距离的编队控制等团体要求，避障模块实现机器人之间的碰撞避免，连通性保持模块使得机器人班组能够在上述三种约束条件下以灵活的方式进行连接维护；自适应模块实现所有跟随者之间以及跟随者与领航者之间的速度一致。
[0010]所有基于人机智能融合的脑机协同控制方法，包括以下步骤：
[0011]步骤1：操作员通过人机交互界面远程启动机器人班组驱动程序，机器人班组进入待机状态直到接收下一步的运动控制指令；
[0012]步骤2：操作员控制手控器发送连续的线速度与角速度控制指令到机器人协同控制模块，控制领航者的运动。
[0013]步骤3：操作员注视人机交互界面的增大或减小代数连通性的最小阈值的图标，视线追踪模块能够实现对眼球转动、凝视动作的跟踪，实现视线追踪控制，根据视线追踪模块检测操作员在交互界面上的有效注视事件并将其发送给融合模块。
[0014]步骤4：操作员头戴脑电帽，脑电帽采集大脑皮层产生的注视相关电位信号，检测操作员产生的SSVEP信号并将其传输至脑电信号处理模块，脑电信号处理模块对SSVEP信号进行识别，得到识别结果并将其发送给融合模块。
[0015]步骤5：融合模块能够融合脑机接口模块和视线追踪模块的输出结果，根据融合结果得到目标选择指令，将其映射为增大或者减小代数连通性的最小阈值的二类控制指令发送到机器人协同控制模块。
[0016]步骤6：通过TCP通信将融合模块发送的增大或者减小代数连通性的最小阈值的离散控制指令发送到机器人协同控制模块。
[0017]步骤7：机器人协同控制模块接受到控制指令后，通过连通性保持模块实现机器人班组编队分散与紧密的切换并保持机器人班组之间的连接，代表了组的最小连通性程度的度量，越低，群体越分散，反之，越高，群体越紧密。。同时自适应模块实现所有跟随者之间以及跟随者与领航者之间的速度一致。
[0018]进一步地，将大量约束和要求嵌入到一个独特的连通性保存动作中:(1)特定的机器人间传感/通信模型；(2)群体要求，如队形/期望距离控制；以及(3)个别要求，如避障。使得机器人班组能够在有一定约束的条件下以灵活的方式进行连接维护，从而允许在保持全局连接的情况下随时建立/删除交互链接。
[0019]进一步地，所述机器人协同控制模块包括连通性保持模块和自适应模块，连通性保持模块采用基于图论的连通性保持算法保证机器人班组的连接，自适应模块采用一致性算法实现所有跟随者之间以及跟随者与领航者之间的速度一致，两者共同实现机器人班组的自主协同控制。
[0020]进一步地，机器人班组在通过连通性保持模块和自适应模块进行多机器人自主协
同控制的同时，人类可对多机器人班组进行干预/协助。用户通过多模态交互接口实现了(1)手控器对领航者的线速度与角速度控制(2)融合模块发送编队连通性指令在线改变代数连通性的最小阈值使多机器人班组自行完成编队分散与紧密的切换，代表了组的最小连通性程度的度量，越低，群体越分散，反之，越高，群体越紧密。使用户可以更好控制机器人班组的行为，将操作员的智能决策能力与机器的任务执行能力进行了有效的结合。
[0021]本专利技术的有益效果是：
[0022](1)本专利技术采用融合脑机接口与视线追踪的指令输入方法，将脑电、视线信号作为传统输入模态的有力补充，为操作员提供了额外的指令输入通道，增强了操作员的交互能力；
[0023](2)将感知约束、期望距离约束与避障约束嵌入到一个独特的连通性保持动作中，使得机器人班组能够在有一定约束的条件下以灵活的方式进行连接维护；
[0024](3)机器人班组在通过连通性保持模块和自适应模块进行机器人自主协同控制的同时，人类可对机器人班组进行干预/协助。用户通过多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态交互接口的多机器人连通性控制系统，其特征在于：包括交互接口模块、通信模块和多机器人协同控制模块；所述多机器人协同控制模块包括连通性保持模块和自适应模块，连通性保持模块采用基于图论的连通性保持算法保证机器人班组的连接，自适应模块采用一致性算法实现所有跟随者之间以及跟随者与领航者之间的速度一致，两者共同实现多机器人班组的自主协同控制。2.根据权利要求1所述的基于多模态交互接口的多机器人连通性控制系统，其特征在于：所述交互接口模块，包括脑机接口模块、视线追踪模块、融合模块、手控器模块；所述脑机接口模块包括视觉刺激呈现模块、脑电信号采集模块和脑电信号处理模块，视觉刺激呈现模块通过在交互界面上设计以特定频率闪烁的刺激源诱发操作员的大脑皮层产生SSVEP信号，脑电信号采集模块检测操作员产生的SSVEP信号并将其传输至脑电信号处理模块，脑电信号处理模块对SSVEP信号进行识别，得到识别结果并将其发送给融合模块；视线追踪模块包括眼动信号采集模块和眼动信号处理模块，眼动信号采集模块通过眼动仪检测操作员在交互界面上的注视点位置并将其传输至眼动信号处理模块，眼动信号处理模块对注视点位置进行识别，得到识别结果并将其发送给融合模块；融合模块将脑机接口模块和视线追踪模块的输出结果进行融合，根据融合结果得到目标选择指令，将其映射为编队连通性指令发送到多机器人协同控制模块；手控器模块将手控器末端位置映射为线速度与角速度控制指令发送到多机器人协同控制模块来控制领航者运动。3.根据权利要求1所述基于多模态交互接口的多机器人连通性控制系统，其特征在于：所述通信模块用于实现交互接口模块与多机器人协同控制模块的数据交互。4.根据权利要求1所述基于多模态交互接口的多机器人连通性控制系统，其特征在于：所述多机器人协同控制模块包括连通性保持模块和自适应控制模块；所述连通性保持模块包括传感模块、避障模块和队形距离模块三个模块，其中传感模块表示特定的机器人间传感/通信模型，队形模块实现机器人之间期望距离的编队控制，避障模块实现机器人之间的碰撞避免，连通性保持模块使得机器人班组能够在传感距离约束、队形距离约束和避障约束三种约束条件下以灵活的方式进行连接维护；自适应模块实现所有跟随者之间以及跟随者与领航者之间的速度一致。5.根据权利要求1所述基于多模态交互接口的多机器人连通性控制系统，其特征在于：将以下三个约束...

【专利技术属性】
技术研发人员：曾洪，翟佳佳，孙燈峰，徐晓英，宋爱国，
申请(专利权)人：东南大学，
类型：发明
国别省市：