【技术实现步骤摘要】
本专利技术属于人机交互，具体涉及一种基于ar-bci的多人协同打击方法及系统。
技术介绍
1、脑机接口(brain computer interface，bci)通过采集和解析大脑生物电信号，使人直接通过大脑来表达思想或操纵外部设备，而不通过人的肢体动作或者语言，其为人的大脑与外部设备的有效交互提供了新的途径，因此已被成功用于帮助运动残疾患者操控设备，比如家用电器、轮椅等，提高患者的生活质量。
2、目前bci系统在实际应用中还不够成熟，其主要原因在于bci系统在完成任务中也只能一个人参与，无法做到多用户协同使用。而且bci系统的设计与实现过程非常复杂与繁琐，对程序人员代码设计以及实现能力要求较高。但是当bci系统新增一个人员参与时，就需要对bci系统重新进行任务模块设计以及编写代码，设计与实现的过程非常繁琐且耗时，这对程序开发人员非常不友好，且极大地限制了bci的应用。
3、综上所述，已有的bci系统控制任务单一，人员限制较大，灵活性不够，且无论是bci实验范式的设计，还是bci的任务控制设计需要重新编写代码，过程极其繁琐，迫切需要研发一款友好灵活的bci多人系统。
技术实现思路
1、为了解决上述问题，本专利技术的实施例提出一种基于ar-bci的多人协同打击方法及系统。
2、本专利技术的基于ar-bci的多人协同打击系统，包括：多任务设计模块，所述多任务设计模块提供第一交互界面，用户通过第一交互界面能够查看系统信息以及各种控制按钮；所述多任务设计
3、在一些实施例中，所述图像采集模块与hololens头盔连接，收集hololens头盔中的深度图像和彩色图像，并将图像信息通过通信协议发送给图像处理模块；
4、所述图像处理模块将深度图像和彩色图像进行融合，并将融合后的图像进行目标检测，然后将得到的融合图像的坐标信息和检测信息发送给信息决策模块。
5、在一些实施例中，所述信息决策模块根据收到的目标的坐标信息和检测信息，得出系统决策结果，通过通信协议将目标的坐标信息和系统决策结果发送给显示和闪烁模块。
6、在一些实施例中，所述显示与闪烁模块将得到的坐标信息和决策结果显示给各参与人员，各参与人员选择是否同意系统决策，同时脑电数据会通过通信协议将参与人员的选择结果传输到脑电信号处理模块。
7、在一些实施例中，所述脑电信号处理模块用于对参与人员选择的脑电信号进行分析，并将分析结果通过通信协议回传给显示与闪烁模块或指令执行模块；
8、所述指令执行模块根据决策结果分别控制相应的参与人员或机器对相应的目标进行打击。
9、本专利技术的基于ar-bci的多人协同打击方法，所述方法应用于上述所述的基于ar-bci的多人协同打击系统，所述方法，包括以下步骤：
10、s1、系统初始化：启动hololens深度相机和彩色相机；
11、s2、对目标进行识别：获取目标的世界坐标信息和目标检测信息；
12、s3、决策模块：将目标的世界坐标信息和目标检测信息传送给决策模块，系统根据相应的信息分配打击策略；参与人员根据决策模块显示的分配策略，判断是否同意系统决策；若不同意分配，则系统进行自行分配流程；
13、s4、控制打击：指令执行模块接收到分配打击指令，各人员进行相应的目标打击任务。
14、在一些实施例中，所述步骤s2中对目标进行识别是指，由图像采集模块中hololens头盔的深度相机和彩色相机获取目标的深度图像和彩色图像，再由图像处理模块将获得的深度图像和彩色图像进行融合，得到相对应的世界坐标信息，并将融合后的图像送入yolo算法中进行目标检测，获得目标检测信息。
15、在一些实施例中，所述步骤s3中决策模块获得目标的世界坐标信息和目标检测信息后，根据系统已存储的信息，获得目标的种类、攻击力和攻击距离，并分析出系统打击策略，将打击策略通过通信协议传输给显示与闪烁模块。
16、在一些实施例中，所述步骤s3中参与人员根据决策模块显示的分配策略判断是否同意分配，如果同意，则指令执行模块接收到系统分配的打击指令，各人员进行相应的目标打击任务，流程结束，如果不同意，则进入自行分配流程。
17、在一些实施例中，于，所述步骤s3中自行分配流程是指，各人员注视想要打击的目标做出选择，信息决策模块依据选择结果，将目标相应的坐标信息和决策信息传输给显示与闪烁模块，直至自行分配结束。
18、本专利技术的有益效果是：
19、1.本专利技术能够双人甚至多人协同工作，突破了现有脑机借口的单人模式。
20、2.本专利技术将虚拟现实和bci结合，提供了一种真正的基于三维空间使用脑机接口的方法。
21、3.本专利技术将脑机接口技术应用到军事模拟打击中，为脑机接口在现在军事战争中的应用提供了思路。
22、4.本专利技术支持传统的p300处理方法lda进行数据处理，算法复杂度低，稳定性好且易实现，对硬件要求也不高。
23、5.本专利技术支持神经网络模型sep-cnn进行数据分类识别，速度快，正确率高。
24、6.本专利技术提供了脑机接口在特殊环境，不便交流情况下的使用方法，伴随着人类面临环境逐步的复杂化和多样化，本专利技术可成为特殊静默环境下的有力的交流方式。
本文档来自技高网...【技术保护点】
1.一种基于AR-BCI的多人协同打击系统，其特征在于，包括：多任务设计模块，所述多任务设计模块提供第一交互界面，用户通过第一交互界面能够查看系统信息以及各种控制按钮；所述多任务设计模块包括：图像采集模块、图像处理模块、信息决策模块、显示与闪烁模块、脑电信号处理模块和指令执行模块。
2.根据权利要求1所述的基于AR-BCI的多人协同打击系统，其特征在于，所述图像采集模块与HoloLens头盔连接，用于收集HoloLens头盔中的深度图像和彩色图像，并将图像信息通过通信协议发送给图像处理模块；
3.根据权利要求2所述的基于AR-BCI的多人协同打击系统，其特征在于，所述信息决策模块根据收到的目标的坐标信息和检测信息，得出系统决策结果，通过通信协议将目标的坐标信息和系统决策结果发送给显示和闪烁模块。
4.根据权利要求3所述的基于AR-BCI的多人协同打击系统，其特征在于，所述显示与闪烁模块将得到的坐标信息和决策结果显示给各参与人员，各参与人员选择是否同意系统决策，同时脑电数据会通过通信协议将参与人员的选择结果传输到脑电信号处理模块。
5
6.一种基于AR-BCI的多人协同打击方法，其特征在于，所述方法应用于权利要求1-5任意一项所述的基于AR-BCI的多人协同打击系统，所述方法，包括以下步骤：
7.根据权利要求6所述的基于AR-BCI的多人协同打击方法，其特征在于，所述步骤S2中对目标进行识别是指，由图像采集模块中HoloLens头盔的深度相机和彩色相机获取目标的深度图像和彩色图像，再由图像处理模块将获得的深度图像和彩色图像进行融合，得到相对应的世界坐标信息，并将融合后的图像送入YOLO算法中进行目标检测，获得目标检测信息。
8.根据权利要求6所述的基于AR-BCI的多人协同打击方法，其特征在于，所述步骤S3中决策模块获得目标的世界坐标信息和目标检测信息后，根据系统已存储的信息，获得目标的种类、攻击力和攻击距离，并分析出系统打击策略，将系统打击策略通过通信协议传输给显示与闪烁模块。
9.根据权利要求8所述的基于AR-BCI的多人协同打击方法，其特征在于，所述步骤S3中参与人员根据决策模块显示的系统打击策略判断是否同意分配，如果同意，则指令执行模块接收到系统分配的打击指令，各人员进行相应的目标打击任务，流程结束，如果不同意，则进入自行分配流程。
10.根据权利要求9所述的基于AR-BCI的多人协同打击方法，其特征在于，所述步骤S3中自行分配流程是指，各人员注视想要打击的目标做出选择，信息决策模块依据选择结果，将目标相应的坐标信息和决策信息传输给显示与闪烁模块，直至自行分配结束。
...【技术特征摘要】
1.一种基于ar-bci的多人协同打击系统，其特征在于，包括：多任务设计模块，所述多任务设计模块提供第一交互界面，用户通过第一交互界面能够查看系统信息以及各种控制按钮；所述多任务设计模块包括：图像采集模块、图像处理模块、信息决策模块、显示与闪烁模块、脑电信号处理模块和指令执行模块。
2.根据权利要求1所述的基于ar-bci的多人协同打击系统，其特征在于，所述图像采集模块与hololens头盔连接，用于收集hololens头盔中的深度图像和彩色图像，并将图像信息通过通信协议发送给图像处理模块；
3.根据权利要求2所述的基于ar-bci的多人协同打击系统，其特征在于，所述信息决策模块根据收到的目标的坐标信息和检测信息，得出系统决策结果，通过通信协议将目标的坐标信息和系统决策结果发送给显示和闪烁模块。
4.根据权利要求3所述的基于ar-bci的多人协同打击系统，其特征在于，所述显示与闪烁模块将得到的坐标信息和决策结果显示给各参与人员，各参与人员选择是否同意系统决策，同时脑电数据会通过通信协议将参与人员的选择结果传输到脑电信号处理模块。
5.根据权利要求4所述的基于ar-bci的多人协同打击系统，其特征在于，所述脑电信号处理模块用于对参与人员选择的脑电信号进行分析，并将分析结果通过通信协议回传给显示与闪烁模块或指令执行模块；
6.一种基于ar-bci的多人协同打击方法，其特征在于，所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。