基于脑机接口的无人机控制与广域目标检测系统及方法技术方案

本发明专利技术提供了一种基于脑机接口的无人机控制与广域目标检测系统及方法，该系统包括：无人机本体、AR刺激器、脑电采集器、数据接收器、中央控制器及处理端，所述AR刺激器佩戴在用户的眼部，所述脑电采集器佩戴在用户的头部，所述脑电采集器连接数据接收器，所述数据接收器连接处理端及AR刺激器，所述AR刺激器和处理端连接中央控制器，所述中央控制器用于负责整个系统的控制，所述无人机本体上设置有图像采集装置，所述图像采集装置及无人机本体连接中央控制器，所述处理端用于对脑电数据进行处理。本发明专利技术提供的基于脑机接口的无人机控制与广域目标检测系统及方法，能够使用户通过脑电波直接给无人机下达控制指令，提高了灵活性。性。性。

【技术实现步骤摘要】
基于脑机接口的无人机控制与广域目标检测系统及方法


[0001]本专利技术涉及无人机
，特别是涉及一种基于脑机接口的无人机控制与广域目标检测系统及方法。

技术介绍

[0002]随着认知神经科学、信息科学和工程技术的发展和整合，脑机接口(BCI)技术已进入快速发展的新阶段。大脑和计算机之间的联系越来越紧密，它们之间的信息交换已经从感觉和感知发展到认知，导致无缝连接和认知协作，人类智能和人工智能的深度集成显示了BCI未来发展的新趋势。
[0003]在无人机遥感技术体系中，目前主要采用遥控控制台的方式，然而这些无人机控制方式都依赖于使用者双手操作。但在很多场景下，在执行多任务时如果指挥者双手被占用，则无法兼顾无人机控制。脑机接口技术的发展为该问题提供了有效的解决方案。因此，设计一种基于脑机接口的无人机控制与广域目标检测系统及方法是十分有必要的。

技术实现思路

[0004]本专利技术的目的是提供一种基于脑机接口的无人机控制与广域目标检测系统及方法，能够使用户通过脑电波直接给无人机下达控制指令，解放了用户的双手，提高了灵活性、实用性及用户操作的舒适性。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于脑机接口的无人机控制与广域目标检测系统，包括：无人机本体、AR刺激器、脑电采集器、数据接收器、中央控制器及处理端，所述AR刺激器佩戴在用户的眼部，用于对用户进行视觉刺激，所述脑电采集器佩戴在用户的头部，用于采集脑电数据，所述脑电采集器连接所述数据接收器，所述数据接收器连接所述处理端及AR刺激器，所述AR刺激器和所述处理端连接所述中央控制器，所述中央控制器用于负责整个系统的控制，所述无人机本体上设置有图像采集装置，所述图像采集装置及无人机本体连接所述中央控制器，所述处理端用于对脑电数据进行处理。
[0007]可选的，所述数据接收器与所述处理端之间通过数据堆栈池进行异步隔离，用于保证处理端灵活读取及处理数据，所述AR刺激器与处理端之间通过消息队列栈进行异步隔离，用于提升稳定性，所述数据接收器与所述AR刺激器之间通过并口trigger发生的方式进行时钟同步。
[0008]本专利技术还提供了一种基于脑机接口的无人机控制与广域目标检测方法，应用于上述的基于脑机接口的无人机控制与广域目标检测系统，包括如下步骤：
[0009]步骤1：根据SSVEP刺激模型在AR刺激器中建立人机交互界面，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，其中飞行模式包括指令飞控模式及航点飞控模式，选择完毕后，通过AR刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行；
[0010]步骤2：飞行过程中，无人机本体上设置的图像采集装置实时采集图像，并对图像
进行处理，发送至AR刺激器，通过快速序列视觉呈现方法对图像进行识别，判断是否为目标图像。
[0011]可选的，步骤1中，根据SSVEP刺激模型在AR刺激器中建立人机交互界面，具体为：
[0012]建立SSVEP刺激模型，根据SSVEP刺激模型在AR刺激器中建立人机交互界面，其中，人机交互界面包括AR刺激交互主界面、指令飞控界面及航点飞控界面，所述AR刺激交互主界面包括指令飞控、航点飞行、降落初始点及就近降落选项，所述指令飞控界面包括起飞、上升、下降、前进、后退、左转、右转、左飞、右飞及返回主界面选项，所述航点飞控界面包括航点飞行主界面、一级目录界面及二级目录界面，所述航点飞行主界面包括规划航线、清除航点、开始飞行及返回主界面选项，所述一级目录界面设置有一级区域地图、编号键盘、删除及完成选项，其中一级区域地图均分为9个子图，分别对应编号键盘的1至9编号选项，所述二级目录界面设置有二级区域地图、编号键盘及撤销选项，其中，二级区域地图为一级区域地图的子图，所述二级区域地图均分为9个子图，分别对应编号键盘的1至9编号选项。
[0013]可选的，步骤1中，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，具体为：
[0014]用户根据航线将注意力集中到指令飞控或航点飞行选项上，选择指令飞控模块或航点飞行模式，将注意力集中到降落初始点或就近降落的选项，控制无人机本体返回起飞点降落或原地垂直降落。
[0015]可选的，步骤1中，选择完毕后，通过AR刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行，具体为：
[0016]选择指令飞控模式，进入指令飞控界面，指令飞控界面的起飞、上升、下降、前进、后退、左转、右转、左飞、右飞及返回主界面选项以不同频率闪烁，用户根据视野目标判断，将注意力集中到指令飞控界面的各选项上，脑电采集器根据SSVEP相应信号识别用户的操作意图，中央控制器控制无人机本体做出相应的动作，用户的每次操作都会使无人机本体执行预设的距离及角度，进而控制无人机本体的飞行姿态；
[0017]选择航点飞控模式，进入航点飞行主界面，选择规划航线的选项进入一级目录界面，通过编号键盘的1
‑
9编号选项选择与其对应的一级区域地图的子图，进入二级目录界面，通过编号键盘的1
‑
9编号选项选择与其相对应得二级区域地图的子图，进行航点的选取，其中，二级目录界面的撤销选项用于撤销上一步的选择，一级目录界面的删除选项用于删除上一个选择的航点，当所有航点均选择完成时，通过选择一级目录界面的完成选项完成航点的规划，返回航点飞行主界面，航点飞行主界面的清除航点选项用于清除所有航点，返回主界面选项用于返回AR刺激交互主界面，开始飞行选项用于控制无人机本体沿航点开始飞行，航点飞行过程中，无人机本体朝向为航线朝向，无人机本体默认飞行高度为30米，飞行速度为2.6m/s。
[0018]可选的，步骤2中，无人机本体上设置的图像采集装置实时采集图像，并对图像进行处理，发送至AR刺激器，通过快速序列视觉呈现方法对图像进行识别，判断是否为目标图像，具体为：
[0019]在无人机本体飞行过程中，无人机本体的云台打开，且角度为
‑
90
°
，使得图像采集装置实时定位采集无人机本体正下方的图像，并将其传送至中央控制器，得到图像流，中央控制器将图像流均匀切割为图片，并将图片通过快速序列视觉呈现方法呈现在AR刺激器
上，脑电采集器实时采集用户的脑电数据，并基于广域目标检测算法对脑电数据进行降噪处理，处理完毕后，利用图片相关性进行联合概率判决，判断是否为目标图像。
[0020]可选的，基于广域目标检测算法对脑电数据进行降噪处理，具体为：
[0021]利用xDawn去除脑电数据中的SSVEP成分，构建xDawn脑电模型为：
[0022]X＝DA+N
[0023]式中，为采集的脑电数据，为真实脑电响应，为噪声代表用户大脑的持续活动及伪像，N
t
代表总采样长度，N
e
代表诱发脑电长度，N
s
表示导联数，为Toeplitz矩阵，其中，第一行为0，第一列有刺激的时刻时记为1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑机接口的无人机控制与广域目标检测系统，其特征在于，包括：无人机本体、AR刺激器、脑电采集器、数据接收器、中央控制器及处理端，所述AR刺激器佩戴在用户的眼部，用于对用户进行视觉刺激，所述脑电采集器佩戴在用户的头部，用于采集脑电数据，所述脑电采集器连接所述数据接收器，所述数据接收器连接所述处理端及AR刺激器，所述AR刺激器和所述处理端连接所述中央控制器，所述中央控制器用于负责整个系统的控制，所述无人机本体上设置有图像采集装置，所述图像采集装置及无人机本体连接所述中央控制器，所述处理端用于对脑电数据进行处理。2.根据权利要求1所述的基于脑机接口的无人机控制与广域目标检测系统，其特征在于，所述数据接收器与所述处理端之间通过数据堆栈池进行异步隔离，用于保证处理端灵活读取及处理数据，所述AR刺激器与处理端之间通过消息队列栈进行异步隔离，用于提升稳定性，所述数据接收器与所述AR刺激器之间通过并口trigger发生的方式进行时钟同步。3.一种基于脑机接口的无人机控制与广域目标检测方法，应用于权利要求1
‑
2任一所述的基于脑机接口的无人机控制与广域目标检测系统，其特征在于，包括如下步骤：步骤1：根据SSVEP刺激模型在AR刺激器中建立人机交互界面，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，其中飞行模式包括指令飞控模式及航点飞控模式，选择完毕后，通过AR刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行；步骤2：飞行过程中，无人机本体上设置的图像采集装置实时采集图像，并对图像进行处理，发送至AR刺激器，通过快速序列视觉呈现方法对图像进行识别，判断是否为目标图像。4.根据权利要求3所述的基于脑机接口的无人机控制与广域目标检测方法，其特征在于，步骤1中，根据SSVEP刺激模型在AR刺激器中建立人机交互界面，具体为：建立SSVEP刺激模型，根据SSVEP刺激模型在AR刺激器中建立人机交互界面，其中，人机交互界面包括AR刺激交互主界面、指令飞控界面及航点飞控界面，所述AR刺激交互主界面包括指令飞控、航点飞行、降落初始点及就近降落选项，所述指令飞控界面包括起飞、上升、下降、前进、后退、左转、右转、左飞、右飞及返回主界面选项，所述航点飞控界面包括航点飞行主界面、一级目录界面及二级目录界面，所述航点飞行主界面包括规划航线、清除航点、开始飞行及返回主界面选项，所述一级目录界面设置有一级区域地图、编号键盘、删除及完成选项，其中一级区域地图均分为9个子图，分别对应编号键盘的1至9编号选项，所述二级目录界面设置有二级区域地图、编号键盘及撤销选项，其中，二级区域地图为一级区域地图的子图，所述二级区域地图均分为9个子图，分别对应编号键盘的1至9编号选项。5.根据权利要求4所述的基于脑机接口的无人机控制与广域目标检测方法，其特征在于，步骤1中，用户根据航线通过人机交互界面及脑电采集器选择飞行模式，具体为：用户根据航线将注意力集中到指令飞控或航点飞行选项上，选择指令飞控模块或航点飞行模式，将注意力集中到降落初始点或就近降落的选项，控制无人机本体返回起飞点降落或原地垂直降落。6.根据权利要求5所述的基于脑机接口的无人机控制与广域目标检测方法，其特征在于，步骤1中，选择完毕后，通过AR刺激器、脑电采集器、中央控制器及处理端控制无人机本体飞行，具体为：选择指令飞控模式，进入指令飞控界面，指令飞控界面的起飞、上升、下降、前进、后退、
左转、右转、左飞、右飞及返回主界面选项以不同频率闪烁，用户根据视野目标判断，将注意力集中到指令飞控界面的各选项上，脑电采集器根据SSVEP相应信号识别用户...

【专利技术属性】
技术研发人员：张洪欣，张宇锋，杨晨，王帅，张舒玲，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：