基于PYNQ和多模态脑机接口的飞行器控制系统及方法技术方案

本发明专利技术公开了一种基于PYNQ和多模态脑机接口的飞行器控制系统及方法，该系统包括：信号采集模块、处理模块、飞行器控制模块；信号采集模块包括脑电采集模块、眼电采集模块、通信模块；处理模块包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；飞行器控制模块包括：指令生成模块、姿态传感器，通过采集用户的脑电和眼电信号，并对信号进行处理，进而能实时控制飞行器。本发明专利技术通过结合脑机接口技术和嵌入式平台，能改善传统脑机接口控制系统便携性差、功耗高、成本高、可移植性差的缺点，从而提高实用性。从而提高实用性。从而提高实用性。

【技术实现步骤摘要】
基于PYNQ和多模态脑机接口的飞行器控制系统及方法


[0001]本专利技术涉及脑机接口和FPGA领域，具体涉及基于PYNQ和多模态脑机接口的飞行器控制系统及方法。

技术介绍

[0002]随着脑科学研究的深入，脑机接口技术具有能够直接在人脑与外部设备间建立连接的特性，脑机接口控制系统已逐渐成为学术界和产业界的关注焦点，应用于医疗、教育、娱乐领域的技术正不断完善。现有的基于脑机接口的控制系统数量较少，同时存在着以下缺陷：
[0003]1、现有的脑机接口控制系统实用性较差，系统以PC机或工作站作为计算节点，应用过程中存在设备复杂、功耗大、便携性差的缺点，导致难以面向市场；
[0004]2、现有的脑机接口控制系统控制状态较少，仅使用脑电信号，忽略了其他有意义的生物电信号，导致可使用控制状态数目少；
[0005]3、现有脑机接口控制系统实时性较差，对信号处理的速度滞后，无法做到实时处理，导致控制性较差，缺少使用体验。

技术实现思路

[0006]本专利技术为了改善现有脑机接口控制系统存在的不足，提供一种基于PYNQ和多模态脑机接口的飞行器控制系统及方法，以期通过结合脑机接口技术和FPGA嵌入式平台，使用户能通过眨眼和进行运动想象来控制无人机，从而提高脑机接口控制系统的便携性和实时性；同时具有语音播报功能，能播报信号分类结果，以提高交互体验。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于PYNQ和多模态脑机接口的飞行器控制系统的特点在于，包括：信号采集模块、处理模块、飞行器控制模块：
[0009]所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；
[0010]所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；
[0011]所述飞行器控制模块包括：指令生成模块、姿态传感器；
[0012]所述脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；
[0013]所述眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；
[0014]所述通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；
[0015]所述信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
[0016]所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；
[0017]所述眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；
[0018]所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且所述卷积层使用AXI4
‑
Streaming接口；
[0019]所述通用卷积神经网络网络加速IP由Vivado HLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；
[0020]所述卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；
[0021]所述存储模块包括：DMA单元、DDR单元；
[0022]所述DMA单元用于提供数据缓冲；
[0023]DDR单元用于储存脑电信号和眨眼产生的肌电信号的分类结果；
[0024]所述语音播报模块通过串口与处理模块相连接，并根据信号解码模块得到的分类结果进行语音播报；
[0025]所述无线通信模块包括：USB WiFi、USB蓝牙；
[0026]所述USB WiFi用于建立信号采集模块和处理模块之间的通信，使处理模块能接收到来自信号采集模块发送的原始脑电信号和肌电信号；
[0027]所述USB蓝牙用于建立处理模块和飞行器控制模块之间的通信，使信号解码模块的分类结果能发送至飞行器控制模块中的指令生成模块；
[0028]所述指令生成模块用于将信号解码模块得到的分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
[0029]所述姿态传感器根据飞行器控制指令控制飞行器的飞行姿态。
[0030]本专利技术一种基于PYNQ和多模态脑机接口的飞行器控制方法的特点在于是应用于由信号采集模块、处理模块、飞行器控制模块所组成的系统中；
[0031]所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；
[0032]所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；
[0033]所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；
[0034]所述飞行器控制模块包括：指令生成模块、姿态传感器；
[0035]所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；
[0036]所述无线通信模块包括：USB WiFi、USB蓝牙；
[0037]所述飞行器控制方法包括以下步骤：
[0038]步骤1：处理模块上电，将语音播报模块和无线通信模块分别与处理模块连接；
[0039]步骤2：用户佩戴脑电采集模块、眼电采集模块，并分别用于获取原始脑电信号和眨眼产生的原始肌电信号；
[0040]步骤3：所述通信模块将原始脑电信号和原始肌电信号通过USB WiFi发送至处理模块；
[0041]步骤4、所述信号预处理模块对所接收到的原始脑电信号和原始肌电信号依次进
行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
[0042]步骤5：所述眨眼检测单元对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼四种眨眼情况；
[0043]所述脑电信号解码单元使用卷积神经网络加速IP对预处理后的脑电信号进行运动想象情况的分类，包括：想象左侧肢体运动和想象右侧肢体运动；
[0044]步骤6：所述处理模块通过串口通信的方式调用语音播报模块，用于对信号解码模块的分类结果进行播报，同时将分类结果通过USB蓝牙发送至指令生成模块；
[0045]步骤7：所述指令生成模块将分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
[0046]步骤8：所述姿态传感器根据控制指令控制飞行器完成对应动作，并在执行完当前控制指令后等待下一条控制指令到来前，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PYNQ和多模态脑机接口的飞行器控制系统，其特征在于，包括：信号采集模块、处理模块、飞行器控制模块：所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；所述飞行器控制模块包括：指令生成模块、姿态传感器；所述脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；所述眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；所述通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；所述信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；所述眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且所述卷积层使用AXI4
‑
Streaming接口；所述通用卷积神经网络网络加速IP由Vivado HLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；所述卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；所述存储模块包括：DMA单元、DDR单元；所述DMA单元用于提供数据缓冲；DDR单元用于储存脑电信号和眨眼产生的肌电信号的分类结果；所述语音播报模块通过串口与处理模块相连接，并根据信号解码模块得到的分类结果进行语音播报；所述无线通信模块包括：USB WiFi、USB蓝牙；所述USB WiFi用于建立信号采集模块和处理模块之间的通信，使处理模块能接收到来自信号采集模块发送的原始脑电信号和肌电信号；所述USB蓝牙用于建立处理模块和飞行器控制模块之间的通信，使信号解码模块的分类结果能发送至飞行器控制模块中的指令生成模块；所述指令生成模块用于将信号解码模块得到的分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指...

【专利技术属性】
技术研发人员：杜高明，鲁杰，罗文，赵庆昊，李桢旻，尹勇生，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：