一种脑电-肌电信号融合装置及融合方法制造方法及图纸

本发明专利技术公开了一种脑电‑肌电信号融合装置，包括：脑电采集头盔，其采集脑电信号并捕捉大脑思维意图；采集视区内视频信号并识别映射；采集头部温度信号并对头部进行降温处理；肌电采集装置，其采集手势指控动作的肌电信号，并根据肌电信号识别指控动作；嵌入式计算机，其与脑电采集头盔和肌电采集装置信号连接，接收脑电信号和肌电信号并融合处理，检测出操作者的指控动作的意图，确定操作者正确的指控动作，并向操作者显示指控动作的内容。本发明专利技术还公开了一种脑电‑肌电信号融合方法。本发明专利技术的有益效果：能够捕捉快速大脑思维意图，识别手势指控动作，剔除因无意动作或被动动作所造成的误触发，提高了人机自然交互式操控的可靠性。

A EEG EMG signal fusion device and fusion method

The invention discloses a EEG EMG signal fusion device, including: EEG acquisition helmet, its acquisition of EEG signal acquisition and capture the brain thinking intention; visual areas of video signal recognition and mapping; collecting head temperature signal and head cooling treatment; EMG acquisition device, the EMG signal acquisition gesture action charges and, according to the EMG signal recognition charge movement; embedded computer, and the EEG and EMG signal acquisition device is connected with the helmet, received EEG and EMG signal processing and fusion, detection of intention operator charges action, determine the correct charge operator action, and display the content of the action to the operator charges. The invention also discloses a EEG EMG signal fusion method. The invention has the advantages that can capture fast brain intentions, accused of gesture recognition action, eliminate false triggering caused by unintentional actions or passive actions, improve the reliability of human-computer interactive manipulation.

【技术实现步骤摘要】
一种脑电-肌电信号融合装置及融合方法
本专利技术涉及人工交互
，具体而言，涉及一种脑电-肌电信号融合装置及融合方法。
技术介绍
肌电信号是一种由神经肌肉活动产生的生物电信号，蕴含了很多与肢体运动相关联的信息，是肌肉的生物电活动在皮肤表面处时间和空间上的综合结果。脑电信号是一种非常微弱的非平稳信号，包含了大量脑神经细胞的电生理活动信息，体现了人的思维活动和肢体动作行为。根据肌电信号和脑电信号的特点，将两者结合应用到了人机交互领域。目前，人机交互中手势交互是最直接的操作方法，但目前的手势交互存在无法正确捕捉大脑意图，造成误触发等问题。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种脑电-肌电信号融合装置及融合方法，能够捕捉快速大脑思维意图，识别手势指控动作，剔除因无意动作或被动动作所造成的误触发，提高了人机自然交互式操控的可靠性。本专利技术提供了一种脑电-肌电信号融合装置，包括：脑电采集头盔，其采集操作者的脑电信号，并根据所述脑电信号捕捉操作者的大脑思维意图；所述脑电采集头盔采集操作者视区内的视频信号，并根据所述视频信号进行识别映射；所述脑电采集头盔采集操作者头部温度信号，并根据所述温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理；肌电采集装置，其采集操作者的手势指控动作的肌电信号，并根据所述肌电信号识别操作者的指控动作；嵌入式计算机，其与所述脑电采集头盔和所述肌电采集装置信号连接，所述嵌入式计算机接收所述脑电信号和所述肌电信号，并将这两种信号进行融合处理，所述嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容。作为本专利技术进一步的改进，所述脑电采集头盔包括：头盔本体、传感电极阵列、变刚度电极稳定支架、脑电采集模块、脑电处理模块、头部微环境温度调控模块和视知觉AR增强现实信息显示模块；所述传感电极阵列包括均匀布置在所述头盔本体内部的若干个脑电电极，每个脑电电极均安装在对应的变刚度电极稳定支架上，所述脑电电极通过导线与所述脑电采集模块连接，所述脑电采集模块与所述脑电处理模块连接；所述视知觉AR增强现实信息显示模块包括镜片显示器和摄像头，所述镜片显示器和所述摄像头均与所述脑电处理模块连接；所述头部微环境温度调控模块包括降温模块和均匀布置在所述头盔本体内部的若干个温度传感器，所述降温模块和所述温度传感器与所述脑电处理模块连接；所述脑电电极接收操作者的脑电信号，所述脑电采集模块采集所述脑电信号，所述头部微环境温度调控模块中的温度传感器采集操作者在运动过程中的头部温度信号，所述视知觉AR增强现实信息显示模块中的摄像头采集操作者视区内的视频数据；所述脑电处理模块接收所述脑电信号捕捉操作者的大脑思维意图；所述脑电处理模块接收所述头部温度信号，感知操作者运动时的头部温度并将降温信号反馈给所述头部微环境温度调控模块中的降温模块上对操作者的头部进行降温处理；所述脑电处理模块接收所述视频数据，并对视频数据进行识别，将该视频映射在所述视知觉AR增强现实信息显示模块内的镜片显示器中。作为本专利技术进一步的改进，所述脑电电极为梳状电极。作为本专利技术进一步的改进，所述脑电处理模块包括第一放大电路、第一滤波电路、第一A/D转换电路、第一FPGA处理器和第一无线传输模块；所述脑电电极的输出端与所述脑电采集模块的输入端连接，所述脑电采集模块的输出端与所述第一放大电路的输入端连接，所述第一放大电路的输出端与所述第一滤波电路的输入端连接，所述第一滤波电路的输出端与所述第一A/D转换电路的输入端连接，所述第一A/D转换电路的输出端与所述第一FPGA处理器的输入端连接，所述第一FPGA处理器的输出端通过所述第一无线传输模块与所述嵌入式计算机连接；所述脑电电极接收操作者的脑电信号并将脑电信号作为所述脑电采集模块的输入信号，所述脑电采集模块输出的信号依次经过所述第一放大电路、所述第一滤波电路、所述第一A/D转换电路后进入所述第一FPGA处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过所述第一无线传输模块传输至所述嵌入式计算机进行融合处理。作为本专利技术进一步的改进，所述肌电采集装置包括以环形阵列方式布置在操作者小臂上的若干个肌电电极、肌电采集模块和肌电处理模块，所述肌电电极粘贴在操作者皮肤表面，所述肌电电极通过导线与所述肌电采集模块连接，所述肌电采集模块与所述肌电处理模块连接；每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号数据、拇短伸肌信号数据、指浅屈肌信号数据和尺侧腕屈肌信号数据。作为本专利技术进一步的改进，所述肌电处理模块包括第二放大电路、第二滤波电路、第二A/D转换电路、第二FPGA处理器和第二无线传输模块；所述肌电电极的输出端与所述肌电采集模块的输入端连接，所述肌电采集模块的输出端与所述第二放大电路的输入端连接，所述第二放大电路的输出端与所述第二滤波电路的输入端连接，所述第二滤波电路的输出端与所述第二A/D转换电路的输入端连接，所述第二A/D转换电路的输出端与所述第二FPGA处理器的输入端连接，所述第二FPGA处理器的输出端通过所述第二无线传输模块与所述嵌入式计算机连接；所述肌电电极接收操作者的肌电信号并将该肌电信号作为所述肌电采集模块的输入信号，所述肌电采集模块输出的信号依次经过所述第二放大电路、所述第二滤波电路、所述第二A/D转换电路后进入所述第二FPGA处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过所述第二无线传输模块传输至所述嵌入式计算机进行融合处理。作为本专利技术进一步的改进，所述嵌入式计算机内设置有第三FPGA处理器和第三无线传输模块；所述第一FPGA处理器处理后的大脑思维意图信号通过所述第一无线传输模块送入所述第三FPGA处理器的输入端，所述第二FPGA处理器处理后的指控动作信号通过所述第二无线传输模块送入所述第三FPGA处理器的输入端，所述第三FPGA处理器的输出端通过所述第三无线传输模块与所述镜片显示器连接；所述第三FPGA处理器分别对所述大脑思维意图信号和所述指控动作信号进行分类训练、模式识别、特征融合，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过所述第三无线传输模块传输至所述镜片显示器，并在所述镜片显示器显示该内容。本专利技术还提供了一种脑电-肌电信号融合方法，该方法包括：步骤1，脑电采集头盔上设置的视知觉AR增强现实信息显示模块内的摄像头采集操作者视区内的视频数据，并将该视频数据传输至脑电处理模块；步骤2，所述视频数据通过所述脑电处理模块中的第一无线传输模块传输至所述嵌入式计算机内设置的第三FPGA处理器对视频数据进行识别，并将该视频映射在视知觉AR增强现实信息显示模块内的镜片显示器中；步骤3，启动脑电采集头盔上均匀布置的若干个脑电电极，这些脑电电极接收操作者的脑电信号，脑电采集头盔上设置的脑电采集模块采集操作者的脑电信号，所述脑电采集头盔上设置的头部微环境温度调控模块采集操作者在运动过程中的头部温度信号；采集后的脑电信号经过脑电处理模块中的第一放大电路、第一滤波电路、第一A/D本文档来自技高网...

【技术保护点】
一种脑电‑肌电信号融合装置，其特征在于，包括：脑电采集头盔，其采集操作者的脑电信号，并根据所述脑电信号捕捉操作者的大脑思维意图；所述脑电采集头盔采集操作者视区内的视频信号，并根据所述视频信号进行识别映射；所述脑电采集头盔采集操作者头部温度信号，并根据所述温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理；肌电采集装置，其采集操作者的手势指控动作的肌电信号，并根据所述肌电信号识别操作者的指控动作；嵌入式计算机，其与所述脑电采集头盔和所述肌电采集装置信号连接，所述嵌入式计算机接收所述脑电信号和所述肌电信号，并将这两种信号进行融合处理，所述嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容。

【技术特征摘要】
1.一种脑电-肌电信号融合装置，其特征在于，包括：脑电采集头盔，其采集操作者的脑电信号，并根据所述脑电信号捕捉操作者的大脑思维意图；所述脑电采集头盔采集操作者视区内的视频信号，并根据所述视频信号进行识别映射；所述脑电采集头盔采集操作者头部温度信号，并根据所述温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理；肌电采集装置，其采集操作者的手势指控动作的肌电信号，并根据所述肌电信号识别操作者的指控动作；嵌入式计算机，其与所述脑电采集头盔和所述肌电采集装置信号连接，所述嵌入式计算机接收所述脑电信号和所述肌电信号，并将这两种信号进行融合处理，所述嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容。2.根据权利要求1所述的脑电-肌电信号融合装置，其特征在于，所述脑电采集头盔包括：头盔本体、传感电极阵列、变刚度电极稳定支架、脑电采集模块、脑电处理模块、头部微环境温度调控模块和视知觉AR增强现实信息显示模块；所述传感电极阵列包括均匀布置在所述头盔本体内部的若干个脑电电极，每个脑电电极均安装在对应的变刚度电极稳定支架上，所述脑电电极通过导线与所述脑电采集模块连接，所述脑电采集模块与所述脑电处理模块连接；所述视知觉AR增强现实信息显示模块包括镜片显示器和摄像头，所述镜片显示器和所述摄像头均与所述脑电处理模块连接；所述头部微环境温度调控模块包括降温模块和均匀布置在所述头盔本体内部的若干个温度传感器，所述降温模块和所述温度传感器与所述脑电处理模块连接；所述脑电电极接收操作者的脑电信号，所述脑电采集模块采集所述脑电信号，所述头部微环境温度调控模块中的温度传感器采集操作者在运动过程中的头部温度信号，所述视知觉AR增强现实信息显示模块中的摄像头采集操作者视区内的视频数据；所述脑电处理模块接收所述脑电信号捕捉操作者的大脑思维意图；所述脑电处理模块接收所述头部温度信号，感知操作者运动时的头部温度并将降温信号反馈给所述头部微环境温度调控模块中的降温模块上对操作者的头部进行降温处理；所述脑电处理模块接收所述视频数据，并对视频数据进行识别，将该视频映射在所述视知觉AR增强现实信息显示模块内的镜片显示器中。3.根据权利要求2所述的脑电-肌电信号融合装置，其特征在于，所述脑电电极为梳状电极。4.根据权利要求2所述的脑电-肌电信号融合装置，其特征在于，所述脑电处理模块包括第一放大电路、第一滤波电路、第一A/D转换电路、第一FPGA处理器和第一无线传输模块；所述脑电电极的输出端与所述脑电采集模块的输入端连接，所述脑电采集模块的输出端与所述第一放大电路的输入端连接，所述第一放大电路的输出端与所述第一滤波电路的输入端连接，所述第一滤波电路的输出端与所述第一A/D转换电路的输入端连接，所述第一A/D转换电路的输出端与所述第一FPGA处理器的输入端连接，所述第一FPGA处理器的输出端通过所述第一无线传输模块与所述嵌入式计算机连接；所述脑电电极接收操作者的脑电信号并将脑电信号作为所述脑电采集模块的输入信号，所述脑电采集模块输出的信号依次经过所述第一放大电路、所述第一滤波电路、所述第一A/D转换电路后进入所述第一FPGA处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过所述第一无线传输模块传输至所述嵌入式计算机进行融合处理。5.根据权利要求1所述的脑电-肌电信号融合装置，其特征在于，所述肌电采集装置包括以环形阵列方式布置在操作者小臂上的若干个肌电电极、肌电采集模块和肌电处理模块，所述肌电电极粘贴在操作者皮肤表面，所述肌电电极通过导线与所述肌电采集模块连接，所述肌电采集模块与所述肌电处理模块连接；每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号数据、拇短伸肌信号数据、指浅屈肌信号数据和尺侧腕屈肌信号数据。6.根据权利要求5所述的脑电-肌电信号融合装置，其特征在于，所述肌电处理模块包括第二放大电路、第二滤波电路、第二A/D转换电路、第二FPGA处理器和第二无线传输模块；所述肌电电极的输出端与所述肌电采集模块的输入端连接，所述肌电采集模块的输出端与所述第二放大电路的输入端连接，所述第二放大电路的输出端与所述第二滤波电路的输入端连接，所述第二滤波电路的输出端与所述第二A/D转换电路的输入端连接，所述第二A/D转换电路的输出端与所述第二FPGA处理器的输入端连接，所述第二FPGA处理器的输出端通过所述第二无线传输模块与所述嵌入式计算机连接；所述肌电电极接收操作者的肌电信号并将该肌电信号作为所述肌电采集模块的输入信号，所述肌电采集模块输出的信号依次经过所述第二放大电路、所述第二滤波电路、所述第二A/D转换电路后进入...

【专利技术属性】
技术研发人员：赵小川，付成龙，刘培志，赵继鹏，瞿蓉，范炳远，
申请(专利权)人：中国兵器工业计算机应用技术研究所，
类型：发明
国别省市：北京,11