一种基于脑机接口的人机交互指挥方法和装置制造方法及图纸

本发明专利技术公开了一种基于脑机接口的人机交互指挥方法和装置，其中一实施例的方法包括：基于预存的刺激数据输出多感官类型的刺激信息；获取用户根据所述刺激信息输出的反馈脑电信号；识别所述反馈脑电信号并根据识别结果进行编码后输出编码信息；基于所述编码信息生成指挥指令以进行指挥控制。该方法通过脑机接口技术直接获取多感官类型的刺激信息，获取用户根据该刺激信息生成的脑电信号，并通过脑机信号构建脑机融合的指挥控制方法，生成控制指令实现对计算机的直接控制，有效减少人机交互的多种设备与媒介，提高交互效率和指挥效率，通过人机交互实现灵活指挥决策。互实现灵活指挥决策。互实现灵活指挥决策。

【技术实现步骤摘要】
一种基于脑机接口的人机交互指挥方法和装置


[0001]本专利技术涉及人机交互领域，特别是涉及一种基于脑机接口的人机交互指挥方法和装置。

技术介绍

[0002]在语言出现前，把一个想法从一个脑传到另一个脑是很难的。人类专利技术语言后，声带和耳朵变成了人与人之间沟通的设备，空气成为了最早的沟通媒介。在此基础上，出现了电线、卫星和电磁波等媒介，专利技术了计算机、手机等外部设备，通过这些工具，增加了人与人、人与机器之间的沟通。但这些特定的设备与媒介实现的沟通往往具有脑思维的失真性和传输速率的滞后性，并且传输接口的带宽较窄。用手机触屏或用语言与思维的速度相比，都不亚于龟兔赛跑，若可以减少外部设备与传输媒介，形成神经接口，直接进行思维沟通，传输速度会提升几个数量级。
[0003]随着科学技术的进步，在数字时代我们都有了双重实体，一个物理实体通过生物器官和物理环境互动，一个数字实体通过数字器官和数字世界互动。升级双重实体与双重世界间的设备与媒介，是人类发展的必然改变与需求，脑机接口技术应运而生。脑机接口(Brain
‑
Computer Interface,BCI)技术是指在脑与外部设备间建立直接的连接通路，通过采集大脑皮层神经系统活动产生的脑电信号，经过放大、滤波等方法，将其转化为可以被计算机识别的信号，从中辨别人的真实意图。其核心包括大脑神经生物信号采集技术、大脑神经生物信号处理技术和人机高效协同技术等。

技术实现思路

[0004]为了解决上述问题至少之一，本专利技术采用以下技术方案：<br/>[0005]本专利技术第一个实施例提供一种基于脑机接口的人机交互指挥方法，该方法包括：
[0006]基于预存的刺激数据输出多感官类型的刺激信息；
[0007]获取用户根据所述刺激信息输出的反馈脑电信号；
[0008]识别所述反馈脑电信号并根据识别结果进行编码后输出编码信息；
[0009]基于所述编码信息生成指挥指令以进行指挥控制。
[0010]进一步的，所述基于预存的刺激数据输出多感官类型的刺激信息进一步包括：
[0011]对所述预存的刺激数据进行解码和转化后生成矩阵数据信息；
[0012]基于预设深度学习训练模型对所述矩阵数据信息进行特征融合与识别解析；
[0013]将所述融合与识别后的矩阵数据信息进行多模态感知从而输出多感官类型的刺激信息。
[0014]进一步的，所述获取用户根据所述刺激信息输出的反馈脑电信号进一步包括：
[0015]采集并存储所述原始脑电信号；
[0016]对所述原始脑电信号进行预处理以得到所述反馈脑电信号。
[0017]进一步的，所述识别所述反馈脑电信号并根据识别结果进行编码后输出编码信息
进一步包括；
[0018]利用预设机器学习模型识别所述反馈脑电信号的任务状态输出对应所述任务状态的状态脑电信号；
[0019]对所述状态脑电信号进行特征提取以得到特征矩阵；
[0020]根据所述特征矩阵输出编码信息。
[0021]进一步的，所述任务状态包括选择状态以及指令状态，所述状态脑电信号包括根据所述选择状态输出选择脑电信号，以及根据所述指令状态输出指令脑电信号。
[0022]进一步的，所述基于预设深度学习训练模型对所述矩阵数据信息进行识别解析与特征融合进一步包括：
[0023]利用预设深度学习训练模型对所述矩阵数据信息进行所述矩阵数据信息的特征识别，并将所述矩阵数据信息根据特征信息进行匹配；
[0024]根据识别结果和匹配结果融合所述矩阵数据信息。
[0025]进一步的，所述刺激信息为视觉、听觉以及触觉类型。
[0026]进一步的，利用植入或非植入式电极阵列采集所述原始脑电信号。
[0027]进一步的，所述预处理包括：放大处理、滤波处理、以及补偿处理中的一个或多个。
[0028]本专利技术第二方面提出一种执行本专利技术第一方面的人机交互指挥装置，包括：
[0029]刺激信息输出模块，配置为基于预存的刺激数据输出多感官类型的刺激信息；
[0030]反馈脑电信号获取模块，配置为获取用户根据所述刺激信息输出的反馈脑电信号；
[0031]识别编码模块，配置为识别所述反馈脑电信号并根据识别结果进行编码后输出编码信息；
[0032]指挥指令输出模块，配置为基于所述编码信息生成指挥指令以进行指挥控制。
[0033]本专利技术的有益效果如下：
[0034]本专利技术针对目前现有的问题，制定一种基于脑机接口的人机交互指挥方法，本实施例通过脑机接口技术直接获取多感官类型的刺激信息，获取用户根据该刺激信息生成的脑电信号，并通过脑机信号构建脑机融合的指挥控制方法，生成控制指令实现对计算机的直接控制，有效减少人机交互的多种设备与媒介，提高交互效率和指挥效率，通过人机交互实现灵活指挥决策，具有广泛的应用前景。
附图说明
[0035]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1示出本专利技术的一个实施例的基于脑机接口人机交互指挥方法的流程图；
[0037]图2示出本专利技术一个可选的实施例的步骤S1的方法流程图；
[0038]图3示出本专利技术一个可选的实施例的步骤S2的方法流程图；
[0039]图4示出本专利技术实施例的用户大脑的功能层示意图；
[0040]图5示出本专利技术一个可选的实施例的步骤S3的方法流程图；
[0041]图6示出本专利技术一个具体示例的人机交互指挥方法的过程示意图；
[0042]图7示出本专利技术的另一个实施例的人机交互指挥装置的框架结构示意图。
具体实施方式
[0043]为了更清楚地说明本专利技术，下面结合优选实施例和附图对本专利技术做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本专利技术的保护范围。
[0044]需要说明的是，本文中所述的“在
……
上”、“在
……
上形成”和“设置在
……
上”可以表示一层直接形成或设置在另一层上，也可以表示一层间接形成或设置在另一层上，即两层之间还存在其它的层。并且，本文诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑机接口的人机交互指挥方法，其特征在于，包括：基于预存的刺激数据输出多感官类型的刺激信息；获取用户根据所述刺激信息输出的反馈脑电信号；识别所述反馈脑电信号并根据识别结果进行编码后输出编码信息；基于所述编码信息生成指挥指令以进行指挥控制。2.根据权利要求1所述的方法，其特征在于，所述基于预存的刺激数据输出多感官类型的刺激信息进一步包括：对所述预存的刺激数据进行解码和转化后生成矩阵数据信息；基于预设深度学习训练模型对所述矩阵数据信息进行特征融合与识别解析；将所述融合与识别后的矩阵数据信息进行多模态感知从而输出多感官类型的刺激信息。3.根据权利要求1所述的方法，其特征在于，所述获取用户根据所述刺激信息输出的反馈脑电信号进一步包括：采集并存储所述原始脑电信号；对所述原始脑电信号进行预处理以得到所述反馈脑电信号。4.根据权利要求1所述的方法，其特征在于，所述识别所述反馈脑电信号并根据识别结果进行编码后输出编码信息进一步包括；利用预设机器学习模型识别所述反馈脑电信号的任务状态输出对应所述任务状态的状态脑电信号；对所述状态脑电信号进行特征提取以得到特征矩阵；根据所述特征矩阵输出编码信息。5.根据权利要求4所述的方法，其特征在于，所述任务状态包括选择状...

【专利技术属性】
技术研发人员：常予，田钰，蔡明春，
申请(专利权)人：北京电子工程总体研究所，
类型：发明
国别省市：