【技术实现步骤摘要】
本专利技术属于人机交互科学、脑机接口，具体涉及一种类听觉系统驱动的脑机接口听觉空间注意力检测系统。
技术介绍
1、在“鸡尾酒会”场景中，即存在多个声音源的复杂声学环境中，人能够通过调用听觉系统的注意力机制关注并放大某个声源，从而忽略其他非关注声源，达到过滤噪声、抵抗干扰的作用。
2、然而，听障人士以及部分老年人很难在嘈杂环境中过滤噪声的干扰，使他们无法像正常人一样交流和感知，往往只能通过佩戴助听设备进行辅助与康复。但传统的助听器仅能对环境中所有声源无差别的放大，即使结合降噪技术与提高语音清晰度等方法仍无法改善设备体验差、接受度低的问题。为此，学者们提出了“认知助听器”，该设备能够从大脑中解码听觉注意力，获取使用者正在关注的声源信息，并对指定的声源进行放大，进而实现智能的听觉辅助，使得听障人士能够同正常人一样在复杂声学环境中进行交流与感知。传统的听觉注意力解码技术依赖于声源和脑电信号之间的相关性，通过构建映射模型，将声音模态转换为脑电模态抑或是将脑电模态转换为声音模态，进而计算转换模态后的数据与该模态采集数据之间的相关性，从而获得听觉注意力的信息。但由于真实大脑皮质信号与原始声音信息之间往往存在复杂的非线性关系，线性的映射模型很难复现大脑复杂的模态转换过程，导致传统方法往往存在相关性弱、实时性差、检测准确率低等问题。随着神经网络算法的不断发展，近年来基于深度学习的非线性解码模型(如基于卷积神经网络的听觉空间注意力检测、基于长短期记忆网络的听觉注意力检测等)将检测准确率进一步提升，但由于现有听觉注意力解码模型的设计过于简
3、在这种背景下，为了提升听觉空间注意力检测模型的可解释性，提高模型的实时性能，解决现有解码模型的“黑箱问题”，亟需提出一种类听觉系统驱动的脑机接口听觉空间注意力检测方法。
技术实现思路
1、本专利技术旨在解决现有技术的不足，提出一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，通过模拟人的听觉系统在感知过程中的信息处理机制，对听觉注意力信息到脑电信号这一通路进行逆向建模，将采集的脑机接口操作者脑电信号经预处理后同时输入至左脑时间信息解码器和右脑空间信息解码器分别得到时间特征与空间特征，类上橄榄复合体的听觉信息整合模块将得到的时间特征与空间特征进行信息融合并解码得到脑机接口操作者的听觉空间注意力信息。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，包括：信号采集模块、信号处理模块和整合模块；
4、所述信号采集模块用于采集脑电信号并对所述脑电信号进行预处理，得到脑电信号判别窗；
5、所述信号处理模块用于对所述脑电信号判别窗进行解码，得到时间特征和空间特征；
6、所述整合模块用于将所述时间特征和所述空间特征进行整合，得到注意力检测结果。
7、优选的，所述信号采集模块包括：采集单元和预处理单元；
8、所述采集单元用于采集脑机结构操作者实时的所述脑电信号；
9、所述预处理单元用于对所述脑电信号进行预处理，得到所述脑电信号判别窗。
10、优选的，所述预处理单元的工作流程包括：对所述脑电信号进行带通滤波、降采样、共平均参考以及独立成分分析滤除伪迹，进而分割为预设窗长的所述脑电信号判别窗。
11、优选的，所述信号处理模块包括：左脑时间信息解码器和右脑空间信息解码器；
12、所述左脑时间信息解码器用于将所述脑电信息判别窗进行解码，得到所述时间特征；
13、所述右脑空间信息解码器用于将所述脑电信息判别窗进行解码，得到所述空间特征。
14、优选的，所述左脑时间信息解码器的工作流程包括：
15、将所述脑电信息判别窗输入至左脑信息注意力模块，对左脑信息的通道掩膜进行权重初始化，获得左脑通道注意的第一初始化掩膜；
16、对所述第一初始化掩膜进行三维卷积，获得所述第一初始化掩膜的第一三维特征；
17、将所述第一三维特征输入至线性层并进行归一化，得到左脑信息的左脑通道掩膜；
18、对所述左脑通道掩膜与所述脑电信息判别窗做内积运算，得到左脑通道注意的左脑脑电信息判别窗；
19、将所述左脑脑电信息判别窗输入至单向门控循环单元进行解码，得到所述时间特征。
20、优选的，所述右脑空间信息解码器的工作流程包括：
21、将所述脑电信息判别窗输入至右脑信息注意力模块，对右脑信息的通道掩膜进行权重初始化，获得右脑通道注意的第二初始化掩膜；
22、对所述第二初始化掩膜进行三维卷积，获得所述第二初始化掩膜的第二三维特征；
23、将所述第二三维特征输入至线性层并进行归一化，得到右脑信息的右脑通道掩膜；
24、对所述右脑通道掩膜与所述脑电信息判别窗做内积运算，得到右脑通道注意的右脑脑电信息判别窗；
25、将所述右脑脑电信息判别窗进行频率滤波，得到滤波后脑电特征；
26、将所述滤波后脑电特征进行转置，并进行空间滤波，得到所述空间特征。
27、优选的，所述整合模块包括：拼接单元、提取单元和融合单元；
28、所述拼接单元用于将所述时间特征和所述空间特征在最后一个维度上拼接融合，得到听觉空间注意力的融合特征；
29、所述提取单元用于对所述融合特征进行特征提取，得到压缩特征；
30、所述融合单元用于对所述压缩特征进行时空信息融合，得到所述注意力检测结果。
31、优选的，所述提取单元包括：第一卷积层、第一最大池化层、第二卷积层和第二最大池化层；
32、所述融合单元包括：第一线性层、第二线性层和激活函数。
33、与现有技术相比，本专利技术的有益效果为：
34、本专利技术能够模拟人的听觉通路对声音信号的信息编码机制以及左右脑皮层对编码后的信息处理机制，解决当前听觉注意力检测模型存在的可解释性弱、实时性差，从而实现低延迟、短决策窗口下的高识别准确率，为开发基于脑机接口的认知助听器提供有效方法。
本文档来自技高网...【技术保护点】
1.一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，包括：信号采集模块、信号处理模块和整合模块；
2.根据权利要求1所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述信号采集模块包括：采集单元和预处理单元；
3.根据权利要求2所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述预处理单元的工作流程包括：对所述脑电信号进行带通滤波、降采样、共平均参考以及独立成分分析滤除伪迹，进而分割为预设窗长的所述脑电信号判别窗。
4.根据权利要求1所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述信号处理模块包括：左脑时间信息解码器和右脑空间信息解码器；
5.根据权利要求4所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述左脑时间信息解码器的工作流程包括：
6.根据权利要求4所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述右脑空间信息解码器的工作流程包括：
7.根据权利要求1所述一种类听觉系统驱动的脑
8.根据权利要求7所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述提取单元包括：第一卷积层、第一最大池化层、第二卷积层和第二最大池化层；
...【技术特征摘要】
1.一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，包括：信号采集模块、信号处理模块和整合模块；
2.根据权利要求1所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述信号采集模块包括：采集单元和预处理单元；
3.根据权利要求2所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述预处理单元的工作流程包括：对所述脑电信号进行带通滤波、降采样、共平均参考以及独立成分分析滤除伪迹，进而分割为预设窗长的所述脑电信号判别窗。
4.根据权利要求1所述一种类听觉系统驱动的脑机接口听觉空间注意力检测系统，其特征在于，所述信号处理模块包括：左脑时间信...
【专利技术属性】
技术研发人员：费炜杰，徐新博，毕路拯，斐乐，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。