【技术实现步骤摘要】
本专利技术属于大脑脑机接口领域，具体涉及一种基于神经网络的人类大脑活动解码方法及系统。
技术介绍
1、脑机接口的最新发展为大脑活动解码提供了前景。大多数研究集中在学习一个潜在的空间来分类大脑反应，这是相对容易实现的。然而，关于理解人类大脑工作方式的研究却更为复杂。研究大脑工作原理可为人类生活带来便利，比如通过这些脑电信号的变化来判断人大脑是否有异常，预测被试者所观察的事物等。解码由视觉刺激引起的人类大脑活动对脑启发计算和计算机视觉具有重要意义影响，科学界已经产生了许多分析人类大脑如何与外部世界的相互作用的研究。在一些研究中，深度学习被用于解码和重建大脑的视觉活动，且目前对脑活动重建图像的研究主要集中在对功能磁共振成像数据进行处理，这些方法依赖于功能磁共振成像的高灵敏度；然而，这些方法的优越性被操作功能磁共振成像扫描仪的困难和其高成本所抵消。为了解决这些缺陷，一些研究人员将注意力转向了脑电信号，但脑电信号具有较低的信噪比和较低的空间分辨率，且信号处理算法必须达到较高的精度。
技术实现思路
1、针对现有技术存在的不足，本专利技术提出了一种基于神经网络的人类大脑活动解码方法及系统，该方法包括：
2、s1：获取图像特征向量并将其输入到预训练的图像生成器得到刺激图像；
3、s2：采集用户观察刺激图像产生的脑电信号和眼电信号；对脑电信号和眼电信号进行预处理，得到预处理好的脑电信号；
4、s3：采用预训练的脑电信号编码网络对脑电信号进行特征编码，得到初级脑电特
5、s4：采用预训练的映射网络对初级脑电特征进行处理，得到预测电脑特征；
6、s5：将预测脑电特征输入到预训练的图像生成器中进行处理，得到重建图像。
7、优选的，对脑电信号和眼电信号进行预处理的过程包括：将脑电信号依次通过陷波滤波器和二阶带通滤波器进行滤波；结合眼电信号，采用独立主成分分析方法去除滤波后的脑电信号的眼电伪迹；对去除眼电伪迹后的脑电信号进行降采样，采样率为250hz；将降采样后的脑电信号进行切片处理，每个切片只截取前0.4s的数据进行保留，得到预处理好的脑电信号。
8、优选的，所述脑电信号编码网络由卷积网络、双向长短期记忆神经网络、flatten层和全连接层构成；其中，卷积网络包括空间滤波模块和时间滤波模块。
9、进一步的，所述空间滤波模块包括卷积核为n×1的卷积层、batchnorm层、prelu激活函数层和dropout层，其中，n表示脑电信号通道数。
10、进一步的，所述时间滤波模块包括卷积核为1×k的卷积层、batchnorm层、prelu激活函数层和dropout层，其中，k为核长度。
11、优选的，所述映射网络为bp神经网络。
12、优选的，图像生成器的损失函数为：
13、lossreconstruction＝lossrealimage+lossfakeimage
14、
15、
16、其中，lossreconstruction表示图像生成器的总损失，lossrealimage表示判断真实图像为真的误差，lossfakeimage表示判断生成图像为假的误差；n表示一次训练批次中的样本数量，i表示一次训练批次中的第i个样本；data(x)表示数据集中图像特征为x的图像数据，pdata(x)表示真实图像数据的独热码，d(data(x))表示鉴别器网络判断真实图像的真假结果编码；g(x)表示用特征x生成的图像数据，pg(x)表示伪造图像数据的独热码，d(g(x))表示鉴别器网络判断伪造图像的真假结果编码。
17、一种基于神经网络的人类大脑活动解码系统，包括：刺激图像生成模块、数据采集模块、信号处理模块和图像重建模块；
18、所述刺激图像生成模块用于生成刺激图像；
19、所述数据采集模块用于采集用户观察刺激图像所产生的脑电信号和眼电信号；
20、所述信号处理模块用于对脑电信号和眼电信号进行处理，得到初级脑电特征并识别脑电信号类别；
21、所述图像重建模块用于根据初级脑电特征生成预测脑电特征并根据预测脑电特征生成重构图像。
22、本专利技术的有益效果为：本专利技术通过设计网络模型提取脑电图视觉表示；学习脑电特征，利用预训练生成网络生成与刺激图像相同视觉类别的图像；本专利技术所用网络模型在脑电图识别对象类别中具有良好的性能，且可以根据视觉刺激诱发的脑电信号重建图像；因此，本专利技术可以根据大脑的反应来重建视觉刺激的内容，实现图像-脑电图-图像的变换，说明人类大脑在视觉识别中的活动可以被解码并应用于自动视觉分类；解码和重建大脑活动可以被认为是机器学习、计算机视觉和大脑间谍计算研究的关键一步，本专利技术具有良好的应用前景。
本文档来自技高网...【技术保护点】
1.一种基于神经网络的人类大脑活动解码方法，其特征在于，包括：
2.根据权利要求1所述的一种基于神经网络的人类大脑活动解码方法，其特征在于，对脑电信号和眼电信号进行预处理的过程包括：将脑电信号依次通过陷波滤波器和二阶带通滤波器进行滤波；结合眼电信号，采用独立主成分分析方法去除滤波后的脑电信号的眼电伪迹；对去除眼电伪迹后的脑电信号进行降采样，采样率为250Hz；将降采样后的脑电信号进行切片处理，每个切片只截取前0.4s的数据进行保留，得到预处理好的脑电信号。
3.根据权利要求1所述的一种基于神经网络的人类大脑活动解码方法，其特征在于，所述脑电信号编码网络由卷积网络、双向长短期记忆神经网络、Flatten层和全连接层构成；其中，卷积网络包括空间滤波模块和时间滤波模块。
4.根据权利要求3所述的一种基于神经网络的人类大脑活动解码方法，其特征在于，所述空间滤波模块包括卷积核为N×1的卷积层、BatchNorm层、PReLU激活函数层和dropout层，其中，N表示脑电信号通道数。
5.根据权利要求3所述的一种基于神经网络的人类大脑活动解码方
6.根据权利要求1所述的一种基于神经网络的人类大脑活动解码方法，其特征在于，所述映射网络为BP神经网络。
7.根据权利要求1所述的一种基于神经网络的人类大脑活动解码方法，其特征在于，图像生成器的损失函数为：
8.一种基于神经网络的人类大脑活动解码系统，其特征在于，包括：刺激图像生成模块、数据采集模块、信号处理模块和图像重建模块；
...【技术特征摘要】
1.一种基于神经网络的人类大脑活动解码方法，其特征在于，包括：
2.根据权利要求1所述的一种基于神经网络的人类大脑活动解码方法，其特征在于，对脑电信号和眼电信号进行预处理的过程包括：将脑电信号依次通过陷波滤波器和二阶带通滤波器进行滤波；结合眼电信号，采用独立主成分分析方法去除滤波后的脑电信号的眼电伪迹；对去除眼电伪迹后的脑电信号进行降采样，采样率为250hz；将降采样后的脑电信号进行切片处理，每个切片只截取前0.4s的数据进行保留，得到预处理好的脑电信号。
3.根据权利要求1所述的一种基于神经网络的人类大脑活动解码方法，其特征在于，所述脑电信号编码网络由卷积网络、双向长短期记忆神经网络、flatten层和全连接层构成；其中，卷积网络包括空间滤波模块和时间滤波模块。
4.根据权利要求3所述的一种基于神经网络的...
【专利技术属性】
技术研发人员：邓欣，魏世委，秦红星，霍华翔，李晨辉，徐代江，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。