一种基于人工神经网络的刺激图像重建方法及系统技术方案

本发明专利技术属于脑机接口领域，具体涉及一种基于人工神经网络的刺激图像重建方法及系统，该方法包括：首先处理由脑电仪器采集得到的由视觉刺激诱发的脑电数据，并利用人工神经网络学习脑电信号中的可分类特征形成脑电特征编码；利用预训练的图像分类模型提取视觉刺激对应的图像特征编码，并通过编码信息和类别信息训练得到一个可以生成图像的生成器模型；通过训练一个神经网络构建对应类别的脑电特征分布和图像特征分布间的映射关系；通过端到端的方式构建脑电特征与图像特征的映射关系，从而实现基于脑电信号重建图像刺激的方法；本发明专利技术提高了训练的并行度，使得整个方法识别率高，训练难度小，训练速度快。训练速度快。训练速度快。

【技术实现步骤摘要】
一种基于人工神经网络的刺激图像重建方法及系统


[0001]本专利技术属于脑机接口视觉图像重建领域，具体涉及一种基于人工神经网络的刺激图像重建方法及系统。

技术介绍

[0002]随着认知神经科学的不断发展，过去出现在科幻小说中的“读心术”现在已经成为现实。通过神经影像技术，人们可以观察各种认知任务下的大脑活动状态，从而学习认知行为与大脑活动之间的神经编码逻辑。脑电图(Electroencephalogram，EEG)是一种成熟的神经影像技术，已经被广泛用于解码情绪，运动想象等认知活动，但是在图像重建领域依然处于探索阶段。目前领域内的图像重建方法基本依赖于传统生成对抗网络，这种方法存在传统卷积结构对空间位置不敏感而损失特征信息，网络结构复杂导致训练难度大耗时长，训练数据量受实验难度局限等问题。

技术实现思路

[0003]为解决上述技术问题，本专利技术提出一种基于人工神经网络的刺激图像重建方法及系统，包括：
[0004]一方面，本专利技术提供一种基于人工神经网络的刺激图像重建方法，包括以下步骤：
[0005]S1：获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工神经网络的刺激图像重建方法，其特征在于，包括：S1：获取用户观察刺激图像时的脑电信号和眼电信号，并通过眼电信号对脑电信号进行预处理，得到视觉脑电信号；S2：构建脑电数据编码网络、图像编码网络、映射网络和图像生成网络，并对脑电数据编码网络、图像编码网络、映射网络和图像生成网络进行训练；S3：通过训练后的脑电数据编码网络对视觉脑电信号进行脑电特征编码，并根据编码后的脑电特征进行类别识别；S4：通过训练后的图像编码网络对刺激图像进行图像特征编码，并根据编码后的图像特征进行类别识别；S5：通过训练后的映射网络建立对应类别的脑电特征分布和图像特征分布间的映射关系，根据对应类别的脑电特征分布和图像特征分布间的映射关系通过训练后的图像网络生成重建图像。2.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，对脑电信号进行预处理，包括：对原始脑电信号使用Butterworth低通滤波器滤去频段在70Hz以上的信号，并使用独立成分分析方法结合眼电信号去除脑电信号中的眼电伪迹；对去除眼电后的信号使用Butterworth带通滤波器截取了频段在1～40Hz之间的信号；对滤波后的信号进行降采样将信号频率将至250Hz；对降采样后的信号进行切片处理，截取保留刺激出现后0.5s以内的信号段。3.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，构建脑电数据编码网络、图像编码网络、映射网络和图像生成网络，包括：所述脑电数据编码网络，包括：编码器和分类器，编码器包括卷积模块、胶囊模块；所述图像编码网络，包括：编码器和分类器；所述映射网络：一层全连接层作为隐藏层的浅层神经网络网络；所述图像生成网络，包括：图像生成器。4.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，对脑电数据编码网络、图像编码网络、映射网络和图像生成网络进行训练，包括：将imagenet数据集中的图像数据分为训练集和验证集，将训练数据集分别输入到各个网络中得到训练结果，根据训练结果使用各个网络的损失函数计算误差值，并通过反向传播算法对各个网络参数进行训练；将验证集输入到训练后的各个网络中得到实际结果；确定实际结果是否达到预期效果，即网络在过拟合现象发生时达到的最佳效果优于基线网络的最佳效果；当所述实际结果达到预期效果时，固定网络参数得到训练完成后的各个网络。5.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，通过训练后的脑电数据编码网络对视觉脑电信号进行脑电特征编码，并根据编码后的脑电特征进行类别识别，包括：将视觉脑电信号输入卷积模块，提取视觉脑电的浅层特征信息，对视觉脑...

【专利技术属性】
技术研发人员：邓欣，王中寅，肖斌，刘柯，高红伟，樊旭峰，孙开伟，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：