一种基于人工神经网络的刺激图像重建方法及系统技术方案

本发明专利技术属于脑机接口领域，具体涉及一种基于人工神经网络的刺激图像重建方法及系统，该方法包括：首先处理由脑电仪器采集得到的由视觉刺激诱发的脑电数据，并利用人工神经网络学习脑电信号中的可分类特征形成脑电特征编码；利用预训练的图像分类模型提取视觉刺激对应的图像特征编码，并通过编码信息和类别信息训练得到一个可以生成图像的生成器模型；通过训练一个神经网络构建对应类别的脑电特征分布和图像特征分布间的映射关系；通过端到端的方式构建脑电特征与图像特征的映射关系，从而实现基于脑电信号重建图像刺激的方法；本发明专利技术提高了训练的并行度，使得整个方法识别率高，训练难度小，训练速度快。训练速度快。训练速度快。

【技术实现步骤摘要】
一种基于人工神经网络的刺激图像重建方法及系统


[0001]本专利技术属于脑机接口视觉图像重建领域，具体涉及一种基于人工神经网络的刺激图像重建方法及系统。

技术介绍

[0002]随着认知神经科学的不断发展，过去出现在科幻小说中的“读心术”现在已经成为现实。通过神经影像技术，人们可以观察各种认知任务下的大脑活动状态，从而学习认知行为与大脑活动之间的神经编码逻辑。脑电图(Electroencephalogram，EEG)是一种成熟的神经影像技术，已经被广泛用于解码情绪，运动想象等认知活动，但是在图像重建领域依然处于探索阶段。目前领域内的图像重建方法基本依赖于传统生成对抗网络，这种方法存在传统卷积结构对空间位置不敏感而损失特征信息，网络结构复杂导致训练难度大耗时长，训练数据量受实验难度局限等问题。

技术实现思路

[0003]为解决上述技术问题，本专利技术提出一种基于人工神经网络的刺激图像重建方法及系统，包括：
[0004]一方面，本专利技术提供一种基于人工神经网络的刺激图像重建方法，包括以下步骤：
[0005]S1：获取用户观察刺激图像时的脑电信号和眼电信号，并通过眼电信号对脑电信号进行预处理，得到视觉脑电信号；
[0006]S2：构建脑电数据编码网络、图像编码网络、映射网络和图像生成网络，并对脑电数据编码网络、图像编码网络、映射网络和图像生成网络进行训练；
[0007]S3：通过训练后的脑电数据编码网络对视觉脑电信号进行脑电特征编码，并根据编码后的脑电特征进行类别识别；/>[0008]S4：通过训练后的图像编码网络对刺激图像进行图像特征编码，并根据编码后的图像特征进行类别识别；
[0009]S5：通过训练后的映射网络建立对应类别的脑电特征分布和图像特征分布间的映射关系，根据对应类别的脑电特征分布和图像特征分布间的映射关系通过训练后的图像网络生成重建图像。
[0010]优选的，对脑电信号进行预处理，包括：
[0011]对原始脑电信号使用Butterworth低通滤波器滤去频段在70Hz以上的信号，并使用独立成分分析方法结合眼电信号去除脑电信号中的眼电伪迹；对去除眼电后的信号使用Butterworth带通滤波器截取了频段在1～40Hz之间的信号；对滤波后的信号进行降采样将信号频率将至250Hz；对降采样后的信号进行切片处理，截取保留刺激出现后0.5s以内的信号段。
[0012]优选的，构建脑电数据编码网络、图像编码网络、映射网络和图像生成网络，包括：
[0013]所述脑电数据编码网络，包括：编码器和分类器，编码器包括卷积模块、胶囊模块；
[0014]所述图像编码网络，包括：编码器和分类器；
[0015]所述映射网络：一层全连接层作为隐藏层的浅层神经网络网络；
[0016]所述图像生成网络，包括：图像生成器。
[0017]优选的，对脑电数据编码网络、图像编码网络、映射网络和图像生成网络进行训练，包括：
[0018]将imagenet数据集中的图像数据分为训练集和验证集，将训练数据集分别输入到各个网络中得到训练结果，根据训练结果使用各个网络的损失函数计算损失值，并通过反向传播算法对各个网络参数进行训练；将验证集输入到训练后的各个网络中得到实际结果；确定实际结果是否达到预期效果，即网络在过拟合现象发生时达到的最佳效果优于基线网络的最佳效果；当所述实际结果达到预期效果时，固定网络参数得到训练完成后的各个网络。
[0019]优选的，通过训练后的脑电数据编码网络对视觉脑电信号进行脑电特征编码，并根据编码后的脑电特征进行类别识别，包括：
[0020]将视觉脑电信号输入卷积模块，提取视觉脑电的浅层特征信息，对视觉脑电的浅层特征信息进行编码，得到浅层的脑电信号特征编码；将浅层脑电信号特征编码输入胶囊模块，提取视觉脑电的深层特征信息，对视觉脑电的深层特征信息进行编码，得到深层的脑电信号特征编码；将深层的脑电信号特征编码输入分类器，得到对应类别的编码向量，计算对应类别的编码向量的长度得到分类概率，选取概率最高的类别得到分类结果。
[0021]优选的，通过训练后的图像编码网络对刺激图像进行图像特征编码，并根据编码后的图像特征进行类别识别，包括：
[0022]将刺激图像输入训练后的图像编码网络，通过编码器对刺激图像进行图像特征编码，将编码后的图像特征输入分类器，得到分类结果。
[0023]优选的，通过训练后的映射网络建立对应类别的脑电特征分布和图像特征分布间的映射关系，包括：
[0024]使用聚类算法计算对应类别的脑电特征分布和图像特征分布的聚类中心，将对应类别的脑电特征分布和图像特征分布的聚类中心输入映射网络，得到映射后的脑电特征分布和图像特征分布的聚类中心向量。
[0025]优选的，通过训练后的图像生成网络进行图像重建，包括：
[0026]将脑电特征分布下的某一类别的聚类中心向量映射为图像特征分布下的该类别的聚类中心向量，将图像特征分布下的该类别的聚类中心向量添加随机噪声向量形成该类别下的图像特征编码，将该图像特征编码输入训练后的图像生成网络，通过生成器将其解码成该类别的图像数据。
[0027]另一方面，本专利技术提供一种基于人工神经网络的刺激图像重建系统，包括：数据采集模块、信号处理模块、图像处理模块、图像重建模块；
[0028]所述数据采集模块用于采集用户观察图像时产生的脑电信号和眼电信号，并通过眼电信号对脑电信号进行预处理，得到视觉脑电信号；
[0029]所述信号处理模块用于对视觉脑电信号进行脑电特征编码，并根据编码后的脑电特征进行类别识别；
[0030]图像处理模块用于对刺激图像进行图像特征编码，并根据编码后的图像特征进行
类别识别；
[0031]所述图像重建模块根据图像特征编码脑电特征编码生成图像信号。
[0032]优选的，信号处理模块，包括：信号预处理单元，信号特征编码单元，信号映射转换单元；
[0033]所述信号预处理单元用于对用户的视觉脑电信号进行预处理并送入信号特征编码单元；
[0034]所述的信号特征编码单元用于将预处理后的脑电信号进行特征编码，并送入信号映射转换单元；
[0035]所述的信号映射转换单元用于将脑电信号的特征编码映射到图像特征编码的分布内，并送入图像重建模块中。
[0036]本专利技术的有益效果：
[0037]本专利技术通过解析使用者观察刺激图像时的脑电信号生成具有相同语义的图像，解析使用的网络模型中胶囊网络结构代替了卷积结构，弥补了卷积结构的不足，脑电特征编码到图像特征编码的映射采用分布映射的方式，忽视单个样本的影响，注重整体的映射效果，降低了模型之间的依赖程度，提高了训练的并行度，使得整个方法识别率高，训练难度小，训练速度快。
附图说明
[0038]图1为本专利技术提供的一种基于脑电信号还原刺激图像的人工神经网络方法的流程图；
[0039]图2为本专利技术的系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工神经网络的刺激图像重建方法，其特征在于，包括：S1：获取用户观察刺激图像时的脑电信号和眼电信号，并通过眼电信号对脑电信号进行预处理，得到视觉脑电信号；S2：构建脑电数据编码网络、图像编码网络、映射网络和图像生成网络，并对脑电数据编码网络、图像编码网络、映射网络和图像生成网络进行训练；S3：通过训练后的脑电数据编码网络对视觉脑电信号进行脑电特征编码，并根据编码后的脑电特征进行类别识别；S4：通过训练后的图像编码网络对刺激图像进行图像特征编码，并根据编码后的图像特征进行类别识别；S5：通过训练后的映射网络建立对应类别的脑电特征分布和图像特征分布间的映射关系，根据对应类别的脑电特征分布和图像特征分布间的映射关系通过训练后的图像网络生成重建图像。2.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，对脑电信号进行预处理，包括：对原始脑电信号使用Butterworth低通滤波器滤去频段在70Hz以上的信号，并使用独立成分分析方法结合眼电信号去除脑电信号中的眼电伪迹；对去除眼电后的信号使用Butterworth带通滤波器截取了频段在1～40Hz之间的信号；对滤波后的信号进行降采样将信号频率将至250Hz；对降采样后的信号进行切片处理，截取保留刺激出现后0.5s以内的信号段。3.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，构建脑电数据编码网络、图像编码网络、映射网络和图像生成网络，包括：所述脑电数据编码网络，包括：编码器和分类器，编码器包括卷积模块、胶囊模块；所述图像编码网络，包括：编码器和分类器；所述映射网络：一层全连接层作为隐藏层的浅层神经网络网络；所述图像生成网络，包括：图像生成器。4.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，对脑电数据编码网络、图像编码网络、映射网络和图像生成网络进行训练，包括：将imagenet数据集中的图像数据分为训练集和验证集，将训练数据集分别输入到各个网络中得到训练结果，根据训练结果使用各个网络的损失函数计算误差值，并通过反向传播算法对各个网络参数进行训练；将验证集输入到训练后的各个网络中得到实际结果；确定实际结果是否达到预期效果，即网络在过拟合现象发生时达到的最佳效果优于基线网络的最佳效果；当所述实际结果达到预期效果时，固定网络参数得到训练完成后的各个网络。5.根据权利要求1所述的一种基于人工神经网络的刺激图像重建方法，其特征在于，通过训练后的脑电数据编码网络对视觉脑电信号进行脑电特征编码，并根据编码后的脑电特征进行类别识别，包括：将视觉脑电信号输入卷积模块，提取视觉脑电的浅层特征信息，对视觉脑...

【专利技术属性】
技术研发人员：邓欣，王中寅，肖斌，刘柯，高红伟，樊旭峰，孙开伟，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：