基于Gabornet的大脑低级视觉区信号处理方法及系统技术方案

本发明专利技术属于功能磁共振信号处理技术领域，特别涉及一种基于Gabornet的大脑低级视觉区信号处理方法及系统，包含：构建视觉编码模型，包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；利用样本数据对视觉编码模型进行训练优化；利用视觉编码模型对目标大脑低级视觉区信号进行预测，分析外部视觉刺激时目标大脑低级视觉区信号变化过程。本发明专利技术针对低级视觉区构建相应视觉编码模型，通过改善编码效果来提升对低视觉区大脑信号的预测效果。

【技术实现步骤摘要】
基于Gabornet的大脑低级视觉区信号处理方法及系统
本专利技术属于功能磁共振信号处理
，特别涉及一种基于Gabornet的大脑低级视觉区信号处理方法及系统。
技术介绍
近年来，神经影像技术取得了一系列进展，陆续出现了脑电(Electroencephalography,EEG)、脑磁(Magnetoencephalography,MEG)、功能性近红外光谱(functionalNear-InfraredSpectroscopy,fNIRS)、功能磁共振成像(functionalMagneticResonanceImaging，fMRI)等一系列的非侵入式成像方法。在这些方法中，功能磁共振成像技术因其同时具备较高的空间分辨率和时间分辨率，被誉为“人脑思维阅读器”，已然成为了在宏观角度研究大脑视觉信息处理机制的最主要神经影像手段。计算机视觉编码模型是以大脑的视觉感知机制为基础，通过建立一个大脑视觉信息处理的可计算编码模型来表述大脑对外界刺激的响应，以实现对大脑活动的预测，描述人类在感知和分析外部视觉刺激时自身脑信号的变化过程。基于f本文档来自技高网...

【技术保护点】
1.一种基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，包含如下内容：/n构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；/n利用样本数据对视觉编码模型进行训练优化；/n利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。/n

【技术特征摘要】
1.一种基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，包含如下内容：
构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；
利用样本数据对视觉编码模型进行训练优化；
利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。


2.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，视觉编码模型采用端到端的CNN卷积神经网络模型结构。


3.根据权利要求1或2所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，卷积操作中，设置卷积核大小、卷积步幅及卷积通道数，对模型输入数据进行下采样，每层卷积操作后使用ReLU作为激活函数；通过体素回归模块来输出与视觉区体素个数相同的维度。


4.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，Gabor卷积层中Gabor小波卷积核各个参数(ω，σ，φ，θ)通过反向传播算法学习得到。


5.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，视觉编码模型采用ROI-wise方式，一次完成一个ROI中所有体素响应预测；通过样本数据中图片刺激和对应整个ROI的fMRI脑信号对模型进行端到端训练，联合优化模型参数。


6.根据权利要求1所述的基于Ga...

【专利技术属性】
技术研发人员：童莉，张驰，王林元，崔以博，高辉，于子雅，闫镔，乔凯，丁鹏辉，李经纬，胡露露，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：河南;41