一种基于人脑fMRI重建视觉刺激图像的方法及系统技术方案

本发明专利技术涉及视觉重建技术领域，公开了基于人脑fMRI重建视觉刺激图像的方法及系统，方法包括获取fMRI数据集，从fMRI数据集中提取fMRI体素数据进行patch遮罩，对fMRI体素数据的空间冗余进行稀疏编码处理，得到体素小块；体素小块通过一维卷积层转化成嵌入token，并随机遮罩至编码器中，在编码器的末端添加掩码符号、位置嵌入、patch编码，线性投影转化为解码器的嵌入空间，得到fMRI的潜在特征；获取fMRI对应的图像和文本数据集，在fMRI图像和文本数据集中利用训练好的CLIP模型提取CLIP的视觉和文本特征，对CLIP的视觉特征进行解码，得到初步图像；通过自编码器进行编码，利用fMRI的潜在特征和CLIP的文本特征通过线性插值混合，得到像素重建，实现了结构清晰的初步重建图像的快速生成。

【技术实现步骤摘要】

本专利技术涉及视觉重建，尤其涉及一种基于人脑fmri重建视觉刺激图像的方法及系统。

技术介绍

1、视觉解码是连接大脑活动与视觉刺激的重要技术，为理解大脑代表世界的方式及解释计算机视觉模型与人类视觉系统之间的联系提供了重要途径。现有方法包括基于脑电图（eeg）、基于脑机接口（bci）和基于功能磁共振成像（functional magnetic resonanceimaging，fmri）的视觉解码。然而，基于eeg的方法空间分辨率较低，易受头部组织影响；基于bci的方法空间分辨率有限且受外部干扰；而基于fmri的方法提供较高空间分辨率，能准确定位脑活动，且具备广泛视野，可监测多个脑区活动。

2、基于fmri的视觉解码通过测量血氧水平变化间接反映脑区神经活动，提供高时空分辨率成像。然而，个体差异和数据稀缺性是当前研究面临的挑战。为解决这一问题，提出一种创新的方法，即设计带掩码建模的fmri预训练方案，并使用双条件增强的潜在扩散模型进行图像生成。该方法通过大型fmri数据集进行预训练，利用掩码条件指导图像生成，从而生成更可信、语义相似的图像。这一方法本文档来自技高网...

【技术保护点】

1.一种基于人脑fMRI重建视觉刺激图像的方法，其特征在于，包括：

2.如权利要求1所述的基于人脑fMRI重建视觉刺激图像的方法，其特征在于，通过进行patch遮罩后，对所述fMRI体素数据的空间冗余进行稀疏编码处理，以得到体素小块，包括，

3.如权利要求1或2所述的基于人脑fMRI重建视觉刺激图像的方法，其特征在于，将所述体素小块通过一维卷积层转化成嵌入token，将嵌入token随机遮罩到编码器中，在编码器的末端添加掩码符号和位置嵌入以及patch编码，并通过线性投影转化为解码器的嵌入空间，得到fMRI的潜在特征，包括，

4.如权利要求3所述的基于...

【技术特征摘要】

1.一种基于人脑fmri重建视觉刺激图像的方法，其特征在于，包括：

2.如权利要求1所述的基于人脑fmri重建视觉刺激图像的方法，其特征在于，通过进行patch遮罩后，对所述fmri体素数据的空间冗余进行稀疏编码处理，以得到体素小块，包括，

3.如权利要求1或2所述的基于人脑fmri重建视觉刺激图像的方法，其特征在于，将所述体素小块通过一维卷积层转化成嵌入token，将嵌入token随机遮罩到编码器中，在编码器的末端添加掩码符号和位置嵌入以及patch编码，并通过线性投影转化为解码器的嵌入空间，得到fmri的潜在特征，包括，

4.如权利要求3所述的基于人脑fmri重建视觉刺激图像的方法，其特征在于，在所述fmri对应的图像和文本数据集中利用训练好的clip模型提取clip的视觉特征和文本特征，包括，

5....

【专利技术属性】
技术研发人员：吴安琪，霍智勇，夏宇阳，张怡冉，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：