【技术实现步骤摘要】
本专利技术涉及认知神经科学和人工智能，特别涉及一种基于人脑功能磁共振成像的潜在模型图像重建方法、系统、设备及介质。
技术介绍
1、大脑是人类的知觉中心、思维中心和控制中心，是人类最重要的功能器官。每一时刻都有非常复杂而且庞大的信息流入和流出，人脑高效的信息传递及处理方式保证了人脑认知活动的正常运转。与现有的信息处理系统相比，人脑的信息处理能力非常强大，新兴的神经信息学领域的主要研究目标就是探索人脑的运转机制，其中，视觉信息是人类获取外界信息主要的方式之一，如何解码该信息是目前一个重要的研究重点。
2、为了深入理解视觉编码和解码的过程，研究人员近年来致力于收集大量的数据集，以记录受试者在观看自然图像时的功能磁共振成像信号。在这一领域中，自然场景数据集(natural scenes dataset,nsd)是为满足深度学习模型对数据的需求而构建的，相较于之前的研究成果，nsd数据集是目前采样数据量最多的数据集，并具备较高的分辨率和信噪比。通过利用nsd这一大规模、高质量的数据集，研究人员可以深入研究视觉编码和解码的基本原理。这一数据集的规模和分辨率使得研究人员能够更全面地探索视觉刺激对脑部活动的影响，并揭示不同脑区之间的功能连接。同时，nsd所使用的ms-coco图像具有丰富的语义和上下文信息，这为研究人员提供了更复杂、更真实的视觉刺激，使得他们能够更准确地还原和解码受试者对图像的感知和理解。
3、通过对nsd数据集的研究，能够深入了解大脑如何编码和解码自然图像的特征。这对于理解人类视觉认知的工作原理以及脑部
4、lin,sikun and sprague,thomas and singh,ambuj k等人在“mind reader:reconstructing complex images from brain activities”一文中提出了：将fmri信号编码到一个预先对齐的潜在空间clip中并根据这个空间中的嵌入，使用生成模型重建图像。但是由于直接将编码后的fmri信号放入生成模型中训练，没有经过进一步的处理，导致了生成的图片存在不真实、与原始图像不符的问题。
技术实现思路
1、为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于人脑功能磁共振成像的潜在模型图像重建方法、系统、设备及介质，通过机器学习模型将fmri信号编码到其对应图像的视觉潜在空间中，并基于这些编码后的fmri信号，在庞大的图像数据库中进行图像检索，然后利用生成模型来训练检索出的图像，完成图像的重建，本专利技术最终生成的图片在真实性、多样性和还原性对比于之前的模型有了较大提升，具有真实性强、还原性高的特点。
2、为了实现上述目的，本专利技术采取的技术方案如下：
3、一种基于人脑功能磁共振成像的潜在模型图像重建方法，包括以下步骤：
4、步骤1，fmri信号预处理：通过mask掩模从fmri图像中提取脑区区域图像，利用广义线性模型分析脑区区域图像的体素，进行建模，并展平为一维矢量，得到fmri数据；
5、步骤2：自然刺激图像预处理：获取步骤1中脑区区域图像的自然刺激图像，并将自然刺激图像输入clip模型中，使自然刺激图像转化为clip空间中的特征向量，得到clip数值；
6、步骤3，机器学习模型训练：将步骤1获得的fmri数据和步骤2获得的clip数值输入机器学习编码模型中，使fmri数据转化为特征向量；
7、步骤4，图像检索：将步骤3得到的特征向量与步骤2得到的clip数值进行相似性匹配，通过计算余弦相似度，检索出与步骤3中特征向量的图像最相似的图像；
8、步骤5，图像重建：将步骤4检索出的图像输入ddpm扩散模型中进行训练，得到重建图像。
9、所述步骤2具体为：
10、步骤2.1，采集若干种步骤1中不同类型的脑区区域图像的自然刺激图像，每种类型的图像采集若干张；
11、步骤2.2，将步骤2.1采集到的若干张图片输入clip模型，生成对应的特征向量，得到clip数值，将生成的clip数值保存到字典中。
12、所述步骤3具体为：
13、步骤3.1，将数据库导入机器学习编码模型，并利用参数解析器从命令行中获取主体编号作为模型的参数；所述机器学习编码模型的算法为k近邻回归算法；
14、步骤3.2，将步骤1获得的fmri数据和步骤2获得的clip数值输入步骤3.1设置好参数的机器学习编码模型，进行归一化处理；
15、步骤3.3，将步骤3.2归一化处理后的fmri数据和clip数值划分为训练集和测试集；
16、步骤3.4，以clip数值为基准，利用步骤3.3训练集中的fmri数据，对机器学习编码模型进行训练，相应的视觉刺激数据的第一个维度作为目标变量，得到训练好的机器学习编码模型，即k近邻回归器；
17、步骤3.5，将步骤3.3中的测试集输入步骤3.4的k近邻回归器中进行预测，并计算机器学习编码模型在测试集上的得分，得到预测结果，即fmri数据对应的特征向量。
18、所述步骤5具体为：
19、步骤5.1，对步骤4检索出的图像进行预处理，所述预处理包括调整图像大小、随机剪裁、张量转换和归一化操作；
20、步骤5.2，利用数据加载器将步骤5.1预处理后的图像输入ddpm扩散模型中进行迭代训练，并利用优化器adam、学习率调度器和均方误差损失函数mse对模型训练过程中的参数进行优化和损失计算，得到重建图像。
21、所述步骤3.4中对机器学习编码模型进行训练，具体为：
22、步骤3.4.1，确定k近邻回归器中用于预测的k值；
23、步骤3.4.2，将包含fmri数据和该数据对应刺激图像生成的clip数值的训练集输入k近邻回归器；
24、步骤3.4.3，计算待预测fmri数据与训练集中所有clip数值的距离，得到距离最近的k个邻居样本；
25、步骤3.4.4，基于步骤3.4.3中k个邻居样本的输出值，采用均值或加权平均法预测待预测fmri数据的输出值，得到预测结果，即fmri数据对应的特征向量；
26、步骤3.4.5，重复步骤3.4.1-步骤3.4.4，对模型进行迭代训练，得到训练好的k近邻回归器。
27、所述步骤5中的ddpm扩散模型选用u-net神经网络架构，所述u-net神经网络架构包括：
28、编码器：由卷积层和池化层组成，负责从输入图像本文档来自技高网...
【技术保护点】
1.一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤2具体为：
3.根据权利要求1所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤3具体为：
4.根据权利要求1所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤5具体为：
5.根据权利要求3所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤3.4中对机器学习编码模型进行训练，具体为：
6.根据权利要求1或4所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤5中的DDPM扩散模型选用U-Net神经网络架构，所述U-Net神经网络架构包括：
7.根据权利要求1或4所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤5中的均方误差损失函数MSE，用于衡量模型预测值与实际值之间的差异，计算方式如下：
8.一
9.一种基于人脑功能磁共振成像的潜在模型图像重建设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于：
...【技术特征摘要】
1.一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤2具体为：
3.根据权利要求1所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤3具体为：
4.根据权利要求1所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤5具体为：
5.根据权利要求3所述的一种基于人脑功能磁共振成像的潜在模型图像重建方法，其特征在于，所述步骤3.4中对机器学习编码模型进行训练，具体为：
6...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。