基于功能性磁共振成像信号的梦境解码方法技术

本发明专利技术涉及一种基于功能性磁共振成像信号的梦境解码方法，包括：收集被试睡眠阶段的fMRI数据，并记录梦境报告；对不同被试的fMRI信号进行预处理，转换为统一的2D大脑激活图像；在多个被试之间训练得到一个统一的模型、即真实视觉刺激感知重建模型；将训练好的真实视觉刺激感知重建模型转移到梦境视觉图像解码任务上，输出得到多个单独的梦境视觉解码图像、即得到多个梦境片段；基于包括单镜头梦境描述、梦境故事叙述和视频整合三个阶段的智能导演框架，将多个梦境片段整合成一个连贯的叙事视频。与现有技术相比，本发明专利技术能够将每个时刻的脑活动模式与相应的虚幻视觉帧关联起来，得到对应的梦境图像，并通过动态组装这些图像，构建梦境的完整视觉叙事。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其是涉及一种基于功能性磁共振成像信号的梦境解码方法。

技术介绍

1、梦境是一种在睡眠状态下产生的主观体验，呈现出离散而奇妙的场景、情节和感觉，其脑神经机制仍是科学界迫切需要探索的谜团。近期在脑成像方面的进步，特别是功能性磁共振成像(functional magnetic resonance imaging，fmri)，为深入了解梦境的神经活动提供了独特的窗口。从脑信号解码梦境内容的研究有助于发展更精准的脑-计算机界面，为生理上无法正常交流的个体提供新的沟通途径，也为个性化医疗、脑科技创新提供了丰富的研究内容。

2、梦境解码的目标是从这个复杂的时空序列中提取虚拟视觉体验，通常称为梦境。为实现这一目标，需要考虑两个基本方面：(1)虚幻视觉帧生成：在睡眠期间的特定时刻，个体生成包含梦境体验的虚幻视觉帧，代表了不同时间点感知到的梦境内容；(2)视觉故事信息：这些单独的虚幻视觉帧是更大叙述的一部分，当整合时，形成了连贯的视觉故事，传达了梦境体验的发展和主题元素。

3、传统的研究方法依赖于梦境报告，主观且易受偏见影响。本文档来自技高网...

【技术保护点】

1.一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述步骤S1具体是采用采用3特斯拉磁共振成像扫描仪和32通道RF头线圈，以进行睡眠阶段fMRI数据收集，时间分辨率为1.25Hz；

3.根据权利要求1所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述步骤S3真实视觉刺激感知重建模型的具体训练过程为：

4.根据权利要求1所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述步骤S3中真实视觉刺激感知重建模型的工作过程为：<...

【技术特征摘要】

1.一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述步骤s1具体是采用采用3特斯拉磁共振成像扫描仪和32通道rf头线圈，以进行睡眠阶段fmri数据收集，时间分辨率为1.25hz；

3.根据权利要求1所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述步骤s3真实视觉刺激感知重建模型的具体训练过程为：

4.根据权利要求1所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述步骤s3中真实视觉刺激感知重建模型的工作过程为：

5.根据权利要求4所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述高级引导网络通过两个并行分支处理fmri表示：fmri到文本编码器、辅助编码器，所述fmri到文本编码器用于将fmri信号与clip文本特征对齐，所述辅助编码器用于提供额外的语义信息，以补偿fmri到文本编码器中的不准确性；

6.根据权利要求5所述的一种基于功能性磁共振成像信号的梦境解码方法，其特征在于，所述低级操作网络包括两个组件：特征转换模块和低级特征操纵器，该网络通过直接操纵扩散模型的u-net中的特征图来注入低级fmri条件，从而使生成模型适应fmri信号，特征转换模块同时在fmri嵌入上执行通道和维度的特征学习，具体地，使用两层1d卷积处理fmri嵌入的通道相关性，并使用mlp(mul...

【专利技术属性】
技术研发人员：付彦伟，霍婧阳，冯建峰，
申请(专利权)人：复旦大学，
类型：发明
国别省市：