一种基于多模态扩散模型从大脑活动重建图像的方法技术

本发明专利技术公开了一种基于多模态扩散模型从大脑活动重建图像的方法，其包括以下步骤：A1、对采集到的脑电图数据进行预处理；A2、将预处理后的脑电图数据输入脑电特征提取网络，得到脑电数据特征；A3、将脑电数据特征分别输入到图像编码回归模型、图像嵌入回归模型和文本嵌入回归模型，得到图像编码结果、CLIP图像嵌入向量和CLIP文本嵌入向量；A4、将图像编码结果作为多模态扩散模型的图像输入，CLIP图像嵌入向量作为图像隐变量，CLIP文本嵌入向量作为提示词隐变量，进行去噪扩散解码，得到重建的图像。本发明专利技术可以从脑电信号生成可辨识度较高、比较清晰的图片。

【技术实现步骤摘要】

本专利技术涉及一种脑机接口和人工智能领域，尤其是涉及一种基于多模态扩散模型从大脑活动重建图像的方法。

技术介绍

1、视觉是人类获取外界信息的主要途径之一，人类获取的绝大多数信息来自视觉，这与人的感知、情绪、记忆都息息相关，同时，视觉刺激要被感知到并产生有意义的信息离不开相应的大脑活动。这些大脑活动能产生电信号，通过相应的脑机接口设备采集这些信号，再借助一些深度学习模型，能够完成诸如分类、重建图像等任务。

2、早期的图像生成算法如gan等，存在训练困难、需要大量数据、模式崩溃等问题，重建图片的质量和多样性难以保证，同时，要采集大量的脑电数据的成本较高，使得gan的训练更加困难。

技术实现思路

1、本专利技术主要是解决现有技术所存在的图像重建难度大、数据量要求高等的技术问题，提供一种基于多模态扩散模型从大脑活动重建图像的方法。

2、本专利技术针对上述技术问题主要是通过下述技术方案得以解决的：一种基于多模态扩散模型从大脑活动重建图像的方法，包括以下步骤：

3、a1、对采集到的脑电本文档来自技高网...

【技术保护点】

1.一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，所述多模态扩散模型训练时目标函数为：

3.根据权利要求1所述的一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，脑电图数据选择的通道为枕叶和顶叶皮质附近的O1、Oz、O2、PO7、PO3、POz、PO4、PO8、P7、P5、P3、P1、Pz、P2、P4、P6和P8；预处理为先用1Hz的高通滤波器去除直流噪声，再使用白化变换进行归一化，即得到预处理后的脑电图数据。

>4.根据权利要求1...

【技术特征摘要】

1.一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，所述多模态扩散模型训练时目标函数为：

3.根据权利要求1所述的一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，脑电图数据选择的通道为枕叶和顶叶皮质附近的o1、oz、o2、po7、po3、poz、po4、po8、p7、p5、p3、p1、pz、p2、p4、p6和p8；预处理为先用1hz的高通滤波器去除直流噪声，再使用白化变换进行归一化，即得到预处理后的脑电图数据。

4.根据权利要求1或3所述的一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，所述脑电特征提取网络包括三层长短期记忆网络和线性全连接层，脑电特征提取网络的训练过程为：

5.根据权利要求4所述的一种基于多模态扩散模型从大脑活动重建图像的方法，其特征在于，训练脑电特征提取网络后，输入测试集并用图片真实标签和对应的脑电图提取到的特征计算k-means聚类准确率，如果k-mea...

【专利技术属性】
技术研发人员：李光，李旭冉，赵朔，王酉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人