【技术实现步骤摘要】
本专利技术涉及fmri功能磁共振成像数据以及eeg脑电图数据的因果发现方法，针对基于fmri与eeg数据来实现计算机辅助诊断脑疾病的目标，设计了一种融合fmri和eeg数据的动态脑效应连接深度学习方法。
技术介绍
1、脑效应连接网络(brain effective connectivity network)能够反应人脑不同脑区之间潜在的因果关系，是脑疾病早期诊断和治疗评估的一种有效工具。近年来，基于深度学习的脑效应连接学习方法展现出了巨大的潜力。由于动态脑效应连接(dynamiceffective connectivity,dec)能够表征脑区间效应连接的时序变化，包含了更为丰富的动态脑神经活动信息。因此，dec学习是当前脑科学领域的一个研究热点。
2、近年来，随着神经影像学技术的普及，越来越多的检测成像技术被应用于人脑功能的探索。其中，应用最广泛的是功能磁共振成像(functional magnetic resonanceimaging，fmri)和脑电图(electroencephalogram，eeg)。fmri和eeg的优势在于不仅可以非侵入式地探测到大脑功能的动态变化，而且目前没有已知的副作用。因此，越来越多的脑科学研究者利用fmri数据和eeg数据对人脑功能开展研究，并揭示了一系列大脑神经活动规律与人类行为之间的关联。
3、现有的dec学习方法的主要缺陷在于仅采用单一的fmri或eeg数据进行学习，其中fmri数据具有高空间分辨率、低时间分辨率的特点，而eeg数据的特性与之相反。由于脑神经活动
4、因此，如何同时从fmri和eeg多个模态的数据中准确地学习动态脑效应连接网络仍是该领域中一个极具挑战的课题。
技术实现思路
1、针对现有的动态脑效应连接学习方法从单一模态数据中学习到的脑效应连接网络准确率不够高的情况，本专利技术提出了一种融合fmri和eeg数据的动态脑效应连接深度学习方法。该方法首先通过构建一种动态因果网络来有效提取fmri和eeg两种模态中的因果信息。然后，该方法引入了一种注意力机制(attention mechanism)，该机制通过生成多模态注意力图来引导两种模态的因果信息的更新，进而获取准确的dec。此外，该方法还设计了fmri评价网络、eeg评价网络和模态评价网络三个评价网络来分别计算各自的梯度，并通过加权组合来进一步指导动态因果网络获取更准确的dec。
2、实现本专利技术的主要思路是：fmri数据具有较高的空间分辨率，而时间分辨率较低。相反，eeg数据具有高时间分辨率的特点，而空间分辨率相比fmri数据则处于较低水平。对于dec学习任务，脑神经活动的时间和空间信息都具有重要的意义，仅采用单一模态的数据导致这些方法无法全面地利用丰富的时间和空间信息，从而限制了这些方法进一步提升学习性能，因此同时利用两种模态的数据可以综合脑神经活动的时间和空间信息。通过深度学习神经网络训练来更新参数，能够激励神经网络对多模态信息的交互模式进行建模，从而使得网络能够自适应地对多模态数据进行融合。所以本专利技术将深度学习用于从fmri和eeg两种模态数据中学习dec，可能有助于缓解单一模态数据难以提供足够信息问题，从而进一步提高动态脑效应连接学习的准确性。
3、一种融合fmri和eeg数据的动态脑效应连接深度学习方法，包括以下步骤：
4、步骤一，获取源水平时间序列：将输入的fmri和eeg时间序列数据使用fmri和eeg源编码模块将两种模态映射为相同维度的源水平时间序列。
5、步骤二，提取因果信息：利用动态因果网络(dynamic causal network，dcn)来从fmri和eeg两种模态的源水平时间序列中提取因果信息，并产生两种模态的生成时间序列。
6、步骤三，时间序列融合：采用注意力引导层(attention-guided layer)生成两种模态的多模态注意力图以及融合时间序列，并将它们与dcn所估计的因果关系和生成时间序列分别进行融合，以获得两种模态的dec和后验源水平时间序列。
7、步骤四，时间序列解码与状态划分：利用fmri和eeg信号解码模块来将后验源水平时间序列还原为与输入数据维度相同的后验时间序列，并采用状态估计模块对两种模态的融合dec进行状态划分。
8、步骤五，计算梯度并输出dec：首先利用fmri评价网络、eeg评价网络和模态评价网络三个评价网络来分别计算各自的梯度，最后通过对三个评价网络的输出结果进行加权组合指导算法获取最终的dec。
9、与现有技术相比，本专利技术具有以下明显的优势和有益效果；
10、(1)引入了一种多模态融合机制，同时利用了fmri和eeg两种模态的数据，综合了脑神经活动的时间和空间信息，缓解了单一模态数据难以提供足够信息问题。
11、(2)设计了一种注意力引导机制，对两种模态的冗余信息起到一定的过滤作用，有效地融合了两种模态的数据来学习dec。
12、(3)设计了fmri评价网络、eeg评价网络与模态评价网络，提升了算法学习的准确率与性能。
本文档来自技高网...【技术保护点】
1.一种融合fMRI和EEG数据的动态脑效应连接深度学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种融合fMRI和EEG数据的动态脑效应连接深度学习方法，其特征在于，fMRI源编码模块和EEG源编码模块中，将fMRI时间序列xf和EEG时间序列xe分别输入源编码模块，分别输出fMRI源水平时间序列rf和EEG源水平时间系列re；
3.根据权利要求2所述的一种融合fMRI和EEG数据的动态脑效应连接深度学习方法，其特征在于，步骤二中，对数据进行离散化处理，设计动态因果网络来提取两种模态下脑区间的时变因果关系，将步骤一生成的源水平时间序列rf或re输入至DCN，输出得到生成的时间序列或DCN的框架类似于一组循环神经网络，包含Pf×Te个因果单元CU；CU形成的隐藏层矩阵的行数等于脑区数Pf，列数与时间序列的长度Te相同，隐藏层之间的网络参数不共享权重；
4.根据权利要求3所述的一种融合fMRI和EEG数据的动态脑效应连接深度学习方法，其特征在于，步骤三中，引入注意力引导层融合两种模态的信息并且强化两种模态中的交叉信息；两个注意力引
5.根据权利要求4所述的一种融合fMRI和EEG数据的动态脑效应连接深度学习方法，其特征在于，步骤四中，将后验源水平时间序列和输入至fMRI信号解码模块和EEG信号解码模块；然后通过将Att和W求和来获得G，目的是利用多模态注意力图Att引导因果关系W从而缩小两种模式之间的差距；此外，计算Gf和Ge的平均值作为MCAN估计的效应连接网络
6.根据权利要求1所述的一种融合fMRI和EEG数据的动态脑效应连接深度学习方法，其特征在于，步骤五中，多模态因果评价网络由三个评价网络执行联合分类任务，包括fMRI评价网络、EEG评价网络和模态评价网络；
...【技术特征摘要】
1.一种融合fmri和eeg数据的动态脑效应连接深度学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种融合fmri和eeg数据的动态脑效应连接深度学习方法，其特征在于，fmri源编码模块和eeg源编码模块中，将fmri时间序列xf和eeg时间序列xe分别输入源编码模块，分别输出fmri源水平时间序列rf和eeg源水平时间系列re；
3.根据权利要求2所述的一种融合fmri和eeg数据的动态脑效应连接深度学习方法，其特征在于，步骤二中，对数据进行离散化处理，设计动态因果网络来提取两种模态下脑区间的时变因果关系，将步骤一生成的源水平时间序列rf或re输入至dcn，输出得到生成的时间序列或dcn的框架类似于一组循环神经网络，包含pf×te个因果单元cu；cu形成的隐藏层矩阵的行数等于脑区数pf，列数与时间序列的长度te相同，隐藏层之间的网络参数不共享权重；
4.根据权利要求3所述的一种融合fmri和eeg数据的动态脑效...
【专利技术属性】
技术研发人员：刘金铎，冀俊忠，翟继豪，韩露，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。