结构功能关联的多模态脑网络计算方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种结构功能关联的多模态脑网络计算方法、装置、设备及介质，其应用于训练脑部疾病预测模型，该模型包括关联感知双通道生成模块、疾病特征回归模块、拓扑结构判别器和时间

【技术实现步骤摘要】
结构功能关联的多模态脑网络计算方法、装置、设备及介质


[0001]本申请涉及机器学习
，特别是涉及一种结构功能关联的多模态脑网络计算方法、装置、设备及介质。

技术介绍

[0002]目前，脑部疾病已经成为当今世界普遍存在的健康问题，它严重危及到了患者的生命安全。因此，对于脑部疾病的检测诊断受到越来越多的研究关注，脑连接研究方向正是其中一个方面，通过分析脑连接有助于神经退行性疾病的诊断和病理溯源，以阿尔茨海默症(Alzheimer's disease,AD)为例，阿尔茨海默症患者在疾病发展过程中会出现脑连接变化。这些变化特征可以通过fMRI、DTI等脑影像得到，传统的常规方法是由专业医师通过软件模板设置特定的参数、手动配准、图像校正得到有效连接。这种传统的病理特征分析方法高度依赖于专业医师的经验，有着很高的时间成本和人力成本，且输出效果受软件模板的参数设置影响很大，不利于个性化精准诊疗。
[0003]随着人工智能技术的发展，已出现众多无需依赖专业医师的脑连接智能计算系统。有效连接智能计算系统可分为两大类别：1)基于单模态的有效连接智能计算；2)基于多模态的有效连接智能计算。但是，上述单模态信号主要反映了脑区的活动特征，主要缺陷在于缺失了脑区之间的神经纤维结构特征，从而导致无法利用整体脑拓扑结构信息对脑区之间具有方向性的因果作用关系进行指导，因此限制了模型的学习能力和精度。另一方面，现有基于多模态神经影像数据的智能计算系统仅仅使用仿射拼接或加权求和的方式对多模态数据进行融合，这些方法的问题在于忽略了不同模态数据的异质
‑
异构性，因此难以深入挖掘不同模态之间的互补信息，限制了模型的性能，导致最终得到的模型实用性较差，精度较低。

技术实现思路

[0004]有鉴于此，本申请提供一种结构功能关联的多模态脑网络计算方法、装置、设备及介质，以解决现有脑部疾病预测模型实用性差、精度低的问题。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种结构功能关联的多模态脑网络计算方法，其应用于训练脑部疾病预测模型，脑部疾病预测模型包括关联感知双通道生成模块、疾病特征回归模块、拓扑结构判别器和时间
‑
空间联合判别器；方法包括：获取的脑部功能磁共振数据和磁共振弥散张量成像数据；将脑部功能磁共振数据和磁共振弥散张量成像数据输入关联感知双通道生成模块进行交互式关联感知融合，得到多模态脑区活动信号特征、多模态有效连接矩阵和重构结构连接矩阵；将多模态有效连接矩阵输入疾病特征回归模块进行预测、将重构结构连接矩阵输入拓扑结构判别器进行预测、将多模态脑区活动信号特征输入时间
‑
空间联合判别器进行预测；根据预测的结果和预先构建的损失函数反向更新关联感知双通道生成模块、疾病特征回归模块、拓扑结构判别器和时间
‑
空间联合判别器。
[0006]作为本申请的进一步改进，关联感知双通道生成模块包括脑区特征提取模块、结构至功能转换模块、功能至结构转换模块、定向整体因果推断模块和结构解码模块。
[0007]作为本申请的进一步改进，将脑部功能磁共振数据和磁共振弥散张量成像数据输入至关联感知双通道生成模块进行交互式关联感知融合，得到多模态脑区活动信号特征、多模态有效连接矩阵和重构结构连接矩阵，包括：利用脑区特征提取模块分别从脑部功能磁共振数据、磁共振弥散张量成像数据提取得到第一初始特征、第二初始特征；将第一初始特征和第二初始特征输入结构至功能转换模块，并将结构至功能转换模块输出的特征与第一初始特征进行加权融合，得到新的第一初始特征并重复执行本步骤，最终得到多模态脑区活动信号特征；将第一初始特征和第二初始特征输入功能至结构转换模块，并将功能至结构转换模块输出的特征与第二初始特征进行加权融合，得到新的第二初始特征并重复执行本步骤，最终得到多模态结构特征；将多模态脑区活动信号特征输入至定向整体因果推断模块，得到多模态有效连接矩阵，并将多模态结构特征输入至结构解码模块，得到重构结构连接矩阵。
[0008]作为本申请的进一步改进，将多模态有效连接矩阵输入疾病特征回归模块进行预测、将重构结构连接矩阵输入拓扑结构判别器进行预测、将多模态脑区活动信号特征输入时间
‑
空间联合判别器进行预测，包括：将多模态有效连接矩阵输入疾病特征回归模块进行预测，得到疾病状态预测概率；将重构结构连接矩阵和预处理软件模板输出的经验结构连接矩阵输入拓扑结构判别器进行预测，得到重构结构连接矩阵是由关联感知双通道生成模块输出还是由预处理软件模板输出的概率；将多模态脑区活动信号特征和预处理软件模板输出的经验血氧信号输入时间
‑
空间联合判别器进行预测，得到多模态脑区活动信号特征是由关联感知双通道生成模块输出还是由预处理软件模板输出的概率。
[0009]作为本申请的进一步改进，时间
‑
空间联合判别器包括时间差分判别模块和空间相位判别模块，时间差分判别模块用于从脑区活动时间序列信号的时间连续性特征对关联感知双通道生成模块进行约束，空间相位判别模块从脑区活动信号的空间场分布对关联感知双通道生成模块进行约束。
[0010]作为本申请的进一步改进，损失函数包括疾病特征回归损失、拓扑对抗损失、拓扑感知损失、时间
‑
空间联合对抗损失和归因度量约束损失；
[0011]疾病特征回归损失用于指导疾病特征回归模块和关联感知双通道生成模块参数更新，其表示为：
[0012][0013]其中，表示疾病特征回归损失，A表示多模态有效连接矩阵，y表示疾病状态，p
c
(y|A)表示疾病状态预测概率，表示在真实标签分布下由模型预测的疾病状态概率的期望，以此作为指导模型学习的损失函数；
[0014]拓扑对抗损失用于指导拓扑结构判别器和关联感知双通道生成模块参数更新，其表示为：
[0015][0016][0017]其中，表示指导拓扑结构判别器学习的损失函数，表示通过拓扑结构判别器指导生成器学习的损失函数，S表示重构结构连接矩阵，S
′
表示预处理软件模板输出的经验结构连接矩阵，D
top
表示拓扑结构判别器；
[0018]拓扑感知损失用于指导关联感知双通道生成模块参数更新，其表示为：
[0019][0020]其中，表示拓扑感知损失，||
·
||2表示矩阵的Frobenius范数，λ表示预设的超参数；
[0021]时间
‑
空间联合对抗损失用于指导时间差分判别模块、空间相位判别模块和关联感知双通道生成模块参数更新，其表示为：
[0022][0023][0024]其中，表示指导时间
‑
空间联合判别器学习的损失函数，表示通过时间
‑
空间联合判别器指导生成器学习的损失函数，D
tmp
表示时间差分判别模块，D
spa
表示空间相位判别模块；
[0025本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构功能关联的多模态脑网络计算方法，其特征在于，其应用于训练脑部疾病预测模型，所述脑部疾病预测模型包括关联感知双通道生成模块、疾病特征回归模块、拓扑结构判别器和时间
‑
空间联合判别器；所述方法包括：获取的脑部功能磁共振数据和磁共振弥散张量成像数据；将所述脑部功能磁共振数据和所述磁共振弥散张量成像数据输入所述关联感知双通道生成模块进行交互式关联感知融合，得到多模态脑区活动信号特征、多模态有效连接矩阵和重构结构连接矩阵；将所述多模态有效连接矩阵输入所述疾病特征回归模块进行预测、将所述重构结构连接矩阵输入所述拓扑结构判别器进行预测、将所述多模态脑区活动信号特征输入所述时间
‑
空间联合判别器进行预测；根据预测的结果和预先构建的损失函数反向更新所述关联感知双通道生成模块、所述疾病特征回归模块、所述拓扑结构判别器和所述时间
‑
空间联合判别器。2.根据权利要求1所述的结构功能关联的多模态脑网络计算方法，其特征在于，所述关联感知双通道生成模块包括脑区特征提取模块、结构至功能转换模块、功能至结构转换模块、定向整体因果推断模块和结构解码模块。3.根据权利要求2所述的结构功能关联的多模态脑网络计算方法，其特征在于，所述将所述脑部功能磁共振数据和所述磁共振弥散张量成像数据输入至关联感知双通道生成模块进行交互式关联感知融合，得到多模态脑区活动信号特征、多模态有效连接矩阵和重构结构连接矩阵，包括：利用所述脑区特征提取模块分别从所述脑部功能磁共振数据、所述磁共振弥散张量成像数据提取得到第一初始特征、第二初始特征；将所述第一初始特征和所述第二初始特征输入所述结构至功能转换模块，并将所述结构至功能转换模块输出的特征与所述第一初始特征进行加权融合，得到新的第一初始特征并重复执行本步骤，最终得到所述多模态脑区活动信号特征；将所述第一初始特征和所述第二初始特征输入所述功能至结构转换模块，并将所述功能至结构转换模块输出的特征与所述第二初始特征进行加权融合，得到新的第二初始特征并重复执行本步骤，最终得到多模态结构特征；将所述多模态脑区活动信号特征输入至所述定向整体因果推断模块，得到所述多模态有效连接矩阵，并将所述多模态结构特征输入至所述结构解码模块，得到所述重构结构连接矩阵。4.根据权利要求1所述的结构功能关联的多模态脑网络计算方法，其特征在于，所述将所述多模态有效连接矩阵输入所述疾病特征回归模块进行预测、将所述重构结构连接矩阵输入所述拓扑结构判别器进行预测、将所述多模态脑区活动信号特征输入所述时间
‑
空间联合判别器进行预测，包括：将所述多模态有效连接矩阵输入所述疾病特征回归模块进行预测，得到疾病状态预测概率；将所述重构结构连接矩阵和预处理软件模板输出的经验结构连接矩阵输入所述拓扑结构判别器进行预测，得到所述重构结构连接矩阵是由所述关联感知双通道生成模块输出还是由预处理软件模板输出的概率；
将所述多模态脑区活动信号特征和预处理软件模板输出的经验血氧信号输入所述时间
‑
空间联合判别器进行预测，得到所述多模态脑区活动信号特征是由所述关联感知双通道生成模块输出还是由预处理软件模板输出的概率。5.根据权利要求4所述的结构功能关联的多模态脑网络计算方法，其特征在于，所述时间
‑
空间联合判别器包括时间差分判别模块和空间相位判别模块，所述时间差分判别模块用于从脑区活动时间序列信号的时间连续性特征对所述关联感知双通道生成模块进行约束，所述空间相位判别模块从脑区活动信号的空间场分布对所述关联感知双通道生成模块进行约束。6.根据权利要求5所述的结构功能关联的多模态脑网络计算方法，其特征在于，所述损失函数包括疾病特征回归损失、拓扑对抗损失、拓扑感知损失、时间
‑

【专利技术属性】
技术研发人员：王书强，潘俊任，潘治文，陈绪行，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：