基于时空图卷积的脑网络分类方法技术

本发明专利技术为基于时空图卷积的脑网络分类方法，对于静息态功能磁共振影像数据的时间序列，使用拆分的时空图卷积同时提取时间特征和空间特征。该方法首先采用基于体素形态的分析法对静息态功能磁共振影像进行分析，利用大脑模板将大脑皮层划分为多个感兴趣区域，将大脑建模为图结构的脑网络，并利用多个时空图卷积层分别提取时间特征和空间特征，降低了卷积操作的复杂度。为了进一步提升训练效果，该方法利用三元组损失函数来提升模型训练效果，使用时空图注意力模块来进一步提取空间特征和时间特征，从而提高基于大脑网络的分类精度。从而提高基于大脑网络的分类精度。从而提高基于大脑网络的分类精度。

【技术实现步骤摘要】
基于时空图卷积的脑网络分类方法


[0001]本专利技术的技术方案涉及用于识别图形的方法，具体地说是基于时空图卷积的脑网络分类方法。

技术介绍

[0002]近年来，随着科技的发展和创新，世界各国陆续开展了相应的脑计划项目，旨在通过核磁共振、正电子发射型计算机断层扫描等成像技术，同时利用单核苷酸多态性等精细的分子技术来对人类大脑进行建模和研究，实现对大脑疾病(如阿尔茨海默病、精神分裂症和自闭症)的早期诊断，进行及时的干预和治疗。近年的研究表明，一些表型特征因素(例如性别、年龄、是否吸烟饮酒等)对部分神经退行性疾病存在重要的影响，因此研究者们也通过大脑成像技术研究表型因素差异在大脑结构和功能上的表现，分析其对大脑疾病的影响，实现针对性治疗和预防。例如，2022年世界阿尔茨海默病防治协会的报告称，65岁以上老人阿尔茨海默病终生患病率约为21.1％(女)和11.6％(男)，因此研究性别差异对大脑疾病的影响是十分必要的。
[0003]大脑具有十分复杂的功能和结构，并且时刻处于变化中。静息态功能磁共振成像通过长时间的扫描，记录了一段时间内大脑在静止状态下的血氧浓度依赖对比信号的变化，刻画了大脑的自发活动和周期变化，因此可以利用静息态功能磁共振成像数据的时间特性来研究大脑功能变化过程，并从大脑功能层面上研究性别差异的表现，从而分析这些差异对大脑疾病的影响效果。随着核磁共振成像技术的普及和推广，世界范围内越来越多的机构和医院陆续采集了大量高质量的影像数据，并对病人进行了长时间的随访诊疗，为研究大脑结构功能提供了重要的数据来源。
[0004]CN114287908A公开了一种多通带图卷积的脑连接分类方法，该方法利用全脑的功能影像特征，从脑的白质和灰质分区中提取功能连接网络，并在现有的图卷积网络的基础上，使用多通带特征学习，通过图散射卷积来融合低通滤波和带通滤波。该方法没有考虑功能磁共振成像数据的时间动态性，对全时间点的血氧浓度依赖对比信号进行了相关性分析来构建全脑的脑网络，不能充分利用时间动态性。CN114863181A公开了一种基于预测概率知识蒸馏的性别分类方法，该方法利用教师
‑
学生的知识蒸馏模型，分别使用ResNet18和CNN网络来进行训练，实现性别预测。该方法利用深度卷积模型进行性别分类任务，提升了分类准确率，但是忽略了脑网络模型的可解释性，无法从大脑结构和功能层面对所做的预测结果进行解释。CN110477909A公开了一种基于静息态脑电数据的性别分类方法，该方法采集静息态脑电数据，在对原始脑电数据进行预处理和去除伪迹操作后，输入到卷积神经网络中进行训练和测试。该方法虽然去除了伪迹的影响，但是只用了最原始的CNN网络进行性别分类任务，没有充分考虑原始数据噪声对训练过程的影响。
[0005]总之，在现有的脑网络分类方法中，目前的特征提取方法均不能同时有效地提取静息态功能磁共振影像数据的时间特征和空间特征，在分类预测任务中存在错误率高、解释性差的缺陷，精度有待提高。

技术实现思路

[0006]本专利技术的技术任务是针对以上不足，提供基于时空图卷积的脑网络分类方法，对于静息态功能磁共振影像数据的时间序列，使用拆分的时空图卷积同时提取时间特征和空间特征。该方法首先采用基于体素形态的分析法对静息态功能磁共振影像进行分析，利用大脑模板将大脑皮层划分为多个感兴趣区域，将大脑建模为图结构的脑网络，并利用多个时空图卷积层分别提取时间特征和空间特征，降低了卷积操作的复杂度。为了进一步提升训练效果，该方法利用三元组损失函数来提升模型训练效果，使用时空图注意力模块来进一步提取空间特征和时间特征，从而提高基于大脑网络的分类精度。本专利技术公开的方法针对时间序列数据能够有效地提取脑区的空间特征，并充分利用其时间动态性。
[0007]上文中，“时空图卷积”的英文为“Spatial
‑
Temporal Graph Convolution”，缩写为S
‑
TGConv，“时空图注意力”的英文为“Spatial
‑
Temporal GraphAttention Block”，缩写为S
‑
TGAtten，“三元组损失”的英文为“Triplet Loss”，“感兴趣区域”的英文为“Region OfInterest”，缩写为ROI，“基于体素形态的分析法方法”英文为“Voxel
‑
BasedMorphometry”，缩写为VBM。
[0008]本专利技术解决该技术问题所采用的技术方案是：基于时空图卷积的脑网络分类方法，其特征在于，基于时空图卷积的脑网络分类方法，其特征在于，该分类方法包括以下内容：
[0009]获取静息态功能磁共振影像数据后，利用基于体素的分析法通过人类连接计划多模态分割图谱(HCP
‑
MMP)提取出多个感兴趣区域；
[0010]以感兴趣区域的时间序列特征构建图结构脑网络，并获得所有样本共享的邻接矩阵A；
[0011]构建分类预测模型：
[0012]所述分类预测模型的整个网络包含1个通道数为64、时间核和空间核大小均为11的时空图卷积S
‑
TGConv模块、1个通道数为128，时间核大小为11，空间核大小为5的时空图卷积S
‑
TGConv模块、1个通道数为128的时空图注意力S
‑
TGAtten模块、一层归一化BN层、一层Dropout层、两层全连接层、一个分类函数；其中两个S
‑
TGConv模块使用了不同的通道数和核大小，按照通道数由小到大依串联后连接S
‑
TGAtten模块，将第二个S
‑
TGConv模块中的时空图卷积处理并拼接后的特征与S
‑
TGAtten模块直接输出的特征进行求和，再经过LeakyReLU激活函数后的输出依次连接归一化BN层、一层Dropout层、两层全连接层，再经分类函数获得分类预测模型的输出；所述S
‑
TGAtten模块的通道数与第二个S
‑
TGConv模块的通道数一致，用于提取不同时间点、不同ROI的权重信息；
[0013]所述S
‑
TGConv模块包括一层空间图卷积层和与之并列的一层时间图卷积层，空间图卷积层和时间图卷积层的输出经拼接操作连接LeakyReLU激活函数，获得时空图卷积S
‑
TGConv模块的输出；
[0014]所述的时空图注意力S
‑
TGAtten模块的流程是：对于时空图卷积S
‑
TGConv模块输出的特征，首先在每个节点上使用共享的线性变换权重矩阵W，然后使用一层参数为W
f
的线性变化层，提取高频特征和低频特征，并将高频特征和低频特征这两个特征进行拼接操作，通过一层参数为W
t
的线性变化层，最后通过LeakyReLU激活函数进行非线性变化，获得时空图注意力S<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空图卷积的脑网络分类方法，其特征在于，该分类方法包括以下内容：获取静息态功能磁共振影像数据后，利用基于体素的分析法通过人类连接计划多模态分割图谱(HCP
‑
MMP)提取出多个感兴趣区域；以感兴趣区域的时间序列特征构建图结构脑网络，并获得所有样本共享的邻接矩阵A；构建分类预测模型：所述分类预测模型的整个网络包含1个通道数为64、时间核和空间核大小均为11的时空图卷积S
‑
TGConv模块、1个通道数为128，时间核大小为11，空间核大小为5的时空图卷积S
‑
TGConv模块、1个通道数为128的时空图注意力S
‑
TGAtten模块、一层归一化层BN层、一层Dropout层、两层全连接层、一个分类函数；其中两个S
‑
TGConv模块使用了不同的通道数和核大小，按照通道数由小到大依串联后连接S
‑
TGAtten模块，将第二个S
‑
TGConv模块中的时空图卷积处理并拼接后的特征与S
‑
TGAtten模块直接输出的特征进行求和，再经过LeakyReLU层后的输出依次连接归一化BN层、一层Dropout层、两层全连接层，再经分类函数获得分类预测模型的输出；所述S
‑
TGAtten模块的通道数与第二个S
‑
TGConv模块的通道数一致，用于提取不同时间点、不同ROI的权重信息；所述S
‑
TGConv模块包括一层空间图卷积层和与之并列的一层时间图卷积层，空间图卷积层和时间图卷积层的输出经拼接操作连接LeakyReLU激活函数，获得时空图卷积S
‑
TGConv模块的输出；所述的时空图注意力S
‑
TGAtten模块的流程是：对于时空图卷积S
‑
TGConv模块输出的特征，首先在每个节点上使用共享的线性变换权重矩阵W，然后使用一层参数为W
f
的线性变化层，提取高频特征和低频特征，并将高频特征和低频特征这两个特征进行拼接操作，通过一层参数为W
t
的线性变化层，最后通过LeakyReLU激活函数进行非线性变化，获得时空图注意力S
‑
TGAtten模块的输出。2.一种基于时空图卷积的脑网络分类方法，该方法的具体步骤是：第一步，构建静息态功能磁共振影像数据集：第1.1步，静息态功能磁共振影像数据预处理：获取静息态功能磁共振影像分类数据集，使用fMRISurface软件对原始图像数据进行VBM预处理，分别进行去颅骨、分割、配准和空间平滑等操作，在移除小脑的影响后，使用相应的模板将大脑划分为多个感兴趣区域(ROI)，计算其血氧浓度依赖对比(BOLD)信号的标准化数值后作为ROI的时间序列特征，每个样本得到包含N个ROI的时间序列信号数据；以感兴趣区域作为节点，节点数量为N，其序列长度为M，第n个ROI的时间序列特征表示为一个M维的时间序列数据则一个样本的时间序列特征为X＝[x1,
…
,x
n
,
…
,x
N
]
T
∈R
N
×
M
，其初始通道数为1，将数据集划分训练集和测试集；第1.2步，设置固定的时间窗口大小，对M个时间点进行时间窗口随机采样后添加到训练集中，对训练集进行扩充，获得扩充后的训练集；以测试集和扩充后的训练集作为静息态功能磁共振影像数据集；第二步，构建图结构脑网络：第2.1步，计算所有样本共享的邻接矩阵A：使用特征拼接函数concat(
·
)把所有样本的时间序列特征按照ROI的序号进行拼接，
并计算皮尔森相关系数，每个元素都代表脑区之间的相关性；使用特征拼接函数concat(
·
)把所有样本的时间序列特征按照ROI的序号进行拼接，之后使用K
‑
最近邻算法计算KNN图，将皮尔森相关系数和KNN图相乘获得所有样本共享的邻接矩阵A；其中，U0为样本个数，X
u
＝[x1,
…
,x
n
,
…
,x
N
]
T
∈R
N
×
M
为第u个样本的时间序列特征矩阵，KNN、concat、PCC分别表示计算KNN图、特征拼接操作、PCC操作；第2.2步，构建图结构脑网络：将所有样本共享的邻接矩阵A作为边的权重，以样本的时间序列特征X为每个节点的特征，构建图结构脑网络；第三步，利用分类预测模型进行分类：第3.1步，将第二步中构建的图结构脑网络输入到一层通道数为64的S
‑
TGConv模块从中提取特征，此处使用的时间核和空间核的大小均为11，步长为1；第3.2步，将3.1中输出的特征F1输出到一层通道数为128、时间卷积核为11，空间卷积核为5的S
‑
TGConv模块，得到输出特征F2；第3.3步，将特征F2输入到通道数为128的S
‑
TGAtten模块中，随机给定共享的线性变换权重矩阵W，在F2的每个ROI特征上使用共享的线性变换权重矩阵W，然后使用一层参数为W
f
的线性变化层，提取高频特征和低频特征，并将高频特征和低频特征这两个特征进行拼接操作，通过一层参数为W
t
的线性变化层，最后通过LeakyReLU激活函数进行非线性变化，得到特征F3，该步骤的公式为：F3＝LeakyReLU(conncat((WF2)W
f
)W
t
)
ꢀꢀꢀꢀ
(8)第3.4步，特征F3依次经过一层归一化BN层、一层Dropout层、两层全连接层φ
...

【专利技术属性】
技术研发人员：郝小可，闵虹杰，王晓芳，阎刚，李家旺，王静怡，甄时伟，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：