一种基于卷积神经网络和Transformer的脑网络特征提取方法技术

本发明专利技术公开了一种基于卷积神经网络和Transformer的脑网络特征提取方法，属于医学图像分析领域，该方法包括：S1、对于每个受试者，基于ALL模板，使用固定大小的滑动时间窗口将rs

【技术实现步骤摘要】
一种基于卷积神经网络和Transformer的脑网络特征提取方法


[0001]本专利技术涉及医学图像分析领域，具体涉及一种基于卷积神经网络和Transformer的脑网络特征提取方法。

技术介绍

[0002]阿尔兹海默症(Alzheimer
’
s disease,AD)是老年人群中最常见的一种神经退行性疾病，主要表现为进行性认知和功能缺陷，且随着年龄增长，其发病率呈现持续增加的趋势。因此对于AD相关大脑疾病的早期诊断便成为了一项艰巨但却有意义的任务。得益于神经影像学技术的发展，静息态功能磁共振成像(resting
‑
state functional magnetic resonance imaging,rs
‑
fMRI)已广泛应用于医学图像分析领域。基于rs
‑
fMRI数据的功能连接网络(functional connectivity network,FCN)也被提出用于分析和诊断脑部疾病，包括AD及其早期阶段，即轻度认知障碍(mild cognitive impairment，MCI)。
[0003]深度学习方法，例如卷积神经网络和长短期记忆(long short
‑
termmemory，LSTM)网络，已广泛应用于FCN研究中。其中，基于卷积神经网络(convolutional neural network，CNN)的方法从FCN中学习高度复杂的特征表示，在脑疾病分析和分类中表现出良好的性能。然而，这些方法难以捕获对动态FCN(dynamic FCN，dFCN)分析任务至关重要的全局表示(即长距离序列特征)。与CNN相比，LSTM引入了独特的门控机制，选择性地记住一些需要长时记忆的重要信息，忘记一些次要信息，但只能在一定程度上缓解长距离时序信息丢失问题，并不能从根本上予以解决。与此同时，作为深度学习的后起之秀Transformer在医学影像分析领域也得到了跨界应用。通过使用self
‑
attention机制，相较于LSTM，Transformer可以有效地避免信息损失和固有的顺序结构，且提供比CNN更加广阔的感受野。不幸的是，它无法有效地挖掘对疾病相关神经影像学生物标志物有用的局部细节特征。因此，从dFCN中捕获局部到全局的特征依赖是非常有必要的，这可能有助于在AD的整个进程中探索脑网络的功能连接变化。

技术实现思路

[0004]本专利技术针对现有技术中的不足，提供一种基于卷积神经网络和Transformer的脑网络特征提取方法，利用CNN和Transformer等深度学习框架，通过数据驱动的方式学习高阶局部全局序列特征。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种基于卷积神经网络和Transformer的脑网络特征提取方法，包括以下步骤：
[0007]S1、对于每个受试者样本，基于自动解剖标记(automated anatomical labeling，ALL)模板，使用固定大小的滑动时间窗口将rs
‑
fMRI数据划分成多个重叠的时间序列片段；
[0008]S2、对于每个时间序列片段，使用皮尔逊相关系数(Pearson correlation coefficient，PCC)衡量配对大脑区域之间的功能连接强度，构建动态功能连接网络；
[0009]S3、定义三个阶段的特征提取层用以分层的方式提取并耦合动态功能连接网络的局部脑网络序列特征和全局脑网络序列特征表示，每一阶段均包括一个卷积层和一个Temporal Transformer双分支结构；其中卷积层提取局部脑网络序列特征，Temporal Transformer捕获全局脑网络序列特征表示；
[0010]S4、使用一个多层感知机(multilayer perceptron,MLP)学习特征提取层输出的耦合特征。
[0011]为优化上述技术方案，采取的具体措施还包括：
[0012]进一步地，S1具体为：
[0013]对于每个受试者样本，基于自动解剖标记模板，将每个受试者的大脑划分为N个大脑区域，并依据rs
‑
fMRI数据得到每个脑区的平均时间序列，使用固定大小的滑动时间窗口将rs
‑
fMRI数据划分成T个重叠的时间序列片段，其中单个时间序列片段的长度设置为L，两两相邻时间序列片段之间的间隔设置为2个时间点。
[0014]进一步地，S2具体为：
[0015]对于每个时间序列片段，使用皮尔逊相关系数来衡量配对大脑区域之间的功能连接强度并将皮尔逊相关系数作为连接节点与节点的边的权重，功能连接网络中的节点对应相应的大脑区域，第t个时间序列片段的功能连接网络表示为：
[0016][0017]其中corr表示两个时间序列之间的协方差，和分别表示第t个时间序列片段内第i个和第j个大脑区域的平均血氧水平依赖(blood oxygen level dependent,BOLD)信号片段，将T个功能连接网络F
t
组成动态功能连接网络将得到动态功能连接网络G中的每一个功能连接网络F
t
(i,j)按行展平得到(i,j)按行展平得到表示矩阵的域。
[0018]进一步地，S3中，所述卷积层通过卷积操作提取特定大脑区域、特定大脑网络和时间的局部脑网络序列特征，所述Temporal Transformer通过级联的自注意力模块捕获全局脑网络序列特征表示。
[0019]进一步地，S4中，所述多层感知机包括两个全连接层和一个Softmax层，所述两个全连接层对应的神经元个数分别为32和16，所述Softmax层对应的神经元个数为脑疾病类别数。
[0020]进一步地，其特征在于，所述两个全连接层均使用整流线性单元(rectified linear unit，ReLU)作为激活函数并采用了0.2的dropout。
[0021]本专利技术的有益效果是：
[0022]基于提取rs
‑
fMRI数据的BOLD的平均时间序列信号，采用皮尔逊相关系数和滑动窗口技术构建动态功能连接网络，提出一种基于CNN和Transformer的深度学习框架，旨在将基于CNN的局部序列特征与基于Transformer的全局表示相结合，以增强特征表示学习能力。此外，考虑到CNN和Transformer输出特征之间的特征错位，设计了特征对齐单元(feature alignment unit,FAU)作为桥梁。其中特征耦合贯穿整个特征提取过程，以便最大程度地保留局部特征和全局表示。
附图说明
[0023]图1为本专利技术提出的方法的流程图；
[0024]图2为在eMCIvs.NC二分类实验中选取的最具有判别性的脑区；
[0025]图3为AD vs.NC二分类实验中选取的最具有判别性的脑区。
具体实施方式
[0026]现在结合附图对本专利技术作进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络和Transformer的脑网络特征提取方法，其特征在于，包括以下步骤：S1、对于每个受试者样本，基于自动解剖标记模板，使用固定大小的滑动时间窗口将rs
‑
fMRI数据划分成多个重叠的时间序列片段；S2、对于每个时间序列片段，使用皮尔逊相关系数衡量配对大脑区域之间的功能连接强度，构建动态功能连接网络；S3、定义三个阶段的特征提取层用以分层的方式提取并耦合动态功能连接网络的局部脑网络序列特征和全局脑网络序列特征表示，每一阶段均包括一个卷积层和一个Temporal Transformer双分支结构；其中卷积层提取局部脑网络序列特征，Temporal Transformer捕获全局脑网络序列特征表示；S4、使用一个多层感知机学习特征提取层输出的耦合特征。2.如权利要求1所述的基于卷积神经网络和Transformer的脑网络特征提取方法，其特征在于，S1具体为：对于每个受试者样本，基于自动解剖标记模板，将每个受试者的大脑划分为N个大脑区域，并依据rs
‑
fMRI数据得到每个脑区的平均时间序列，使用固定大小的滑动时间窗口将rs
‑
fMRI数据划分成T个重叠的时间序列片段，其中单个时间序列片段的长度设置为L，两两相邻时间序列片段之间的间隔设置为2个时间点。3.如权利要求1所述的基于卷积神经网络和Transformer的脑网络特征提取方法，其特征在于，...

【专利技术属性】
技术研发人员：接标，周杰，张志祥，李汪根，卞维新，杨杨，丁新涛，周文，
申请(专利权)人：安徽师范大学，
类型：发明
国别省市：