【技术实现步骤摘要】
一种基于多模态多站点数据融合的分类识别方法
本专利技术涉及结构核磁共振图像处理、静息态功能核磁共振处理、脑功能网络分析、领域自适应、模式识别等
，具体为一种基于多模态多站点数据融合的分类识别方法。
技术介绍
近年来，医学影像的快速发展为脑影像数据分析和大脑活动状态观测提供了非常重要的临床参考价值，使得人类大脑的研究进入了新的阶段。但是，目前由于脑影像数据缺乏，研究人员大多使用多站点数据进行大脑的研究。基于多站点数据进行大脑诊断的研究大致可以分为两类，第一类是仅使用某个站点的数据进行模型的训练，第二类是直接将所有站点的数据合并在一起用于模型的训练。但由于不同的扫描仪设备本身有着不同的扫描协议、扫描参数等，会导致不同站点的数据分布不同，存在数据异构性问题，所以使用所有站点的数据训练得到的模型准确率低。同时，每个站点的数据样本量都是有限的，若仅使用某个站点的数据进行模型的训练，得到模型会存在泛化能力差的问题。为了解决上述问题，在本方法中应用了基于低秩表示(low-rankrepresentation，LRR)的方法进行多站点数据异构性处理，通过将不同站点的数据映射到共同的子空间，再进行一致性表示，使得不同站点的数据具有相同或类似的数据分布。目前用于脑活动研究的途径主要有：结构功能磁共振成像(sMRI)、功能磁共振成像(fMRI)、脑电图(EEG)、脑磁图(MEG)、电子发射断层扫描(PET)、单光子发射断层扫描(SPECT)等。研究表明，不同模态的脑图像表征的信息也是不同的，同时这些信息具有一定的互补...
【技术保护点】
1.一种基于多模态多站点数据融合的分类识别方法,其特征在于：包括以下步骤：/n1)获取多站点sMRI和R-fMRI数据：从自闭症脑成像数据交换库ABIDE获取结构性核磁共振成像数据和静息态功能性核磁共振成像数据；/n2)对各个站点的sMRI数据进行预处理，得到sMRI颅骨剥离脑图像和大脑皮层表面模型；/n3)将大脑皮层分割成多个不同区域，并计算每个区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数；/n4)将sMRI颅骨剥离脑图像输入ResNet3D深度网络模型提取高维特征；/n5)将提取出的解剖参数和高维特征进行融合得到一维向量作为sMRI数据特征；/n6)各个站点的R-fMRI数据进行预处理，获得大脑灰质图像；/n7)将大脑灰质图像分割成多个不同功能的脑区，并提取每个脑区的平均体素时间序列；/n8)使用皮尔森相关分析法计算不同脑区之间的皮尔森相关系数，构建全部脑区的功能连接矩阵；/n9)将功能连接矩阵展开成一维向量作为R-fMRI数据特征；/n10)采用低秩表示方法将不同站点的sMRI数据特征映射到一个共同的子空间中，并确定一个通用的低秩表示，解决多站点sMRI数据的异构性问题...
【技术特征摘要】
1.一种基于多模态多站点数据融合的分类识别方法,其特征在于：包括以下步骤：
1)获取多站点sMRI和R-fMRI数据：从自闭症脑成像数据交换库ABIDE获取结构性核磁共振成像数据和静息态功能性核磁共振成像数据；
2)对各个站点的sMRI数据进行预处理，得到sMRI颅骨剥离脑图像和大脑皮层表面模型；
3)将大脑皮层分割成多个不同区域，并计算每个区域的皮层平均厚度、皮层平均表面积和灰质体积等解剖参数；
4)将sMRI颅骨剥离脑图像输入ResNet3D深度网络模型提取高维特征；
5)将提取出的解剖参数和高维特征进行融合得到一维向量作为sMRI数据特征；
6)各个站点的R-fMRI数据进行预处理，获得大脑灰质图像；
7)将大脑灰质图像分割成多个不同功能的脑区，并提取每个脑区的平均体素时间序列；
8)使用皮尔森相关分析法计算不同脑区之间的皮尔森相关系数，构建全部脑区的功能连接矩阵；
9)将功能连接矩阵展开成一维向量作为R-fMRI数据特征；
10)采用低秩表示方法将不同站点的sMRI数据特征映射到一个共同的子空间中，并确定一个通用的低秩表示，解决多站点sMRI数据的异构性问题；
11)采用低秩表示方法将不同站点的R-fMRI数据特征映射到一个共同的子空间，并确定一个通用的低秩表示，解决多站点R-fMRI数据的异构性问题；
12)将经过数据异构性处理的sMRI数据和R-fMRI数据作为层次融合网络模型的输入，根据训练集构建分类识别网络；
13)将待检测被试的sMRI和R-fMRI神经影像数据按照步骤2)-步骤11)进行处理后送入分类识别模型，得到被试者的输出标签并判断被试人员的状态。
2.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤2)中的sMRI数据预处理，包含以下具体步骤：
(1)将sMRI数据进行前连合-后连合校正，调整在获取sMRI数据时由于被试者头部运动造成的不规范姿势；
(2)使用仿射变换方法将个体sMRI脑图像映射到MNI305标准空间中，并标准化其空间分辨率；
(3)采用N3校正算法校正sMRI数据的强度不均匀性；
(4)利用分水岭算法去除大脑颅骨、颈部、眼睛、硬脑膜以及其他无关部位，仅保留白质、灰质和脑脊液部位；
(5)通过小波变换的方法从颅骨剥离后的sMRI脑图像中分离出白质；
(6)使用模糊C均值聚类算法重新构建大脑皮层表面模型，并使用分离出来的白质作为大脑填充；
(7)使用3D高斯卷积核对重建后的皮层表面进行平滑。
3.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤4)中的颅骨剥离后的sMRI脑图像的高维特征提取包含以下具体步骤：
(1)基于ResNet设计一款ResNet3D深度网络模型作为sMRI特征提取模型用于提取颅骨剥离后的sMRI脑图像的高维特征，其核心是将ResNet中的2DBasicBlock模块改为3DBasicBlock模块，该网络中包含4个3DBasicBlock模块，其中，每个3DBasicBlock模块包含2个3D卷积层，每个3D卷积层包含1个3D卷积和1个批归一化和1个Relu激活函数；
(2)每个站点都需要训练一个sMRI特征提取模型用于提取sMRI数据的高维特征，但由于单个站点的样本量过少，每个站点无法单独训练各自的特征提取模型；所以，首先使用所有站点的sMRI数据训练一个sMRI特征提取模型，然后，再使用每个站点的sMRI数据来微调模型，从而，每个站点生成各自的sMRI特征提取模型；
(3)将各个站点sMRI颅骨剥离脑图像逐一送入各自站点训练好的sMRI特征提取模型中提取高维特征。
4.根据权利要求3所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：其步骤(2)中sMRI特征提取模型训练的具体步骤如下：
1)将所有站点sMRI颅骨剥离脑图像先通过旋转、翻转、随机偏移、随机裁剪的方法进行数据扩充，然后将原数据和扩充后的数据作为ResNet3D深度网络的输入；
2)使用计算ResNet3D网络的输出结果与真实标签之间的交叉熵损失；其中，J为交叉熵损失，y(i)为第i个样本的真实标签，y(i)为第i个样本的网络模型预测值；
3)利用反向传播和SGD自适应优化算法不断更新优化网络的参数，使得模型的输出预测接近真实样本，当交叉熵损失趋于一个稳定值或达到最小值时，说明网络模型已经训练完成；
4)分别使用各个站点sMRI颅骨剥离脑图像对训练好的ResNet3D网络模型进行微调，得到每个站点各自的sMRI特征提取模型。
5.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤6中的R-fMRI数据预处理，包含以下具体步骤：
(1)采用插值算法对不同时间点获得大脑切片数据进行时间层校正，使其调整为同一个时间点；
(2)将R-fMRI数据进行空间位置匹配，调整在获取R-fMRI数据时被试者头部运动造成的不规范姿势；
(3)使用EPI方法将个体R-fMRI脑图像映射到标准空间中，并标准化空间分辨率；
(4)利用3D高斯卷积核对R-fMRI数据进行空间平滑；
(5)对数据信号进行线性趋势消除，并采用0.01-0.08Hz的带通时间滤波去除低频漂移和高频噪声；
(6)通过线性回归去除脑室、白质及全局无关信号，保留灰质图像信号。
6.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤8中的静息态功能网络连分析包含以下步骤：
A1：A＝{a1,a2,L,am,···an}是根根据功能模板划分的全部脑区，其中am是第m个脑区，n表示全部脑区的个数；第m个脑区am的平均体素时间序列1≤m≤n，其中N为时间点长度，为第m个脑区在时间点N的体素的平均灰度值；
A2：通过公式计算脑区ai与脑区aj之间的皮尔森相关系数，构建脑功能连接矩阵
7.根据权利要求1所述的一种基于多模态多站点数据融合的分类识别方法，其特征在于：所述步骤10)和步骤11)中采用基于低秩表示方法进行多站点数据异构性处理包含以下具体步骤：
(1)选择一个站点作为目标域，其余站点作为源域，令{Site1,Site2,...,SiteK,1≤K≤n}为源域，SiteT为目标域。每个源域由个样本构成，目标域由NT个样本构成，其中，d为每...
【专利技术属性】
技术研发人员：王莉，丁杰，尹晓东，梅雪，沈捷，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。