一种基于多模态数据的AD图像预测与分类方法技术

本发明专利技术公开了一种基于多模态数据的AD图像预测与分类方法。首先进行数据预处理；然后构建AD图像预测与分类网络模型；通过空间信息聚合模块将预处理后的所有的脑区域图像重组为相同大小的特征patch块；通过patch特征提取模块获取加强patch

【技术实现步骤摘要】
一种基于多模态数据的AD图像预测与分类方法


[0001]本专利技术属于医学影像预测领域，具体涉及一种基于多模态数据的AD图像预测与分类方法，涉及计算机视觉，深度学习中医学图像区域分割和医学影像预测灯方面。

技术介绍

[0002]阿尔茨海默病(AD)是最普遍的神经系统疾病之一，其发病率显著增长。AD的进展逐渐导致记忆衰退和认知功能损害，最终导致不可逆的神经元损伤。许多基于机器学习方法的研究被开发出来，以识别阿尔茨海默病(AD)患者与正常对照组(NC)的解剖学差异，并利用结构磁共振成像(SMRI)预测轻度认知障碍(MCI)的进展，而结构磁共振成像对脑萎缩引起的形态学变化较为敏感。同样的，医学造像技术的发展也出现了正电子发射断层扫描(PET)，PET是一种核成像技术(也称为分子成像)，可以显示体内代谢过程。PET图像对于细胞的代谢变化敏感，而在疾病发病前，其患者的脑部的细胞代谢变化往往会早于其形态变化。MRI可以提供其它方法无法容易获取的空间分辨率和对结构的清晰图像，并且MRI可以识别和分辨白质和灰质的脑组织，但MRI并不能检测到AD的生化标志物和与病变相关的嵌合物，比如beta
‑
淀粉样蛋白(beta
‑
amyloid)和tau蛋白聚集体，虽然MRI可以检测到脑组织萎缩反应，但是萎缩也是其他疾病如脑血管病的典型特征。PET图像有较高的敏感性，能够检测到AD的生化标记物如beta
‑
淀粉样蛋白和tau蛋白聚集，这样便可以在早期阶段发现AD，通过身体细胞在脑中使用的代谢子探测器识别。
[0003]如果结合两者的数据，对于研究AD的分类和预测会有更好的结果。
[0004]近年来，深度学习方法在医学图像分析等图像分类任务中取得了巨大的成功。现有的AD诊断深度学习方法大多仍依赖于人工预定义的具有专家经验的感兴趣区域来建立基于CNNS的诊断模型，这导致使用相同模板空间没有充分考虑个体差异，可能没有包括分布在全脑的整个疾病相关萎缩特征。此外，由于神经网络的黑盒特性，很少有深度学习方法对病理位置有特定的输出，这忽略了医学实践中的可解释性问题。由于脑萎缩通常发生在局部，SMRI扫描中只有少数区域出现明显的结构变化，与病理特征高度相关，而其他区域的区分信息很少，结合PET图像的区域代谢变化，对预测和分类将有较大提升。

技术实现思路

[0005]针对现有技术中存在的不足，本专利技术引入了注意力机制，在局部和全局的特征分析中都有加强特征的效果，得到更好的分类和预测效果。
[0006]在本专利技术中，我们提出了一种基于多模态数据的阿尔茨海默病的深度学习模型来进行AD的分类和预测。具体来说，多模态的数据包括核磁共振图像(MRI)，正电子发射断层扫描图像(PET)以及两者的74脑区分割模型。如果只是单纯的将多个数据集结合在一起，那肯定对效果的影响微乎其微，因为这样只是单纯的使用学习图片本来的特征，并将其特征信息独立出来，对预测和分类并没有太好的效果。所以怎样解决这个问题，本专利技术中提出了一种信息聚合的方法，利用重采样的效果，我们先提取特征信息中较为重要的部分作为基
础patch块，接下来利用线性插值和邻近插值的方法将图像整体特征聚合在一个固定尺寸的patch块中。利用相同的这个方法，把MRI和PET的图像信息进行了统一的标准化处理，此时再将数据结合到一起效果便能更好。
[0007]针对现有技术中存在的不足，本专利技术数据使用多模态数据加强特征分析，在网络模型里引入了注意力机制，在局部和全局的特征分析中都有加强特征的效果，得到更好的分类和预测效果。
[0008]一种基于多模态数据的AD图像预测与分类方法，包括以下步骤：
[0009]步骤(1)、数据预处理；
[0010]步骤(2)、构建AD图像预测与分类网络模型；
[0011]AD图像预测与分类网络模型包含空间信息聚合模块、patch特征提取模块，注意力多实例学习(MIL)模块和全局分类器。
[0012]步骤(3)、通过空间信息聚合模块将预处理后的所有的脑区域图像重组为相同大小的特征patch块。
[0013]步骤(4)、通过patch特征提取模块获取加强patch
‑
leaval块。
[0014]步骤(5)、通过注意力多实例学习模块来加强全局特征。
[0015]步骤(6)、通过全局分类器得到分类概率p。
[0016]步骤(7)、训练AD图像预测与分类网络模型；
[0017]进一步的，步骤(1)具体方法如下：
[0018]首先获取MRI图像以及PET图像这两种模态数据，并按照当前的74脑区模型提取分割数据，对于分割数据通过重采样将图像信息特征聚合在一个固定的尺寸上，处理成具有相同尺寸的单个脑区域图像。
[0019]进一步的，步骤(3)具体方法如下：
[0020]空间信息聚合模块首先通过边缘检测的方法提取单个脑区域图像中包含图像信息较多的部分作为基础patch块，接下来利用线性插值和邻近插值的方法将图像整体特征聚合在一个固定尺寸的patch块中。使用五层卷积核相同的卷积层对patch块中的特征进行加强，得到特征patch块。
[0021]进一步的，步骤(4)具体方法如下：
[0022]patch特征提取模块将空间信息聚合模块输出的特征patch块作为输入，首先通过两层卷积层压缩特征，再通过一个最大池化层提取加强特征map，该加强特征map作为patch特征提取模块注意力机制的初始图像，加强特征map再分别通过最大池化和平均池化层提取注意力所需的另外两个特征map，将这两个特征map相加后通过一个卷积层和sigmoid层处理，将处理后的特征map与原始的加强特征map点乘，得到加强patch
‑
leaval块。并且加强特征map通过一个全局平均池化层、全连接层和sigmoid层获取加强patch
‑
leaval块的权重影响分数。
[0023]进一步的，步骤(5)具体方法如下：
[0024]AD图像预测与分类网络模型中包括多个由空间信息聚合模块以及patch特征提取模块组成的分支，分支的数量与脑区域图像数量对应，将多个分支输出的加强patch
‑
leaval块平展连接在一起得到全局特征(Global features)，将每个加强patch
‑
leaval块的权重影响分数也平展连接在一起，得到局部影响分数(affect scores)。全局特征分别通
过全局最大池化和全局平均池化后与局部影响分数三者相加，之后经过sigmoid层得到全局影响分数(attention scores)，最后与原始输入的全局特征点乘，输出带有权重影响分数的全局特征patch。
[0025]进一步的，步骤(6)具体方法如下：
[0026]将带有权重影响分数的全局特征patch作为全局分类器的输入，全局分类器通过两个卷积层进行特征提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的AD图像预测与分类方法，其特征在于，包括以下步骤：步骤(1)、数据预处理；步骤(2)、构建AD图像预测与分类网络模型；AD图像预测与分类网络模型包含空间信息聚合模块、patch特征提取模块，注意力多实例学习模块和全局分类器；步骤(3)、通过空间信息聚合模块将预处理后的所有的脑区域图像重组为相同大小的特征patch块；步骤(4)、通过patch特征提取模块获取加强patch
‑
leaval块；步骤(5)、通过注意力多实例学习模块来加强全局特征；步骤(6)、通过全局分类器得到分类概率p；步骤(7)、训练AD图像预测与分类网络模型。2.根据权利要求1所述的一种基于多模态数据的AD图像预测与分类方法，其特征在于，步骤(1)具体方法如下：首先获取MRI图像以及PET图像这两种模态数据，并按照当前的74脑区模型提取分割数据，对于分割数据通过重采样将图像信息特征聚合在一个固定的尺寸上，处理成具有相同尺寸的单个脑区域图像。3.根据权利要求2所述的一种基于多模态数据的AD图像预测与分类方法，其特征在于，步骤(3)具体方法如下：空间信息聚合模块首先通过边缘检测的方法提取单个脑区域图像中包含图像信息较多的部分作为基础patch块，接下来利用线性插值和邻近插值的方法将图像整体特征聚合在一个固定尺寸的patch块中；使用五层卷积核相同的卷积层对patch块中的特征进行加强，得到特征patch块。4.根据权利要求3所述的一种基于多模态数据的AD图像预测与分类方法，其特征在于，步骤(4)具体方法如下：patch特征提取模块将空间信息聚合模块输出的特征patch块作为输入，首先通过两层卷积层压缩特征，再通过一个最大池化层提取加强特征map，该加强特征map作为patch特征提取模块注意力机制的初始图像，加强特征map再分别通过最大池化和平均池化层提取注意力所需的另外两个特征map，将这两个特征map相加后通过一个卷积层和sigmoi...

【专利技术属性】
技术研发人员：赵健祥，颜成钢，张帅杰，杨德富，吕骏晖，乔松，何敏，王帅，赵治栋，高宇涵，孙垚棋，朱尊杰，张继勇，李宗鹏，殷海兵，王鸿奎，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：