一种不完备多模态医学影像学习方法技术

本发明专利技术涉及一种基于不完备多模态医学影像的学习方法，包括步骤为：第一步，对待处理多模态影像数据进行预处理；第二步，在训练阶段，构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取；第三步，构建跨模态表征模块，通过跨模态表征补全缺失模态的特性特征；第四步，构建多模态融合和分类模块，输入多层感知机网络中进行分类；第五步，对测试集中每个样本数据分别进行预处理以及共性和特性特征提取后，输入到已训练网络模型中完成测试，获得最终的预测结果

【技术实现步骤摘要】
一种不完备多模态医学影像学习方法


[0001]本专利技术涉及面向不完备多模态影像数据的学习分类方法，具体涉及一种基于不完备多模态影像数据学习的网络模型
。

技术介绍

[0002]磁共振成像（
Magnetic Resonance Imaging
，
MRI
）是目前在神经退行性疾病研究及临床试验中应用最广泛的成像技术，包含多种模态的成像序列，能够呈现大脑解剖结构和功能代谢异常等多模态信息的变化
。
多模态医学影像可以相互补充，从不同角度反映大脑的结构
、
功能和代谢变化，可以进一步提升对疾病的预测准确率
。
但是，在临床数据采集中，由于不同
MRI
模态数据同时采集所需时间相对较长，对病人的耐受性要求较高，使得临床采集的
MRI
模态数据相对较少，不能获得多模态融合算法所需的完整模态数据
。
现有多模态学习方法采用的数据通常是模态齐全的数据，并没有考虑到模态缺失问题
。
如何在部分影像模态缺失情况下，充分有效挖掘已有多模态影像数据的有用信息，实现对多模态影像数据的合理利用，提高多模态影像数据分析的鲁棒性和准确性，是多模态数据分析中需要解决的重要问题
。
本专利技术主要涉及一种基于不完备多模态
MRI
影像数据学习的神经网络
。
[0003]在很多临床数据采集过程中，由于扫描成本
、
扫描时间有限和安全考虑等多种原因，某些模态数据，例如功能磁共振成像（
functional Magnetic Resonance Imaging
）
、
弥散张量成像（
Diffusion Tensor Imaging, DTI
）
、
磁敏感成像（
Quantitative Susceptibility Mapping
，
QSM
）等并不会作为常规临床序列进行采集，这就导致了临床数据中的模态缺失问题
。
同时，在疾病的不同病程阶段，不同模态数据所起作用不同
。
例如，对于存在神经退行性疾病的患者，脑功能改变一般早于脑结构变化，即
fMRI
数据体现的脑区间功能连接异常可以有助于疾病的早期识别，而结构磁共振数据所反映的脑结构变化往往在疾病中晚期才会体现
。
在模态缺失情况下，实现对已有模态数据信息的充分利用，需要解决模态缺失情况下的跨模态学习问题
。
现有跨模态合成技术往往基于一种模态图像合成特定模态的图像，例如生成对抗网络已被开发用于从源域
/
模态到目标域
/
模态的图像转换
。
这类方法往往侧重于缺失模态图像的生成，对于医学影像缺乏可解释性
。
对于核磁共振成像，
fMRI
数据
、DTI
数据和
QSM
数据与
T1
结构数据在图像上呈现较大的异质性特点，如何同时提取多模态数据中的共性特征和特性特征是实现跨模态融合学习的关键
。
其中，共性特征是指不同模态之间所具备的共性特征，即对神经退行性疾病所存在的神经元损伤
、
认知退化等共性特征的反映
。
特性特征是指只存在于单个模态中的特有信息，这些特殊的功能或结构信息不能被其他模态所捕捉，在不同病程中所起作用不同
。
在医学影像数据分析中，共性特征可以增强模型的鲁棒性和泛化能力，而特性特征可以利用不同模态的互补信息，增强模型对特定问题的解决能力，实现对缺失模态特征的有效表征
。
[0004]因此，本专利技术面向部分
MRI
影像模态缺失情况下，充分有效挖掘已有多模态数据的有用信息，提升跨模态学习性能，进一步探索对缺失模态的跨模态表征和多模态融合方法，实现对存在缺失模态情况下的多模态影像数据的合理利用，提高多模态影像分析的鲁棒性
和准确性
。

技术实现思路

[0005]本专利技术的目的在于基于不完备多模态磁共振影像数据，构建跨模态特征表征和多模态融合模型，实现对多模态影像数据已有模态共性特征
、
特性特征和缺失模态特性特征的学习提取和分析，充分利用已有模态信息，提高模态信息不完备情况下的多模态影像数据学习性能
。
[0006]本专利技术是通过以下技术方案实现的，包括以下步骤：
[0007]第一步，对待处理的多模态核磁共振影像数据，采用通用医学影像预处理软件进行预处理操作，获得多模态影像数据的预处理结果和各种参数图；
[0008]第二步，在训练阶段，基于预处理后的多模态影像数据，构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取
。
具体如下：
[0009] （1）对多模态三维影像数据，沿三维影像的冠状位
、
矢状位
、
横断位三个方向，将每个方向的所有切片进行累加，转换成人脑三个方向的二维图像，将其作为特征提取网络的三通道输入；
[0010] （2）数据增强：对于每个样本的
N
个模态数据，在每个批次中，用颜色抖动
、
高斯模糊两种数据增强方法为每个模态样本生成两个变换视图，
N
个模态数据共可获得
2N
个视图；
[0011] （3）有监督对比学习网络：有监督对比学习网络包括两个分支网络，即一条在线网络和一条目标网络，正负样本分别作为在线网络和目标网络的输入，两条网络均包含特征提取网络和投影模块两部分
。
其中，对于不同模态共性特征的提取，同疾病类别的所有模态样本之间为正样本，不同患病状态之间互为正负样本；对于不同模态特性特征的提取，同疾病类别同模态内的样本为正样本，其他情况为负样本
。
[0012]特征提取网络的编码器：该编码器是采用添加注意力模块的多尺度
ResNet
‑
34
网络，其包含三个输入通道
、32
个卷积层和2个全连接层，将原始
ResNet
‑
34
网络的3×3卷积核替换为1×
1、3
×
3、5
×5卷积核和3×3的池化层构成多尺度残差模块，在网络中嵌入注意力机制模块，通过对所有输入注意力模块的特征进行3×3卷积对特征重新加权，提高网络对关键特征的关注
。
[0013]投影模块：该投影模块是由两个全连接层组成的神经网络，其中第一个全连接层的输出维度为
256
，第二个全连接层的输出维度为
128。
在投影后的表示空间中，将相似样本的距离尽可能地靠近，不相似样本的距离尽可能地远离
。...

【技术保护点】

【技术特征摘要】
1.
一种不完备多模态医学影像学习方法，包括以下步骤：（
1.1
）对待处理的多模态核磁共振影像数据，采用通用医学影像预处理软件进行预处理操作，获得多模态影像数据的预处理结果和各种参数图；（
1.2
）在训练阶段，首先基于预处理后的多模态影像数据，构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取；（
1.3
）在训练阶段，基于（
1.2
）已构建对比学习特征提取网络，构建跨模态表征模块，对于缺失的模态数据，通过跨模态表征补全缺失模态的特性特征；（
1.4
）在训练阶段，基于（
1.2
）和（
1.3
）已提取特征，构建多模态融合和分类模块，对已提取的共性特征
、
特性特征和补全特性特征进行多模态融合，得到最终的多模态表征，最后输入多层感知机网络中进行分类，完成模型训练；（
1.5
）在测试阶段，对测试集中每个样本数据分别进行预处理以及共性和特性特征提取后，输入到已训练网络模型中完成测试，获得最终的预测结果
。2.
根据权利要求1所述的一种不完备多模态医学影像学习方法，其特征在于，所述步骤（
1.2
）的构建有监督对比学习网络，对多模态数据进行共性特征和特性特征的提取，其中共性特征能够反映不同模态所具备待分析问题相关的共性特征，特性特征能够反映存在于单个模态中的特有信息，具体方法如下：（
2.1
）对多模态三维影像数据，沿三维影像的冠状位
、
矢状位
、
横断位三个方向，将每个方向的所有切片进行累加，转换成人脑三个方向的二维图像，将其作为特征提取网络的三通道输入；（
2.2
）数据增强：对于每个样本的
N
个模态数据，在每个批次，用颜色抖动
、
高斯模糊两种数据增强方法为每个模态样本生成两个变换视图，
N
个模态数据共可获得
2N
个视图；（
2.3
）构建有监督对比学习网络：有监督对比学习网络包括两个分支网络，即一条在线网络和一条目标网络，正负样本分别作为在线网络和目标网络的输入，两条网络均包含特征提取网络和投影模块两部分，其中，对于不同模态共性特征的提取，同疾病类别的所有模态样本之间为正样本，不同患病状态之间互为正负样本；对于不同模态特性特征的提取，同疾病类别同模态内的样本为正样本，其他情况为负样本；特征提取网络的编码器：该编码器是采用添加注意力模块的多尺度
ResNet
‑
34
网络，其包含三个输入通道
、32
个卷积层和2个全连接层，将原始
ResNet
‑
34
网络的3×3卷积核替换为1×
1、3
×
3、5
×5卷积核和3×3的池化层构成多尺度残差模块，在网络中嵌入注意力机制模块，通过对所有输入注意力模块的特征进行3×3卷积对特征重新加权，提高网络对关键特征的关注；投影模块：该投影模块是由两个全连接层组成的神经网络，其中第一个全连接层的输出维度为
256
，第二个全连接层的输出维度为
128
；在投影后的表示空间中，将相似样本的距离尽可能地靠近，不相似样本的距离尽可能地远离；对比学习损失：在构建对比学习网络损失函数时，基于共性特征和特性特征的定义，分别训练两个不同的对比学习网络，两个网络的结构相同，对于共性特征，通过标签设定同疾病类别之间为正样本，其余为负样本；而对于特性特征，通过标签设定同疾病类别同模态之间为正样本，其余为负样本；通过不同的标签，使得对比学习损失函数优化不同的特征学习；经过投影模块和
L2
正则化之后，得到两个向量 和，使用余弦相似度来衡量这两个
特征向量的相似性，基于标签信息和交叉熵函数来计算有监督学习对比损失，其函数如下： （1）其中，
N
是每个
batch
中的样本数， 是每个
batch
中标签同...

【专利技术属性】
技术研发人员：刘艳，徐宏博，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：