一种三维磁共振脑部图像分析方法及其应用技术

本发明专利技术公开了一种三维磁共振脑部图像分析方法及其应用，涉及三维磁共振脑部图像分析技术领域。本发明专利技术在使用类别信息进行特征对齐，并在调整边缘分布和条件分布对域适应重要性的同时，引入基于原型表示的MDD损失来优化对抗域适应网络损失；源域的交叉熵分类损失、特征提取网络的注意力一致性损失、用以对齐源域和目标域边缘分布的全局域对抗损失、用以对齐源域和目标域条件分布的局部域对抗损失，以及基于原型表示的MDD损失共同构成了网络模型的损失函数。本发明专利技术既能达到将数据的边缘分布和条件分布同时对齐，又能够最大化类内密度，保留强化相应极细微的类内及类间特征信息。保留强化相应极细微的类内及类间特征信息。保留强化相应极细微的类内及类间特征信息。

【技术实现步骤摘要】
一种三维磁共振脑部图像分析方法及其应用


[0001]本专利技术属于三维磁共振脑部图像分析
，特别是涉及一种三维磁共振脑部图像分析方法及其应用。

技术介绍

[0002]阿尔兹海默病是一种起病隐匿的进行性发展的神经系统退行性疾病。临床上以记忆障碍、失语、失用、失认、视空间技能损害、执行功能障碍以及人格和行为改变等全面性痴呆表现为特征。
[0003]现有的阿尔兹海默病的脑部影像采用三维磁共振获得，在对其进行数据分析时，采用的现有技术手段为：
[0004]三维磁共振数据表征复杂，从结构磁共振影像数据的空间复杂性考虑，一类方法是将三维影像切片为二维影像再进行特征提取，但这类方法忽略了磁共振数据固有空间优势，导致特征提取主观化，且不能充分利用磁共振数据自身特有的空间特征信息；一般三维卷积网络虽然可以实现空间结构图像的特征提取，但是阿尔兹海默病磁共振图像以极细微的类内及类间特征为主，直接三维卷积提取特征会对网络后续高维抽象特征学习带来较大挑战；
[0005]使用机器学习方法进行模型训练时，通常会假设训练集和测试集等数据满足独立同分布，然而这种假设约束在现实中通常难以成立。在磁共振影像收集过程中，由于受不同仪器、扫描方案以及影像采集环境等影响，无法保证得到的数据具有相同的分布，出现数据之间的异质性。导致在训练集上训练的模型应用到测试集上时，模型将会遭受显著的性能下降，这就是实际处理过程中普遍存在的“域偏移”现象；
[0006]阿尔兹海默病的磁共振数据特征表现为极细微的类内及类间差异特性。现有的对抗性域适应方法使用域判别器和特征提取器进行博弈对抗时，只对源域和目标域的数据分布进行对齐，数据中重要的极细微特征信息，特别是类内特征并未得到强化，致使在目标域上分类性能下降；
[0007]理想的对抗性域适应模型需要在源域和目标域数据类均衡的情况下才能训练得到，而由于训练神经网络通常是基于batch的，对于数据的采样具有随机性，且在小batch中容易发生类的不匹配现象，也不能保证两个域之间的差异最小化。

技术实现思路

[0008]本专利技术的目的在于提供一种三维磁共振脑部图像分析方法及其应用，以解决了现有的问题：阿尔兹海默病磁共振图像以极细微的类内及类间特征为主，直接三维卷积提取特征不便于对网络后续高维抽象特征学习；训练集上训练的模型应用到测试集上时，模型将会遭受显著的性能下降。
[0009]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0010]一种三维磁共振脑部图像分析方法，包括：
[0011]S1.采用三维卷积神经网络为主干网络，并引入通道注意力模块对三维磁共振脑部图像的源域和目标域进行特征提取；
[0012]S2.在对抗性域适应网络的源域的交叉熵分类损失、全局域对抗损失和局部域对抗损失中增加基于原型表示的MDD损失来量化分布散度，用以优化对抗性域适应网络损失；
[0013]分类器根据源域和目标域两个域的特征重新预测源域标签，然后分类器再通过源域预测标签跟真实标签得出源域的分类损失，记为源域的交叉熵分类损失L
cls
；
[0014]判别器根据源域和目标域的特征重新对数据预测域标签，再通过预测的域标签跟真实数据域标签得出为全局域对抗损失L
g
和局部域对抗损失L
l
。
[0015]进一步地，所述三维卷积神经网络包含9个3
×3×
3卷积层；其通道数分别为8、8、16、16、32、32、64、64和128；每个卷积层过后设置BatchNorm层和激活函数ReLU层；
[0016]分别在Conv2、Conv4、Conv6、Conv8和Conv9层之后加入下采样操作，步长为2
×2×
2。
[0017]进一步地，S1中，引入通道注意力模块，主要包括：
[0018]对主干网络源域和目标域最后一层的卷积结果分别进行全局平均池化和全局最大池化，并将两者的池化结果合并；
[0019]然后进行单通道卷积操作，从而得到一个空间注意力磁共振特征图；
[0020]再使用sigmoid激活函数对其归一化，实现在磁共振特征图中反映不同脑区的重要程度，即敏感的脑区经会被赋予更大的权重，不那么重要的脑区将被赋予较小的权重。
[0021]进一步地，S1中，特征提取模型如下：
[0022]假设空间注意力磁共振特征图为A，其定义如下：
[0023]A＝σ(f3×3×3([M
max
,M
avg
]))
[0024]其中，σ表示sigmoid激活函数，f3×3×3表示卷积核为3
×3×
3的卷积操作，M
max
和M
avg
分别表示对特征图M进行全局最大池化和全局平均池化的结果特征图；
[0025]将源域的空间注意力磁共振特征图定义为A
S
，目标域的空间注意力磁共振特征图定义为A
T
；注意力一致性损失为：
[0026][0027]其中，N表示一个batch中的样本数，H、W、D分别表示高、宽、维度。
[0028]进一步地，S2中，对抗性域适应网络的源域的交叉熵分类损失、全局域对抗损失和局部域对抗损失中增加基于原型表示的MDD损失来量化分布散度，主要包括：
[0029]S21.在全局域判别器和局部域判别器的基础上，对局部域判别器引入类别标签信息，对数据进行特征对齐，同时动态评估边缘分布和条件分布对于域适应的重要性，使用全局域判别器对齐源域和目标域的边缘分布；
[0030]S22.在局部域判别器中，引入类别信息来对源域和目标域的条件分布进行对齐，以执行更细微特征的域适应；
[0031]S23.局部域判别器和全局域判别器的权重采用对抗因子ω进行平衡；
[0032]S24.计算类的原型与特征之间的距离作为基于原型表示的MDD损失。
[0033]进一步地，S2中，全局域对抗损失L
g
为：
[0034][0035]其中，L
d
为域判别损失，G
f
为特征提取器，d
i
为数据x
i
的域标签，D
s
和D
t
分别为源域和目标域的域标签集合，n
s
和n
t
分别为源域和目标域的数据个数。
[0036]进一步地，局部域对抗损失L
l
为：
[0037]将域判别器G
d
分为C个域判别器，每个域判别器表示为每个域判别器负责匹配与第c类相关的源域和目标域数据，标签分类器的输出G
y
(x
i
)用于表示数据x
i
属于第c个域判别器的概率；
[0038][0039]其中，和分别为类c的域判别器和交叉熵损失，是数据x...

【技术保护点】

【技术特征摘要】
1.一种三维磁共振脑部图像分析方法，其特征在于，包括：S1.采用三维卷积神经网络为主干网络，并引入通道注意力模块对三维磁共振脑部图像的源域和目标域进行特征提取；S2.在对抗性域适应网络的源域的交叉熵分类损失、全局域对抗损失和局部域对抗损失中增加基于原型表示的MDD损失来量化分布散度，用以优化对抗性域适应网络损失；分类器根据源域和目标域两个域的特征重新预测源域标签，然后分类器再通过源域预测标签跟真实标签得出源域的分类损失，记为源域的交叉熵分类损失L
cls
；判别器根据源域和目标域的特征重新对数据预测域标签，再通过预测的域标签跟真实数据域标签得出为全局域对抗损失L
g
和局部域对抗损失L
l
。2.根据权利要求1所述的一种三维磁共振脑部图像分析方法，其特征在于，所述三维卷积神经网络包含9个3
×3×
3卷积层；其通道数分别为8、8、16、16、32、32、64、64和128；每个卷积层过后设置BatchNorm层和激活函数ReLU层；分别在Conv2、Conv4、Conv6、Conv8和Conv9层之后加入下采样操作，步长为2
×2×
2。3.根据权利要求1所述的一种三维磁共振脑部图像分析方法，其特征在于，S1中，引入通道注意力模块，主要包括：对主干网络源域和目标域最后一层的卷积结果分别进行全局平均池化和全局最大池化，并将两者的池化结果合并；然后进行单通道卷积操作，从而得到一个空间注意力磁共振特征图；再使用sigmoid激活函数对其归一化，实现在磁共振特征图中反映不同脑区的重要程度，即敏感的脑区经会被赋予更大的权重，不那么重要的脑区将被赋予较小的权重。4.根据权利要求1所述的一种三维磁共振脑部图像分析方法，其特征在于，S1中，特征提取模型如下：假设空间注意力磁共振特征图为A，其定义如下：A＝σ(f3×3×3([M
max
,M
avg
]))其中，σ表示sigmoid激活函数，f3×3×3表示卷积核为3
×3×
3的卷积操作，M
max
和M
avg
分别表示对特征图M进行全局最大池化和全局平均池化的结果特征图；将源域的空间注意力磁共振特征图定义为A
S
，目标域的空间注意力磁共振特征图定义为A
T
；注意力一致性损失为：其中，N表示一个batch中的样本数，H、W、D分别表示高、宽、维度。5.根据权利要求1所述的一种三维磁共振脑部图像分析方法，其特征在于，S2中，对抗性域适应网络的源域的交叉熵分类损失、全局域对抗损失和局部域对抗损失中增加基于原型表示的MDD损失来量化分布散度，主要包括：S21.在全局域判别器和局部域判别器的基础上，对局部域判别器引入类别标签信息，对数据进行特征对齐，同时动态评估边缘分布和条件分布对于域适应的重要性...

【专利技术属性】
技术研发人员：张琼敏，蔡鸿顺，龙颖，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：