【技术实现步骤摘要】
本专利技术涉及图像分割，尤其涉及基于自监督学习和混合网络的深灰质核团分割方法。
技术介绍
1、组织磁化率是一个物理磁共振成像(mri)参数，指示当施加外部磁场时组织中的局部磁场如何变化。组织磁化率能够反映组织成分的独特信息，包括铁和髓鞘。在各种神经退行性疾病中，如阿尔茨海默病、帕金森病和多发性硬化症，都观察到了脑内局灶性异常铁积聚。这些疾病中的异常脑铁沉积易发生在深灰质核团，包括尾状核(cn)、苍白球(gp)、壳(pu)、黑质(sn)、红核(rn)等。这些核团参与执行功能和运动控制，如行为控制、情绪和运动学习。由于定量磁化率图(qsm)定量测量磁化率的能力，它已被证明是监测神经退行性疾病的一种重要的非侵入性测量方法，并在测试新疗法或药物方面具有巨大潜力。
2、为了从qsm中定量测量深灰质核团的磁化率，首先需要标注出感兴趣区域。人工划定这些感兴趣区域在很大程度上依赖于标注人员的经验，是一项乏味而且耗时的任务。因此，为了提高效率和准确性，已经开发了许多基于图谱的自动分割方法。在基于图谱的方法中，手动注释的分割图作为模板，首先通过将目标图像配准到模板大脑，然后对模板分割图进行逆变换，得到原始空间的分割结果。由于深灰质核团的外观与解剖结构高度相关，解剖结构可能因衰老、肿瘤或其他类型的疾病而变化，因此如何获得准确的配准变换是基于图谱的方法中的一个关键挑战。
3、深度学习方法在各种视觉任务中已被证明非常强大，在许多方面超越了传统算法。通过用标记的图像数据样本进行监督训练，卷积神经网络能够学习特征的有效表示，从而提高特
技术实现思路
1、本专利技术的目的在于解决现有技术中的问题。
2、本专利技术解决其技术问题所采用的技术方案是：提供一种基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，包括以下步骤：
3、构建基于编码器-解码器结构的分割模型，所述分割模型的编码器包括提取局部特征的卷积神经网络和提取全局特征的transformer网络，所述分割模型的解码器对编码器学习到的局部特征图和全局特征图进行重组以获得分割结果；
4、采用自监督学习方法对卷积神经网络进行旋转预测预训练，使其能够准确判断输入图像的旋转角度；采用自监督学习方法对transformer网络进行掩码特征重建预训练，使其能够重建出原始的特征图；
5、基于dice损失函数和交叉熵损失函数对预训练后的分割模型进行微调训练；
6、利用训练好的分割模型实现深灰质核团分割。
7、优选的，所述分割模型的编码器由提取局部特征的三维卷积神经网络和提取全局特征的vision transformer组成；编码器提取特征过程为
8、flocal＝3d cnn(x)
9、fglobal＝vit(flocal)
10、其中，x为网络输入的图像数据，3d cnn表示三维卷积神经网络，flocal为三维卷积神经网络提取到的局部特征图，vit表示vision transformer，fglobal为visiontransformer提取到的全局特征图；
11、所述分割模型的解码器由特征拼接、多个解码模块和多级上采样构成，对编码器学习到的局部特征图和全局特征图进行重组，获得分割结果。
12、优选的，所述三维卷积神经网络由四个编码模块和三级下采样构成，每个编码模块为一个由3×3×3卷积操作、批归一化和leakyrelu激活函数组成的残差结构，下采样操作是一个步长为2的3×3×3卷积层。
13、优选的，所述vision transformer由八个transformer层构成，每个transformer层包括层归一化、多头自注意力模块、前馈神经网络和残差连接，第i个transformer层的输出表示为
14、z′i＝mhsa(ln(zi-1))+zi-1
15、zi＝ffn(ln(z′i))+z′i
16、其中，mhsa表示多头自注意力模块，ln层归一化，ffn表示前馈神经网络；zi-1表示前一个transformer层的输出特征图，zi表示当前transformer层的输出特征图，zi＝ffn(ln(z′i))+z′i表示多头自注意力模块的输出特征图；第一个transformer层的输入是局部特征图，最后一个transformer层的输出是全局特征图。
17、优选的，所述解码器中的上采样采用一个步长为2的转置卷积层；所述解码器中的解码模块包括一个1×1×1卷积层和一个残差结构，所述残差结构由3×3×3卷积操作、批归一化和leakyrelu激活函数组成。
18、优选的，所述采用自监督学习方法对卷积神经网络进行旋转预测预训练，采用的损失函数为交叉熵损失函数，表示为：
19、
20、其中，r代表输入图像可以旋转的四种角度，r＝1表示0°，r＝2表示90°，r＝3表示180°，r＝4表示270°；yr表示旋转角度的真实标签，为一个四位的独热编码；表示三维卷积神经网络预测的旋转角度对应的概率；
21、对三维卷积神经网络进行旋转预测预训练的过程为：对于输入的三维图像，沿深度轴将它旋转0°、90°、180°或270°，提取到局部特征图运用全局平均池化后，再通过一个线性层预测旋转角度类别，所述线性层为是一个1×1×1的卷积。
22、优选的，所述采用自监督学习方法对transformer网络进行掩码特征重建预训练，采用的损失函数为均方误差损失函数，表示为
23、
24、其中，mse表示均方误差，f表示重建目标特征图，为旋转预测预训练学习到的特征图，表示vision transformer重建结果特征图；
25、对vision transformer进行掩码特征重建预训练的过程为：将三维卷积神经网络学习到的局部特征图切成多个的patch块，利用随机采样对一定比率的patch块进行掩码，然后将所有的patch块输入到vision transformer，用一个线性层对掩码的特征进行重建，所述线性层为一个1×1×1的本文档来自技高网...
【技术保护点】
1.一种基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述分割模型的编码器由提取局部特征的三维卷积神经网络和提取全局特征的Vision Transformer组成；编码器提取特征过程为
3.根据权利要求2所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述三维卷积神经网络由四个编码模块和三级下采样构成，每个编码模块为一个由3×3×3卷积操作、批归一化和LeakyReLU激活函数组成的残差结构，下采样操作是一个步长为2的3×3×3卷积层。
4.根据权利要求2所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述Vision Transformer由八个Transformer层构成，每个Transformer层包括层归一化、多头自注意力模块、前馈神经网络和残差连接，第i个Transformer层的输出表示为
5.根据权利要求2所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述解码器
6.根据权利要求1所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述采用自监督学习方法对卷积神经网络进行旋转预测预训练，采用的损失函数为交叉熵损失函数，表示为：
7.根据权利要求2所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述采用自监督学习方法对Transformer网络进行掩码特征重建预训练，采用的损失函数为均方误差损失函数，表示为
8.根据权利要求1所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述基于Dice损失函数和交叉熵损失函数对预训练后的分割模型进行微调训练，总的分割损失函数表示为
9.根据权利要求1所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述利用训练好的分割模型实现深灰质核团分割，具体为：
...【技术特征摘要】
1.一种基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述分割模型的编码器由提取局部特征的三维卷积神经网络和提取全局特征的vision transformer组成；编码器提取特征过程为
3.根据权利要求2所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述三维卷积神经网络由四个编码模块和三级下采样构成，每个编码模块为一个由3×3×3卷积操作、批归一化和leakyrelu激活函数组成的残差结构，下采样操作是一个步长为2的3×3×3卷积层。
4.根据权利要求2所述的基于自监督学习和混合网络的深灰质核团分割方法，其特征在于，所述vision transformer由八个transformer层构成，每个transformer层包括层归一化、多头自注意力模块、前馈神经网络和残差连接，第i个transformer层的输出表示为
5.根据权利要求2所述的基于自监督学习和混合网络的深灰质...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。