基于E2C-Transformer网络的胶质瘤MRI数据分割方法技术

本发明专利技术公开了基于E2C

【技术实现步骤摘要】
基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法


[0001]本专利技术涉及数字医学影像处理与分析
，具体是基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法。

技术介绍

[0002]脑肿瘤，又称颅内肿瘤，是一种异常组织肿块，其中细胞无法控制地生长和繁殖。大约33％的脑肿瘤是胶质瘤，它主要来源于围绕和支持脑神经元的胶质细胞，会影响大脑功能，甚至危及生命。因此，早期发现和诊断是脑胶质瘤治疗的关键。通常，放射科医生使用MRI生成的多模式图像来识别软组织中的不同肿瘤区域。胶质瘤可以通过多种MRI模式检测，如T2加权液体衰减反转恢复(FLAIR)、T1加权(T1)、T1
‑
加权增强(T1ce)和T2
‑
加权(T2)。不同的成像方式可以提供不同的肿瘤图像。在获得胶质瘤的多模态体积数据后，需要逐像素分割每个切片，直到将3D脑体积分割成有意义的区域。
[0003]为了获得有关脑肿瘤的信息，放射科医生需要结合解剖学和生理学知识手动分割MRI图像。然而，放射科医生对脑肿瘤的手动分割在像素级别上很困难。胶质瘤组织学亚区的异质性，如瘤周水肿、坏死细胞核和肿瘤细胞核增强，尤其是它们与正常组织的边界模糊，使得手动分割非常困难。因此，放射科医生手动分割胶质瘤MRI图像，Dice得分在74％到85％之间。此外，与使用图形处理单元(GPU)完成分割任务需要几秒钟的自动方法相比，手动分割非常耗时。放射科医生通常需要花费3
‑
5个小时从MRI图像中手动提取特征并进行标记。考虑到患者数量和肿瘤组织形状、位置和结构的多样性，很明显，全自动分割方法具有更重要的临床意义和实用价值。AlexNet模型是第一个用于大型数据集的CNN架构，创新性地使用ReLu作为激活函数，并有效抑制反向传播期间的消失梯度。全卷积神经网络(FCN)的出现进一步提高了卷积神经网(CNN)在现代医学图像分割中的性能。FCN用卷积层取代了末端的完全连接层，从而实现了图像的像素级分类，解决了语义级图像分割问题。U
‑
Net使用多尺度策略和卷积反褶积架构来提高FCN的性能，其编码器
‑
解码器反褶析目前广泛用于图像分割邻域。然而，要实现准确可靠的脑肿瘤自动分割，自动分割方法仍面临一些挑战：(1)肿瘤形状、结构和位置的高度异质性，极大地限制了胶质瘤MRI数据自动分割的精度。因此，理想的分割模型需要捕捉胶质瘤的局部(纹理、边缘等)和全局特征(形状、位置、结构等)。但是，现有大多数CNN模型基于卷积运算并提取局部特征，难以捕获胶质瘤的一般表示形式。(2)胶质瘤MRI数据存在严重的类别不平衡，肿瘤区域仅占非常小的比例，这使得模型更加关注背景区域，并使其难以捕捉肿瘤特征。此外，除了前景和背景数据的不平衡外，每个肿瘤子区域在整个肿瘤中的比例也有显著差异，子区域之间的类别不平衡使得模型很难预测比例非常小的类别。

技术实现思路

[0004]本专利技术要解决的技术问题是提供基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法，用以多模态MR图像中胶质瘤区域的自动分割。
[0005]为了解决上述技术问题，本专利技术提供基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法，包括：采集脑部的四种模态MRI图像，将四种模态MRI图像进行标准化处理，将标准化处理后的图像按四种模态合并为四通道3D图像数据并进行裁剪，然后输入到E2C
‑
Transformer网络中进行预测，得到坏死性和非强化肿瘤、瘤周水肿和强化肿瘤三种不同区域的分割结果；
[0006]所述E2C
‑
Transformer网络包括具有跳跃连接的对称U形编码器
‑
解码器结构，输入的特征图经过初始卷积层，然后经过4组交替叠加Conformer和下采样模块的编码器，网络的底部为8个连续卷积层，再经过3组交替叠加上采样层和Conformer的解码器，最后经过一个1*1的卷积以及softmax函数。
[0007]作为本专利技术的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法的改进：
[0008]所述Conformer包括CNN分支、Transformer分支和功能耦合单元FCU，功能耦合单元FCU位于CNN分支、Transformer分支之间；在功能耦合单元FCU中，位于CNN分支的特征序列流向Transformer分支的路径，下采样模块采用跨步卷积，并使用可学习一维位置嵌入来编码位置信息，并通过直接加法将位置信息与特征图融合。
[0009]作为本专利技术的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法的进一步改进：
[0010]所述E2C
‑
Transformer网络中的下采样模块均采用跨步卷积。
[0011]作为本专利技术的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法的进一步改进：
[0012]所述CNN分支由两个重复的集成卷积模块组成，每个集成卷积模块由向下投影卷积层、空间卷积层、向上投影卷积层以及输入、输出之间的残差连接组成；所述Transformer分支包括依次连接的LayerNorm、多头自注意力模块、LayerNorm和多层感知器模块，并在将第一个LayerNorm的输入和多头自注意力模块的输出之间采用残差连接，第二个LayerNorm的输入和多层感知器模块之间采用残差连接；并将来自CNN分支的特征图下采样嵌入。
[0013]作为本专利技术的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法的进一步改进：
[0014]所述E2C
‑
Transformer网络的训练和测试过程为：设置训练的参数，包括批大小、初始学习率、权重衰减率和训练轮次，将训练集输入E2C
‑
Transformer网络，使用损失函数来计算模型预测值和真实值的差异，并将L2范数应用于模型正则化，达到预定训练轮次后获得训练好的E2C
‑
Transformer网络；然后将测试集输入训练好的E2C
‑
Transformer网络，获得的预测结果再经过后处理，并统计Dice相似系数、灵敏度、特异性和Hausdorff距离作为评测指标，获得可在线使用的所述E2C
‑
Transformer网络。
[0015]作为本专利技术的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法的进一步改进：
[0016]所述后处理包括依次进行测试时间增强和体积约束的处理；测试时间增强为将3D图像的x、y、z轴分别对应图像的宽度、长度、深度，执行7个不同方向的翻转，分别是：(x)，(y)，(z)，(x,y)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法，其特征在于:采集脑部的四种模态MRI图像，将四种模态MRI图像进行标准化处理，将标准化处理后的图像按四种模态合并为四通道3D图像数据并进行裁剪，然后输入到E2C
‑
Transformer网络中进行预测，得到坏死性和非强化肿瘤、瘤周水肿和强化肿瘤三种不同区域的分割结果；所述E2C
‑
Transformer网络包括具有跳跃连接的对称U形编码器
‑
解码器结构，输入的特征图经过初始卷积层，然后经过4组交替叠加Conformer和下采样模块的编码器，网络的底部为8个连续卷积层，再经过3组交替叠加上采样层和Conformer的解码器，最后经过一个1*1的卷积以及softmax函数。2.根据权利要求1所述的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法，其特征在于：所述Conformer包括CNN分支、Transformer分支和功能耦合单元FCU，功能耦合单元FCU位于CNN分支、Transformer分支之间；在功能耦合单元FCU中，位于CNN分支的特征序列流向Transformer分支的路径，下采样模块采用跨步卷积，并使用可学习一维位置嵌入来编码位置信息，并通过直接加法将位置信息与特征图融合。3.根据权利要求2所述的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法，其特征在于：所述E2C
‑
Transformer网络中的下采样模块均采用跨步卷积。4.根据权利要求3所述的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法，其特征在于：所述CNN分支由两个重复的集成卷积模块组成，每个集成卷积模块由向下投影卷积层、空间卷积层、向上投影卷积层以及输入、输出之间的残差连接组成；所述Transformer分支包括依次连接的LayerNorm、多头自注意力模块、LayerNorm和多层感知器模块，并在将第一个LayerNorm的输入和多头自注意力模块的输出之间采用残差连接，第二个LayerNorm的输入和多层感知器模块之间采用残差连接；并将来自CNN分支的特征图下采样嵌入。5.根据权利要求4所述的基于E2C
‑
Transformer网络的胶质瘤MRI数据分割方法，其特征在于：所述E2C
‑
Transformer网络的训练和测试过程为：设置训练的参数，包...

【专利技术属性】
技术研发人员：赖小波，王卓雅，杜羽，徐鹏，黄河，金伟，
申请(专利权)人：浙江中医药大学，
类型：发明
国别省市：