一种脑肿瘤图像的分割方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种脑肿瘤图像的分割方法、系统、装置及存储介质，其中方法包括：对脑肿瘤图像及标签进行预处理和数据扩增；对脑肿瘤图像进行卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合；将特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；将特征和最大层级特征图进行聚合，得到最终的语义分割结果。本发明专利技术基于多尺度通道注意力机制，提取特征和进行特征融合，采用特征金字塔和期望最大化注意力机制来提取全局上下文信息，提高语义分割的精度，可广泛应用于计算机视觉及图像处理领域。可广泛应用于计算机视觉及图像处理领域。可广泛应用于计算机视觉及图像处理领域。

【技术实现步骤摘要】
一种脑肿瘤图像的分割方法、系统、装置及存储介质


[0001]本专利技术涉及计算机视觉及图像处理领域，尤其涉及一种脑肿瘤图像的分割方法、系统、装置及存储介质。

技术介绍

[0002]脑肿瘤是由于不可控因素导致细胞癌变增生而引起的一种异常组织，根据其起源可以分为原发性脑肿瘤和继发性脑肿瘤，原发性脑肿瘤起源于脑细胞，而继发性脑肿瘤是从别的器官，远隔器官或者邻近组织生长的肿瘤扩散而来的。胶质细胞瘤是最常见的原发性脑部肿瘤之一，起源于形成大脑结构主干的星形胶质细胞。基于肿瘤的表现，胶质细胞瘤可以分为四个类别I
‑
IV，I和II属于低级别胶质瘤(Low
‑
Grade
‑
Gliomas,LGG)，III和IV属于高级别胶质瘤(High
‑
Grade
‑
Gliomas,HGG)。据统计，大部分患有高级胶质瘤的患者会在一年内死去，所以胶质瘤的早期诊断与治疗是非常关键的。而核磁共振成像(Magnetic Resonance Imaging，MRI)技术作为一种对人体基本没有任何伤害的非侵入式的体内成像技术，对软组织具有良好的分辨力，广泛应用于临床诊断。因此将脑部核磁共振图像中的脑肿瘤各区域分割出来，判断水肿、增强、坏死等区域的确切位置，对于术前计划和术后观察起到很重要的作用。
[0003]传统的脑肿瘤分割方法是由放射学专家根据解剖学与病理学知识，借助特定的软件进行人工分割，这种方法需要极强的领域知识，耗时耗力，标注的正确率因人而异，存在不稳定性。因此计算机辅助诊断(Computer
‑
aided diagnosis,CAD)的出现可以有效地缓解医生的工作压力，通过计算机视觉技术可以准确的找到脑肿瘤MRI图像中的病灶区域，并将分割结果直观的可视化给医生，提供治疗方案的建议。
[0004]随着计算机硬件特别是GPU的发展及大数据时代的到来，基于人工智能和深度学习方法的现代计算机视觉技术在过去十年里发生了巨大的变化，被广泛应用于图像分类、目标检测、人脸识别、语义分割、视频分析和分类等等。比如Olaf Ronneberger于2015年提出的UNet在医学图像领域表现出了相当不错的性能。此外，在脑肿瘤图像分割领域也有许多研究，其中不乏使用注意力机制的网络，然而使用原始空间自注意力机制对于三维数据来说参数和计算复杂度都极大，因此需要轻型空间自注意力机制来减少参数和计算量。

技术实现思路

[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于多尺度通道注意力和期望最大化自注意力的脑肿瘤图像分割方法、系统、装置及存储介质。
[0006]本专利技术所采用的技术方案是：
[0007]一种脑肿瘤图像的分割方法，包括以下步骤：
[0008]步骤1、对输入的多模态的脑肿瘤图像及标签进行预处理和数据扩增；
[0009]步骤2、对脑肿瘤图像进行连续的卷积及下采样，提取脑肿瘤图像中的上下文语义
信息，获得特征图；其中，步骤2由编码器模块来实现；
[0010]步骤3、对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合，最终获得与输入图像尺度一样的特征图；其中，步骤3由解码器模块来实现；
[0011]步骤4、将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；
[0012]步骤5、将步骤4中输出的特征和解码器模块中输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果，实现脑肿瘤图像的分割。
[0013]进一步地，所述多模态为四个模态，步骤1中对脑肿瘤图像及标签进行预处理的步骤，包括：
[0014]对每个模态核磁共振成像的脑肿瘤图像中的非零像素区域减去均值并除以标准差，得到0均值单位方差的图像；
[0015]对四个模态的脑肿瘤图像和标签进行最小脑部区域裁剪，以包含整个脑部区域的同时尽可能去除背景；
[0016]其中，数据扩增包括添加高斯噪声、随机亮度变换或者随机镜像反转中至少一种。
[0017]进一步地，步骤2中的编码器模块包含一系列多尺度通道注意力残差模块和下采样卷积模块，其中多尺度通道注意力残差模块包含两个3
×3×
3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；
[0018]多尺度通道注意力层包含一个全局平均池化层、四个1
×1×
1卷积层、四个组归一化层和两个ReLu激活层。
[0019]进一步地，多尺度通道注意力层中计算过程的表达式如下：
[0020]L(X)＝GN(PWConv2(δ(GN(PWConv1(x)))))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0021]G(X)＝GN(PWConv2(δ(GN(PWConv1(GlbAvg(X))))))
ꢀꢀꢀꢀ
(2)
[0022][0023]其中，L(X)和G(X)分别表示局部注意力特征和全局注意力特征，PWConv表示逐点卷积，GN表示组归一化，δ表示非线性激活函数ReLu，GlbAvg表示全局平均池化；X和X
′
分别表示输入特征和输出特征，F(X)是多尺度注意力特征权值，σ表示非线性激活函数Sigmoid，表示逐元素相乘。
[0024]进一步地，步骤3中的解码器模块包括注意力特征融合模块、多尺度通道注意力残差模块和上采样模块；
[0025]其中，多尺度通道注意力残差模块包含两个3
×3×
3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；多尺度通道注意力层包含一个全局平均池化层、四个1
×1×
1卷积层、四个组归一化层和两个ReLu激活层；
[0026]上采样模块包含一个降通道卷积和一个转置卷积；
[0027]注意力特征融合模块用于利用多尺度通道注意力层来融合跨层的语义不一致的特征；注意力特征融合模块中计算过程的表达式如下：
[0028][0029]其中X，Y表示要进行特征融合的特征，Z表示输出特征，F(X+Y)表示多尺度注意力特征权值，表示逐元素相乘。
[0030]进一步地，步骤4中的特征金字塔融合模块包括两个卷积层和两个三线性插值层，用于将编码器模块中不同尺寸的编码器特征进行融合，以方便期望最大化自注意力模块更好的提取上下文信息；
[0031]其中，期望最大化自注意力模块包含一系列卷积层和矩阵乘法操作，用于挖掘全局上下文信息。
[0032]进一步地，所述期望最大化自注意力模块中计算过程的表达式如下：
[0033]residual＝X
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0034]X
″
＝PWConv1(X本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑肿瘤图像的分割方法，其特征在于，包括以下步骤：步骤1、对输入的多模态的脑肿瘤图像及标签进行预处理和数据扩增；步骤2、对脑肿瘤图像进行连续的卷积及下采样，提取脑肿瘤图像中的上下文语义信息，获得特征图；其中，步骤2由编码器模块来实现；步骤3、对特征图进行上采样，将上采样的图与同一层级编码器模块中的特征进行特征融合，最终获得与输入图像尺度一样的特征图；其中，步骤3由解码器模块来实现；步骤4、将解码器模块每一层级生成的特征图通过特征金字塔融合模块进行聚合，并输入到期望最大化自注意力模块中学习全局上下文信息；步骤5、将步骤4中输出的特征和解码器模块中输出的最大层级特征图进行聚合，并通过卷积模块和Sigmoid函数得到最终的语义分割结果，实现脑肿瘤图像的分割。2.根据权利要求1所述的一种脑肿瘤图像的分割方法，其特征在于，所述多模态为四个模态，步骤1中对脑肿瘤图像及标签进行预处理的步骤，包括：对每个模态核磁共振成像的脑肿瘤图像中的非零像素区域减去均值并除以标准差，得到0均值单位方差的图像；对四个模态的脑肿瘤图像和标签进行最小脑部区域裁剪，以包含整个脑部区域的同时尽可能去除背景；其中，数据扩增包括添加高斯噪声、随机亮度变换或者随机镜像反转中至少一种。3.根据权利要求1所述的一种脑肿瘤图像的分割方法，其特征在于，步骤2中的编码器模块包含一系列多尺度通道注意力残差模块和下采样卷积模块，其中多尺度通道注意力残差模块包含两个3
×3×
3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；多尺度通道注意力层包含一个全局平均池化层、四个1
×1×
1卷积层、四个组归一化层和两个ReLu激活层。4.根据权利要求3所述的一种脑肿瘤图像的分割方法，其特征在于，多尺度通道注意力层中计算过程的表达式如下：L(X)＝GN(PWConv2(δ(GN(PWConv1(X)))))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)G(X)＝GN(PWConv2(δ(GN(PWConv1(GlbAvg(X))))))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，L(X)和G(X)分别表示局部注意力特征和全局注意力特征，PWConv表示逐点卷积，GN表示组归一化，δ表示非线性激活函数ReLu，GlbAvg表示全局平均池化；X和X
′
分别表示输入特征和输出特征，F(X)是多尺度注意力特征权值，σ表示非线性激活函数Sigmoid，表示逐元素相乘。5.根据权利要求1所述的一种脑肿瘤图像的分割方法，其特征在于，步骤3中的解码器模块包括注意力特征融合模块、多尺度通道注意力残差模块和上采样模块；其中，多尺度通道注意力残差模块包含两个3
×3×
3卷积层、两个组归一化层、两个ReLu激活层以及一个多尺度通道注意力层；多尺度通道注意力层包含一个全局平均池化层、四个1
×1×
1卷积层、四个组归一化层和两个ReLu激活层；上采样模块包含一个降通道卷积和一个转置卷积；
注意力特征融合模块用于利用多尺度通道注意力层来融合跨层的语义不一致的特征；注意力特征融合模块中计算过程的表达式如下：其中X,Y表示要进行特征融合的特征，Z表示输出特征，F(X+Y)表示多尺度注意...

【专利技术属性】
技术研发人员：史景伦，陈学斌，熊静远，吕龙飞，王鹏，
申请(专利权)人：广东微步智能科技有限公司，
类型：发明
国别省市：