基于深度学习注意力机制的肝脏肿瘤图像分割方法技术

本发明专利技术公开了一种基于深度学习注意力机制的肝脏肿瘤图像分割方法，属于图像处理领域。本发明专利技术将轴向注意力和多尺度注意力融合进深度学习肝脏肿瘤分割网络。轴向注意力能够在占用少量计算资源的情况下，有效地提取肝脏肿瘤CT图像的全局信息特征，而多尺度注意力可以有效地针对多尺度目标进行自适应的特征提取。网络整体采用U型的网络结构，主干为卷积提取路径，辅路为注意力机制，能够有效地提高肝脏肿瘤分割的性能。肿瘤分割的性能。肿瘤分割的性能。

【技术实现步骤摘要】
基于深度学习注意力机制的肝脏肿瘤图像分割方法


[0001]本专利技术涉及图像处理
，尤其是基于深度学习注意力机制的肝脏肿瘤图像分割方法。

技术介绍

[0002]肝癌严重威胁着人类的健康。在所有癌症中，肝癌发病率排在第六名，但死亡率却排第四位。肝癌病变切除手术是治愈肝癌的重要治疗手段，要求精准切除肿瘤病变区域，同时保证非病变区域完整性。医生只有精确分割出肝脏病变区域，才能对肝癌患者进行精确的诊断、分析以及治疗。肝脏肿瘤精确分割一直是研究的难点，不同病人的CT图像，甚至是同一病人CT图像的不同扫描断层中，肝脏肿瘤的位置并不固定，且大小、数目以及形状也随着扫描层的变化而不断变化，更糟糕的是影像噪声和模糊的组织边界也严重影响着医生对病变区域进行分割。
[0003]目前通过有经验的医师或专家进行手动分割病变的效果最佳，这也经常被作为医学图像分割预测结果的标准，然而却十分耗费精力和时间。更重要的是，手动分割具有不可重复性，这受限于医生的水平和经验，甚至是工作状态。由于不同的经验和水平，对于病变的分割结果是因人而异的；甚至同一医师对于某一组织部分的两次分割也可能会由于疲劳度的原因，造成一定差异。
[0004]为解决手动分割的缺陷，研究者提出一些半自动分割方法，如传统的医学图像分割算法和机器学习算法，这些算法的分割效率相比于手动分割有了很大提高。传统的医学图像分割算法，如Snakes算法，该算法在分割肿瘤时，需要操作者手动在肝脏肿瘤边缘确定一部分轮廓点，形成一个初始轮廓，然后算法自动拟合最终轮廓，该操作比较依赖医生的主观经验以及知识，且精度也不够高；机器学习对手工特征提取依赖十分严重，而特征提取的优劣直接影响最终的肝脏肿瘤分割结果，因此分割精度会明显低于手动分割，分割效果也在一定程度上受限于医生的水平和经验。现代医学亟需一种高效方便、简单实用、可重复性强、精确的全自动分割手段。
[0005]深度学习的出现，成为了计算机视觉领域的一个研究热点，尤其是CNN促进了图像领域的发展。深度学习利用神经网络自动提取特征，克服了传统算法人工提取特征的局限，被广泛应用于医学图像处理领域中。
[0006]最早出现的深度学习肝脏肿瘤分割方法是基于图像块的分割方法，它以整张图像的每一个像素为中心点，以此为中心划分图像块，然后将图像块送入CNN，对其提取特征并预测其类别，此预测的类别便作为该图像块中心点的类别。基于图像块的图像分割方法有两个重大缺陷：一是该方法效率低下，基于图像块的肝脏肿瘤分割方法需要对每一个像素点进行分类，就需要以每一个像素点为中心划分图像块，那么毗邻的像素点之间必然包含了许多的重复计算，当图像分辨率较高时，便会额外占用很大的计算资源；二是损失了全局信息。基于图像块的方法，以某一像素点为中心的图像块作为训练数据，这必然会损失掉该图像块以外的图像信息，忽略全局信息，不利于高精度的肝脏肿瘤分割。
[0007]Long等人在卷积神经网络的基础上提出了全卷积网络FCN，促进了图像分割领域的进步。FCN中没有全连接层，仅包含卷积层和池化层。FCN克服了基于图像块分割方法的缺陷，真正实现了端到端、像素到像素的训练和预测，在分割的过程中也不会丢失全局信息，一定程度上提高了分割精度；相对于基于图像块的分割方法，FCN没有计算冗余，提高了计算效率。FCN还有一个很大的优点就是不限制输入图像的空间尺寸，而传统卷积神经网络中的输入图像尺寸受制于全连接层的神经元个数。
[0008]在FCN的基础上，研究者又提出了许多新的网络模型，最著名的就是U
‑
Net网络，其它很多网络都是对U
‑
Net网络的改进，因此衍生出很多U型变种网络。
[0009]常规的卷积神经网络在多尺度特征提取和全局信息建模方面表现不佳。在肝脏肿瘤的分割任务中，不同的患者，甚至是同一患者，肝脏肿瘤的大小、形状、位置和数量都不尽相同，这给自动精细分割带来了很大的挑战。此外，有些病灶边界不清晰，加之噪声较大，限制了边缘分割的性能。显然，最终的分割结果明显受到多尺度和全局空间建模问题的挑战。
[0010]注意力机制最初在自然语言处理和机器翻译任务中被提出并成功应用，并取得了一定的效果。在计算机视觉领域，也有一些学者探索了在视觉和卷积神经网络中使用注意力机制来提升网络性能的方法。类似于空间注意力、通道注意力和自注意力等，都被证实有利于提高网络性能。在深度学习图像分割任务中，也有一些关于注意力机制的尝试，例如将通道注意力或包含self
‑
attention机制的Transformer融入U
‑
Net。
[0011]图像分割任务可以被认为是一个像素级的分类问题，它适合使用交叉熵监督学习和引导反向传播。在肝脏肿瘤分割任务中，肿瘤与背景之间存在严重的不平衡，这与常规的分割任务有很大的不同。普通的交叉熵函数计算所产生的背景损失远大于前景(待分割目标)损失，这将导致网络参数向着优化背景分割的方向更新。为了解决上述问题，在交叉熵中为背景和前景(待分割的肝脏肿瘤)赋予权重，给肿瘤赋予更大的损失权重以强调肝脏肿瘤对网络分类的重要性。

技术实现思路

[0012]本专利技术要解决的技术问题是基于深度学习注意力机制的肝脏肿瘤图像分割方法，本专利技术基于深度学习注意力机制的肝脏肿瘤图像分割方法是一种语义分割图像处理网络。针对肝脏肿瘤的特点设计了两种注意力机制，有利于提高原有U型网络在肝脏肿瘤图像上的语义分割效果。
[0013]针对多尺度特征提取，提出了一种动态多尺度注意力机制，该机制为多尺度卷积分配自适应权重。尺度注意可以融合多个尺度的感受域，有利于多尺度目标的分割。针对空间信息的全局建模，提出了轴向注意力机制，可以有效地模拟空间的长期依赖关系。通过一种自适应的全局池化方式将这两种注意力机制有机地结合在一起，嵌入到U型网络中以提高肝脏肿瘤的分割性能。
[0014]本专利技术基于深度学习注意力机制的肝脏肿瘤图像分割方法，具体包括如下步骤：
[0015]步骤1：图像获取和图像预处理
[0016]通过对3D的CT图像进行切片化得到二维的CT切片图像；为CT图像的切片设置合适的窗位窗宽，以去除图像中的过多与肝脏肿瘤分割任务不相关的区域，并通过归一化标准化等操作对肝脏CT影响进行处理；
[0017]步骤2：构建U型的注意力机制网络
[0018]首先构建U型框架，在U型网络基础之上加入轴向注意力机制以及多尺度注意力机制，并将二者以自适应池化的方式结合起来；
[0019]步骤3：训练网络
[0020]从步骤2)处理好的数据中，挑选图像划分为训练集、测试集和验证集，使用数据集对网络模型进行训练，得到已经收敛的网络模型；
[0021]步骤4：肝脏肿瘤图像分割
[0022]将待处理的肝脏肿瘤CT切片输入到网络进行全自动的肝脏肿瘤分割。
[0023]有益效果：
[0024]与现有技术相比，本专利技术具有如下有点和有益效果：
[0025]1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，具体包括如下步骤：步骤1：图像获取和图像预处理；首先通过对3D的CT图像进行切片化得到二维的CT切片图像，然后为CT图像的切片设置合适的窗位窗宽值，以去除图像中的过多与肝脏肿瘤分割任务不相关的区域，接着对CT图像以及其对应的分割标签进行外围的裁剪，去除过多的全黑背景区域，以优化网络的训练，最后通过归一化标准化等操作对肝脏CT影响进行处理；步骤2：构建U型的注意力机制网络；首先构建U型框架，在U型网络基础之上加入轴向注意力机制以及多尺度注意力机制，并将二者以自适应池化的方式结合起来；多尺度特征提取作为网络的主路提取多尺度特征，轴向注意力和多尺度注意力中的全局池化结合构成自适应全局池化，生成更有效的多尺度自适应权重；步骤3：训练网络；从步骤2处理好的数据中，挑选图像划分为训练集、测试集和验证集，使用数据集对网络模型进行训练，得到已经收敛的网络模型；步骤4：肝脏肿瘤图像分割；对待处理的肝脏肿瘤CT切片实施和数据集相同的预处理方法，然后将处理后的切片输入到网络进行全自动的肝脏肿瘤分割。2.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，所述的U型的注意力机制网络包括编码网络和解码网络，编码网络包括轴向注意力机制和多尺度注意力机制，编码网络负责特征提取，应用轴向注意力的全局建模构建全局依赖，充分提取信息，应用多尺度注意力的多尺度特征提取能力，对多尺度的输入进行自适应的特征提取，最后将这二者以自适应池化的方式有机结合，充分提取语义信息；同时编码网络的特征也会被馈送到解码网络辅助解码网络的语义分割；编码网络包含四层，每一层都包含一个基于多尺度注意力机制的多尺度特征提取主干路以及一个基于轴向注意力的注意力旁路，旁路提取有效的全局信息，为主路提取的多尺度特征赋予自适应的选择权重；解码网络也包含四层，每一层分别对应编码网络的每一层；解码网络的每一层都由反卷积构成；编码网络和解码网络之间通过跳跃连接来传递信息，编码网络每一层的低层语义信息会流动到解码网络对应的网络层中，辅助高级语义信息实现精确分割。3.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，步骤3中的U型的注意力机制网络包含了多尺度注意力机制，可实现自适应的多尺度特征提取；多尺度注意力机制包括多尺度特征提取和自适应权重两个部分；多尺度特征提取如式(I)所示：式(I)中，是具有n路不同感受野的多尺度卷积，concat(
·
)表示特征图拼接，
F(
·
)表示特征图，k(
·
)表示卷积核，p为特征图中的元素；多尺度特征图的自适应权重是由特征图自身生成的，要经过全局平均池化、全局最大池化以及权重生成层，这三个过程如式(II)、式(III)和式(IV)所示：Z
max
(c)＝Max(X(c,i,j))0≤i≤W
‑
1 0≤j≤H
‑1ꢀꢀꢀ
(III)Weights＝σ(f(δ(f(Z
avg
+Z
max
))))
ꢀꢀꢀꢀ
(IV...

【专利技术属性】
技术研发人员：李春国，陆敬奔，张翅，冷天然，高振，孙希茜，杨绿溪，
申请(专利权)人：东南大学，
类型：发明
国别省市：