基于自适应预处理的三阶段肝脏肿瘤图像分割方法技术

本发明专利技术公开了一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法，属于图像处理领域。本发明专利技术将CT图像的窗位窗宽预处理融合进深度学习网络作为整个网络的第一阶段，以针对不同场景机器环境下的CT成像差异，获取较好的预处理结果，提高最终的肝脏肿瘤分割精度。第二阶段为分割肝脏感兴趣区域的U型网络，第三阶段为最终的肝脏肿瘤精细分割网络。整个网络分为三个阶段，第一阶段负责预处理，第二阶段提取感兴趣区域，以排除不相关的干扰，第三阶段接收第二阶段的监督以实现精细分割。接收第二阶段的监督以实现精细分割。接收第二阶段的监督以实现精细分割。

【技术实现步骤摘要】
基于自适应预处理的三阶段肝脏肿瘤图像分割方法


[0001]本专利技术属于图像处理
，尤其涉及基于自适应预处理的三阶段肝脏肿瘤图像分割方法。

技术介绍

[0002]肝癌即肝脏恶性肿瘤，是世界上常见的癌症之一，每年都会有大量由肝癌引起的死亡，因此，肝癌的治疗一直备受关注。目前可以达到治愈肝癌的手段是肝癌病变切除手术，手术将精准切除肿瘤病变区域，同时保证非病变区域完整性。
[0003]传统做法是由放射科医生沿着CT图像逐层描绘肝脏和肝脏病变区域，以手动分割肿瘤，但这非常耗费时间和精力，而且容易出现所有人工操作中不可避免的误差，如受医生之间的个体性差异、医生的精神状态、经验及水平影响等等。
[0004]为解决人工分割的缺陷，研究者提出一些半自动分割方法，如基于灰度、基于结构的分割方法，以及聚类和分类法，这些算法相较于人工分割降低了分割成本，也提高了分割效率。这类方法在初始阶段需要人工设置特征，如区域生长法，须选中初始区域，然后从该区域出发，采用某种准则，不断地归并周围相似的像素，从而实现区域面积的逐步增长。因此在区域生长法中，初始区域的选定对后续的算法十分关键，这同样取决于医生的经验和水平，所以半自动分割虽然准确率较高，但依然没有彻底摆脱人工依赖，面对临床实践中的大量应用需求还是无法满足。
[0005]深度学习的出现，推动了计算机视觉领域的研究进入又一个高潮，尤其是CNN促进了图像领域的发展。深度学习利用神经网络自动提取特征，克服了传统算法人工提取特征的局限，通过端到端的学习方法，在反向传播中不断地调整参数来优化训练，以实现全自动分割任务，在节省工作和时间的同时也提高了精度，因此在医学图像处理领域得到了广泛应用。
[0006]但是肝脏肿瘤的精确分割一直是深度学习的难点，肝脏和邻近器官之间的对比度较低，从CT图像中自动分割肝脏并不容易，而肝脏肿瘤的分割相比肝脏分割则更具难度。首先，不同病人的CT图像，甚至是同一病人CT图像的不同扫描断层中，肝脏肿瘤的位置、大小、数目以及形状都在随着扫描层的变化而不断变化；其次，不可忽视的影像噪声和模糊的病变边界也严重影响不少分割方法的性能；此外，不同组织结构和病变区域的CT值通常并不相同，一般原始CT图像中的CT值具有较大的动态范围，也就说明其中包含许多与分割任务无关的器官或组织，如果直接将原始图像送入网络，则训练会受到很大干扰，效果不理想，因此在对CT切片预处理时要选择合适的窗位和窗宽，使肝脏结构细节更为凸显。传统的做法是手动设定窗位和窗宽来对CT值进行截断，如LiTs数据集的预处理中，Li等人设置的CT窗口为[
‑
200,250]HU，Han等人设置的窗口为[
‑
200,200]HU，而Lei等人则选用了[
‑
160,240]HU的窗口。
[0007]Long等人在CNN的基础上提出了全卷积网络FCN，推动了图像语义分割任务的解决。FCN中没有全连接层，仅包含卷积层和池化层，且输入图像可以为任意尺寸。在FCN的基
础上，研究者又提出了许多新的网络模型，最著名的就是U
‑
Net网络，其它很多网络都是对U
‑
Net网络的改进。U
‑
Net结构分为编码器和解码器，各自由多个卷积层和多个反卷积层组成，解码器中采用跳跃连接以融合高层语义信息和低层语义信息，完美符合肝脏肿瘤图像中器官及组织整体分布简单，但边缘信息较为模糊，难以分割的特点，丰富了神经网络学习到的语义特征。因此U
‑
Net网络在分割肝脏肿瘤图像领域有着极大的优势。
[0008]注意力机制本质上是在模拟人类视觉，视觉集中点由画面中的关键信息延伸到周围的次要信息，对应注意力机制中学习各类特征对结果数据的贡献大小。本质上注意力机制是对模型的每个部分赋予不同权重，以加强更为关键的局部信息。在计算机视觉领域，也有不少研究人员探索了在卷积神经网络中使用注意力机制来提升图像处理效果的方法，其中很多是使用掩码(mask)学习另一层新的权重分布，然后作用于原特征图上进行加权，使模型在训练过程中专注于学习重要信息，忽略不重要信息。类似于通道注意力、空间注意力和自注意力等，都被证实有利于提高网络性能。通道注意力在通道上对特征图进行压缩，从而赋予各通道以不同的强调权重，学习不同通道间的关联性；而空间注意力则在通道注意力的基础上寻找特征信息聚集更多的位置，作为通道注意力的补充；自注意力机制通过(key,query,value)的三元组对空间全局信息建立长距离依赖，从而获得更为全面的细节特征映射。三者均提高特征表达能力。在深度学习肝脏肿瘤图像分割任务中，也有一些关于注意力机制的尝试，例如将通道注意力、空间注意力或将self
‑
attention机制进行改进以降低计算量融入U
‑
Net的跳跃连接或编码器部分，从而达到更有效的特征提取。
[0009]图像分割任务可以视为像素级的分类问题，适合使用交叉熵损失进行监督学习。但在肝脏肿瘤分割任务中，一共有三种需要学习的分类：背景、肝脏和肿瘤。肿瘤部位通常面积较小，在肝脏区域中并不起眼，而且背景区域的面积也很大，相比而言，肿瘤所占的像素点太少，这样的现象称为样本不平衡问题。一般的交叉熵函数在引导神经网络反向传播时会过多关注背景和肝脏区域，而不会使得网络参数向着优化肿瘤分割的方向更新。为了解决上述问题，通常在交叉熵损失中为背景、肝脏和肿瘤分别赋予权重，其中肿瘤的权重设置得大一些，以强调肝脏肿瘤对网络分类的重要性。此外，也有很多研究人员将交叉熵损失函数与基于分割评价指标的损失函数相结合，从而在优化过程中获得全局视角，弥补像素级分类的缺陷，获得更为理想的分割效果。

技术实现思路

[0010]本专利技术目的在于提供一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法,以解决传统预处理方式的主观性高、肿瘤分割存在的困难的技术问题。
[0011]为解决上述技术问题，本专利技术的具体技术方案如下：
[0012]一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法，包括如下步骤：
[0013]步骤1：CT切片图像获取和CT切片图像基础预处理：
[0014]首先通过对3D的CT图像进行切片化得到二维的CT切片图像，然后对CT切片图像和对CT切片进行背景、肝脏、肿瘤真实分割后的标签同时进行随机旋转、平移、放缩以及加噪数据增强手段；
[0015]步骤2：构建第一阶段自适应预处理网络：
[0016]使用神经网络模拟步骤1生成的CT切片图像的窗位窗宽预处理，通过水平和垂直
方向分解后的空间注意力进行全局信息建模，经过全局池化获得截断阈值，以达到自适应学习CT切片图像合适的窗位窗宽的目的，使分割结果不亚于手动设置；
[0017]步骤3：构建第二阶段U型肝脏感兴趣区域分割网络：
[0018]使用U
‑
Net网络构建第二阶段的U型肝脏感兴趣区域分割网络，U型网络分为编码器和解码器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，包括如下步骤：步骤1：CT切片图像获取和CT切片图像基础预处理：首先通过对3D的CT图像进行切片化得到二维的CT切片图像，然后对CT切片图像和对CT切片进行背景、肝脏、肿瘤真实分割后的标签同时进行随机旋转、平移、放缩以及加噪数据增强手段；步骤2：构建第一阶段自适应预处理网络：使用神经网络模拟步骤1生成的CT切片图像的窗位窗宽预处理，通过水平和垂直方向分解后的空间注意力进行全局信息建模，经过全局池化获得截断阈值，以达到自适应学习CT切片图像合适的窗位窗宽的目的，使分割结果不亚于手动设置；步骤3：构建第二阶段U型肝脏感兴趣区域分割网络：使用U
‑
Net网络构建第二阶段的U型肝脏感兴趣区域分割网络，U型网络分为编码器和解码器两部分，编码器中采用VGG16提取图像特征，解码器采用反卷积；步骤4：联合训练第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络；使用步骤1处理好的CT切片图像划分第一阶段和第二阶段网络联合训练的训练集、验证集和测试集用于训练，采用迁移学习的训练方式获得第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络联合训练的模型参数以及肝脏的粗分割结果；步骤5：构建第三阶段U型注意力机制网络：首先构建第三阶段U型框架，第三阶段U型框架由U
‑
Net网络添加注意力机制形成，在U
‑
Net网络的跳跃连接中加入多尺度注意力机制和窗口注意力机制，多尺度注意力应用不同大小的卷积核进行多尺度特征提取，然后由两层的多层感知器生成多尺度的自适应权值；再由窗口注意力聚合语义信息中每个窗口的邻近特征，生成局部注意力权重；多尺度注意力和窗口注意力级联，多尺度注意力输出作为窗口注意力输入，在多尺度特征的基础上进一步融合空间信息，形成第三阶段U型注意力机制网络；步骤6：联合训练三阶段U型网络：使用步骤1处理好的CT切片图像划分第一阶段、第二阶段、第三阶段联合训练的训练集、验证集和测试集用于训练，并使用第一阶段自适应预处理网络和第二阶段U型肝脏感兴趣区域分割网络联合训练的肝脏粗分割结果指导训练集切片的分割，采用迁移学习的训练方式获得肿瘤的精细分割；步骤7：三阶段联合网络实现肝脏肿瘤图像端到端分割：将待处理的肝脏肿瘤CT切片输入到三阶段联合网络进行全自动的肝脏肿瘤分割。2.根据权利要求1所述的基于自适应预处理的三阶段肝脏肿瘤图像分割方法，其特征在于，所述步骤2的第一阶段自适应预处理网络包括前置卷积、阈值截断、后置卷积三部分，其中阈值截断应用空间注意力对空间信息进行了水平和垂直分解，从而进行全局信息建模，然后由全局平均池化保存全部特征信息的同时降低信息处理的维度，再经过权重学习层自适应寻找合适的单边截断阈值，最后根据该阈值对肝脏肿瘤图像进行窗位窗宽预处理；空间注意力具体做法是先将每个图像通道上的特征图分解为水平和垂直两方向分别
进行编码，再对编码后的特征拼接聚合，最后再次分解学习各自方向上的注意力权重，使得沿着一个空间方向映射长距离语义信息的同时也不会缺失另一个空间方向上的位置信息，从而帮助模型定位感兴趣对象；如式(1)、式(2)和式(3)所示：式(2)和式(3)所示：f＝δ(F1([z
h
,z
w
]))(3)表示高度h处的第c个信道的输出，表示宽度为w的第c个通道的输出，H和W分别表示输入特征图的两个空间尺寸，x
c
表示输入特征图第c个通道上的特征图；f是沿水平和垂直方向编码空间信息得到的中间特征图，z
h
表示高度方向上的特征图，z
w
表示宽度方向上的特征图，[
·
,
·
]表示特征图拼接，F1是1
×
1卷积，δ表示激活函数；将学习到空间信息的中间特征图重新拆分为水平和垂直方向特征图，并最终学习到两个方向上的注意力权重，如式(4...

【专利技术属性】
技术研发人员：李春国，王妍，张翅，郑志刚，谢国烜，张彪，杨绿溪，
申请(专利权)人：东南大学，
类型：发明
国别省市：