一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法制造技术

本发明专利技术公开了一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法。本发明专利技术结合二维网络和三维网络提出基于上下文感知的二点五维分割网络模型，在综合利用上下文信息的同时有效降低计算成本。一方面将多张连续切片作为网络输入，另一方面在编码器部分使用三维卷积提取深层特征和片间特征，从而利用层间连续性来优化分割结果，同时在特征提取网络顶层使用空洞空间卷积池化模块来引入全局语义信息，缓解分割目标尺度差异较大的问题。此外，在解码器部分使用二维网络降低参数量，在网络中使用深度可分离卷积代替常规卷积来降低运算成本，同时结合类别交叉熵损失函数和Dice损失函数设计的加权损失函数也能够进一步改善医学图像中的类别不均衡问题。医学图像中的类别不均衡问题。医学图像中的类别不均衡问题。

【技术实现步骤摘要】
一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法


[0001]本专利技术属于深度学习图像处理领域，尤其涉及利用上下文语义信息的医学图像分割算法。

技术介绍

[0002]肝脏作为人体重要的新陈代谢器官，能够直接决定人体的健康状况。据统计，世界上每年大约会新增一百万左右肝癌患者，其中中国是全球肝脏恶性肿瘤发病率和肝脏手术率最高的国家。传统肝脏病变的诊断方法是放射科医生通过肉眼判断和识别，不仅费时费力，而且诊断结果准确性在很大程度上依赖医生的主观判断和临床经验是否丰富，因此推动肝脏肿瘤病变的自动化检测和分割技术的发展与落地具有重要意义。
[0003]深度学习作为机器学习领域的研究方向之一，通过非线性拟合和更深的网络层数来建立更加复杂的网络模型，更适合较复杂的问题场景。相较于传统机器学习算法，深度神经网络无需手动提取和选择特征，而是通过多层卷积的训练和学习来获取图像的深层特征和高层语义信息。目前深度学习相关算法已在医学图像分类、检测、分割及配准等领域应用广泛，将深度学习模型应用于肝脏肿瘤数据集，进行肿瘤的定位、分类以及进一步像素级别上的精细分割，能够有效辅助医生诊断、提高诊断效率。
[0004]目前图像处理领域中常用的是二维深度神经分割网络，通过跳跃连接将编码
‑
解码结构中对应分辨率的特征图融合在一起，使图像细节特征更加丰富，更加适合存在小尺度目标的医学图像分割任务。但二维分割网络只提取了二维切片内的空间特征信息，没有利用到切片之间的相关性，因此有研究提出使用三维卷积模块的三维分割网络来处理三维医学图像，但三维网络对计算设备性能的要求较高、参数量和计算量更大。

技术实现思路

[0005]常见的医学图像多为三维立体影像，现有的二维分割网络只关注了输入图像的片内特征，而忽略了三维医学图像连续切片间的片间相关性。本专利技术则重点关注于此，为了避免三维网络引起的计算量大、参数量多等问题，结合二维网络和三维网络提出基于上下文感知的二点五维分割网络模型，在综合利用上下文信息的同时有效降低计算成本。本专利技术，一方面将多张连续切片作为网络输入，另一方面在编码器部分使用三维卷积提取深层特征和片间特征，从而利用层间连续性来优化分割结果，同时在特征提取网络顶层使用空洞空间卷积池化模块来引入全局语义信息，缓解分割目标尺度差异较大的问题。此外，在解码器部分使用二维网络降低参数量，在网络中使用深度可分离卷积代替常规卷积来降低运算成本，同时结合类别交叉熵损失函数和Dice损失函数设计的加权损失函数也能够进一步改善医学图像中的类别不均衡问题。
[0006]本专利技术提出了一种医学图像分割算法，为一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，从利用上下文信息提升分割结果的角度出发，针对医学图像连
续切片间信息连续性的特征，结合二维和三维网络的优势建立了二点五维分割网络模型。使用多张连续切片作为网络输入，利用三维网络提取层间特征信息并使用深度可分离卷积进一步降低运算成本，同时在网络模型编码器的深层增加了空洞空间卷积池化金字塔来引入全局语义信息。此外，在训练过程中设计了更适合医学图像分割任务的加权损失函数，帮助网络更有效地处理肝脏肿瘤和背景的像素不平衡问题。
[0007]技术方案
[0008]本专利技术公开了一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，现有的二维分割网络忽视了三维图像的片间特征相关性，三维网络将三维图像作为输入，可以捕获切片内和切片间的上下文信息，但三维分割网络往往参数量规模较大、计算成本较高，本专利技术则由此构建了一种在不过度增加计算量的同时又能够充分利用连续切片间特征相关性的分割网络模型。
[0009]具体包括以下步骤：
[0010]S1，采用肝脏肿瘤CT图像数据并进行预处理；
[0011]S2，构建分割网络模型，预处理得到的连续图像作为输入，在三维编码阶段进行深层特征提取，二维解码阶段恢复到原特征分辨率并输出中间层切片的分割预测结果，中间通过降维模块相连接；
[0012]S3，考虑数据集中的样本类别问题，基于分割任务中常用的交叉熵损失函数和Dice损失函数，设计了更适合医学分割任务的加权损失函数，使用该损失函数对网络模型进行训练；
[0013]S4，训练该二点五维分割网络，利用3D全连接条件随机场来细化最终的肝脏肿瘤分割结果。使用Dice相似性系数、体素重叠误差、体素相对误差等分割任务常用评估指标对算法模型进行评估。
[0014]其中，上述数据集图像预处理过程S1中，具体包括以下步骤：
[0015]S11，读取数据集中的图片；
[0016]S12，依据该病例肿瘤最大最小HU值来计算相应的窗宽窗位(窗宽指CT图像中含有的HU值范围，窗位指窗宽上下限的平均值)，通过设置窗宽和窗位的值将HU值调整为[
‑
200，250]的区间内，从而显示更加清晰的目标区域；
[0017]S13，使用直方图均衡化进一步增强对比度，将体素值归一化为[
‑
1，1]；
[0018]S14，利用训练集标准差对数据集进行标准化处理；
[0019]S15，使用随机裁剪、翻转变换、亮度变换等方式对数据集进行数据增强。
[0020]上述步骤S2中，分割网络包括一个三维编码器子网络和一个二维解码器子网络，中间由降维
‑
跳跃连接模块来连接编码阶段和解码阶段中相同分辨率的特征图。具体包括以下步骤：
[0021]S21，数据集预处理后，将每张目标图像连续相邻的t张图像拼接在一起输入网络中提取特征。对于体积V沿z轴上的第k个切片V
·
,
·
,k
，将第k
‑
t到k+t层切片拼接在一起，其对应的连续t相邻切片V
·
,
·
,{k
‑
t,
…
,k,
…
k+t}
如下所示：
[0022]V
·
，
·
{k
‑
t，...，k，...k+t}
＝[V
·
，
·
，k
‑
t
，
…
，V
·
，
·
，k
，
…
，V
·
，
·
，k+t
][0023]S22，在编码阶段对输入图像进行特征提取，使用三维深度可分离卷积卷积来更好地挖掘层内和层间信息。
[0024]S23，编码器子网络由四层组成，每一层的最后通过下采样操作来使分辨率递减、特征图通道数翻倍，从而充分学习图像切片层内和层间图像的特征。
[0025]S24，在编码器的第四层输出的特征图像上使用三维空洞空间卷积金字塔池化模块来增加感受野的大小，保留更多全局上下文信息。
[0026]S25，解码器子网络为四层反卷积操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于，针对肝脏肿瘤图像边缘模糊、对比度低、尺度差异大等分割难点，从利用上下文信息的角度出发，针对医学图像连续切片间信息连续性的特征，结合二维和三维网络的优势建立了二点五维分割网络模型；使用深度可分离卷积进一步降低参数量和运算成本；在特征提取网络顶层通过空洞空间卷积池化模块引入全局语义信息；此外考虑到肝脏肿瘤和背景的类别不平衡问题，结合类别交叉熵损失函数和Dice损失函数设计了更适合分割任务的加权损失函数来优化算法性能。2.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于，具体包括以下步骤：(1)采用肝脏肿瘤CT图像数据并进行预处理；(2)构建二点五维分割网络模型，预处理得到的连续图像作为输入，在三维编码阶段进行深层特征提取，二维解码阶段恢复到原特征分辨率并输出中间层切片的分割预测结果，中间通过降维模块相连接；(3)为了进一步增加感受野，在编码子网络的顶层使用空洞空间卷积金字塔池化模块引入更多全局语义信息；(4)考虑数据集中的样本类别问题，基于分割任务中常用的交叉熵损失函数和Dice损失函数，设计了更适合医学分割任务的加权损失函数，使用该损失函数对二点五维分割网络模型进行训练；(5)训练步骤(2)中的二点五维分割网络模型，利用3D全连接条件随机场来细化最终的肝脏肿瘤分割结果；使用Dice相似性系数、体素重叠误差、体素相对误差分割任务常用评估指标对二点五维分割网络模型及算法进行评估。3.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于，步骤(1)中，图像的预处理包括以下步骤：(1.1)读取数据集中的图片；(1.2)依据该病例肿瘤最大最小HU值来计算相应的窗宽窗位(窗宽指CT图像中含有的HU值范围，窗位指窗宽上下限的平均值)，通过设置窗宽和窗位的值将HU值调整为[
‑
200，250]的区间内，从而显示更加清晰的目标区域；(1.3)使用直方图均衡化进一步增强对比度，将体素值归一化为[
‑
1，1]；(1.4)利用训练集标准差对数据集进行标准化处理；(1.5)使用随机裁剪、翻转变换、亮度变换等方式对数据集进行数据增强。4.根据权利要求1所述的基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法，其特征在于：步骤(2)描述了网络整体结构设计，二点五维分割网络模型包括一个三维编码器子网络和一个二维解码器子网络，中间由降维
‑
跳跃连接模块来连接编码阶段和解码阶段中相同分辨率的特征图；包括以下步骤：(2.1)将每张目标图像连续相邻的t张图像拼接在一起作为输入图像，输入网络中提取特征；对于体积V沿z轴上的第k个切片V
·
,
·
,k
，将第k
‑
t到k+t层切片拼接在一起，其对应的连续t相邻切片V
·
,
·
,{k
‑
t,
…
,k,

【专利技术属性】
技术研发人员：罗烨，潘超，赵生捷，王培军，
申请(专利权)人：同济大学，
类型：发明
国别省市：