多任务学习框架下结合注意力的肺叶分割方法及系统技术方案

本发明专利技术公开了一种多任务学习框架下结合注意力的肺叶分割方法及系统。本发明专利技术将肺叶分割任务作为主要任务、肺实质分割任务作为辅助任务，并行计算肺叶分割任务和肺实质分割任务；并在网络中插入通道注意力模块和锐化空间注意力模块，通道注意力模块能够强化通道特征信息，锐化空间注意力能够提升边缘测试效果，该网络能够自适应地权衡不同的任务，优化多任务目标的网络，最后训练得到的分割模型能实现三维图像的快速准确分割。本发明专利技术能有效利用神经网络学习多任务之间的共有特征，有望提取到更加全面的特征，强化主任务肺叶分割网络性能，在不增加实际使用时深度网络复杂度的情况下，提高深度网络对肺叶的分割能力。提高深度网络对肺叶的分割能力。提高深度网络对肺叶的分割能力。

【技术实现步骤摘要】
多任务学习框架下结合注意力的肺叶分割方法及系统


[0001]本专利技术涉及医学图像处理
，更具体的，尤其涉及一种多任务学习框架下结合通道及锐化注意力的肺叶分割方法及系统。

技术介绍

[0002]肺实质在CT图像上是巨大的低灰度连通区域，主流的肺实质分割方法是采用阈值将肺实质和胸腔的其他结构分离，并基于区域生长方法获得连通的左、右肺，移除主气管和伸入肺的主支气管，再填充实质中血管、结节等形成的孔洞，得到完整的肺组织。人的肺分为五个功能区域，称为肺叶。五个肺叶中的每一个叶功能独立，具有自己的支气管和血管系统。这些叶的识别在疾病评估和治疗计划中具有重要应用。许多肺部疾病在肺叶水平起作用。在肺叶水平测量肺部疾病对于疾病表型和评估其严重程度具有重要的临床意义。肺叶分割在手术治疗计划中有进一步的应用。确定肺叶的位置、形状和体积对于规划调查和外科手术非常重要。传统肺叶分割方法常把肺实质分割作为预处理手段，以减少肺叶分割时将肺部以外区域错误分割的可能，但这种方法需要将训练过程分为多阶段，增加了分割模型的部署成本和网络训练的操作复杂度，因此选择使用多任务学习方法，将肺叶分割任务作为主要任务，肺实质分割作为辅助任务，并行训练两个任务网络自适应地调整多任务权重，实现对多任务目标网络的优化。随着深度学习的不断发展，研究者们开始借助深度学习，实现对CT图像中的肺叶进行自动分割。基于卷积运算的神经网络系统，即卷积神经网络是深度学习中最常用的方法之一。
[0003]卷积神经网络（Convolutional Neural Network，CNN）是一种前馈型的神经网络，由于其网络结构特征，在图像处理特别是大型图像处理方面的性能优越，因此，在图像识别、目标检测等应用中，卷积神经网络得到了大规模的使用。卷积神经网络在计算量上相较于其他网络结构有明显优势，从而得到了广泛的应用。
[0004]生成对抗网络（Generative adversarial networks，GAN）是深度学习领域的一个重要生成模型，即两个网络（生成器和判别器）在同一时间训练并且在极小化极大算法（minimax）中进行竞争。这种对抗方式避免了一些传统生成模型在实际应用中的一些困难，巧妙地通过对抗学习来近似一些不可解的损失函数，在图像、视频、自然语言和音乐等数据的生成方面有着广泛应用。基于生成对抗网络 GAN 的语义分割模型，在利用生成的图像和目标分割图像的不一致性方面表现出更好的效率。如何设计生成对抗网络模型生成器来更好的获取上下文空间信息，以完成有效的图像编解码工作，是利用基于生成对抗网络的语义分割模型的关键步骤。因此，亟待一种多任务学习框架下高效的肺叶分割方法。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足，提出一种多任务学习框架下结合注意力的肺叶分割方法及系统。
[0006]本专利技术采用的技术方案具体如下：
[0007]一种多任务学习框架下结合注意力的肺叶分割方法，该方法为：
[0008]将待分割的三维CT图像输入至分割模型，分割模型生成与输入相同分辨率大小的预测的肺叶分割图像（肺叶掩模）；
[0009]所述分割模型是在多任务学习框架下训练获得的，训练方法如下：
[0010]构建训练数据集，所述训练数据集的每一样本包括三维CT图像及对应的肺叶标签和肺实质标签；
[0011]构建多任务学习框架下的目标网络，目标网络包括编码器、第一解码器、第二解码器；其中，所述编码器用于对输入的三维CT图像进行特征提取，第一解码器用于将编码器提取的特征解码获得预测的肺叶分割图像；第二解码器用于将编码器提取的特征解码获得预测的肺实质分割图像；编码器的若干个上采样模块和/或第一解码器、第二解码器的若干个下采样模块中插入有通道注意力模块，使得插入的块卷积操作前先进行通道信息的建模来强化重要特征；所述编码器的若干个下采样模块中插入有锐化空间注意力模块，使得插入的下采样模块在输出前对输出做图像锐化处理；
[0012]将训练数据集的每一样本作为目标网络的输入，以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标进行训练优化目标网络的参数，其中训练好的编码器、第一解码器组合构成分割模型。
[0013]进一步地，编码器有四个下采样模块，分别是 2、2、3和 3 层卷积 + Batch Norm层 + ReLu 层。基于U
‑
Net结构，第一、第二解码器网络建立在从编码器网络获得的表示上，具有编码器网络的转置架构。在最后一层，输出维度等于CT图像的输入空间分辨率，通道数等于分割类别的数量。
[0014]进一步地，所述通道注意力模块结构上设计与SE block相似，在SE block两个全连接层中间加入一个1D卷积层来加强对通道信息的建模能力，并将SE block中的全连接层用2D卷积层代替。所述通道注意力模块包括依次连接的池化层、第一2D卷积层、1D卷积层、第二2D卷积层和激活函数层组成；其中池化层用于获取输入图像的全局空间信息；第一2D卷积层用于对池化层获取的全局空间信息压缩通道数，1D卷积层用于对第一2D卷积层输出的压缩通道数后的全局空间信息进行卷积加强对通道信息的建模能力；第二2D卷积层对1D卷积层的输出进行卷积，激活函数层用于对第二2D卷积层的输出进行映射得到特征通道权值，最后基于特征通道权值对所述通道注意力模块的输入图像进行选择性的加强包含有用信息的特征并抑制无用特征，得到通道注意力模块的输出。
[0015]进一步地，所述锐化空间注意力模块包括平均池化层、最大池化层、锐化滤波模块、卷积核和激活函数层，其中平均池化层、最大池化层分别对输入特征图进行处理提取获得二通道特征图，锐化滤波模块用于对二通道特征图做图像锐化处理，锐化二通道特征图的特征边缘信息，卷积核用于对锐化处理后的二通道特征图进行合并成一层特征图，激活函数层对合并后的一层特征图进行映射得到特征权值，最后基于特征权值对所述锐化空间注意力模块的输入特征图进行逐元素在空间维度上乘入，得到锐化空间注意力模块的输出。
[0016]进一步地，所述以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标的目标函数为：
[0017][0018]其中，m为所述目标网络任务数，包括第一解码器将编码器提取的特征解码获得预测的肺叶分割图像的主要任务和第二解码器将编码器提取的特征解码获得预测的肺实质分割图像的辅助任务； n
i
为训练样本的个数，x
ij
表示任务i的样本j的三维CT图像，y
ij
为任务i的样本j的标签，l（.，.）为损失函数，b=（b1，...b
m
）
T
表示m个任务的偏移补偿，λ为正则化参数，tr（.）是矩阵的迹，W i
则是任务i的权重参数，D矩阵是半正定矩阵。
[0019]进一步地，所述目标网络还包括一判别器，所述判别器与由编码器、第一解码器组合构成的生成器构成生成对抗网络模型，训练时，基于生成对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务学习框架下结合注意力的肺叶分割方法，其特征在于，该方法为：将待分割的三维CT图像输入至分割模型，分割模型生成预测的肺叶分割图像；所述分割模型是在多任务学习框架下训练获得的，训练方法如下：构建训练数据集，所述训练数据集的每一样本包括三维CT图像及对应的肺叶标签和肺实质标签；构建多任务学习框架下的目标网络，目标网络包括编码器、第一解码器、第二解码器；其中，所述编码器用于对输入的三维CT图像进行特征提取，第一解码器用于将编码器提取的特征解码获得预测的肺叶分割图像；第二解码器用于将编码器提取的特征解码获得预测的肺实质分割图像；编码器的若干个上采样模块和/或第一解码器、第二解码器的若干个下采样模块中插入有通道注意力模块，使得插入的块卷积操作前先进行通道信息的建模来强化重要特征；所述编码器的若干个下采样模块中插入有锐化空间注意力模块，使得插入的下采样模块在输出前对输出做图像锐化处理；将训练数据集的每一样本作为目标网络的输入，以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标进行训练优化目标网络的参数，其中训练好的编码器、第一解码器组合构成分割模型。2.根据权利要求1所述的方法，其特征在于，所述通道注意力模块包括依次连接的池化层、第一2D卷积层、1D卷积层、第二2D卷积层和激活函数层组成；其中池化层用于获取输入图像的全局空间信息；第一2D卷积层用于对池化层获取的全局空间信息压缩通道数，1D卷积层用于对第一2D卷积层输出的压缩通道数后的全局空间信息进行卷积加强对通道信息的建模能力；第二2D卷积层对1D卷积层的输出进行卷积，激活函数层用于对第二2D卷积层的输出进行映射得到特征通道权值，最后基于特征通道权值对所述通道注意力模块的输入图像进行选择性的加强包含有用信息的特征并抑制无用特征，得到通道注意力模块的输出。3.根据权利要求1所述的方法，其特征在于，所述锐化空间注意力模块包括平均池化层、最大池化层、锐化滤波模块、卷积核和激活函数层，其中平均池化层、最大池化层分别对输入特征图进行处理提取获得二通道特征图，锐化滤波模块用于对二通道特征图做图像锐化处理，锐化二通道特征图的特征边缘信息，卷积核用于对锐化处理后的二通道特征图进行合并成一层特征图，激活函数层对合并后的一层特征图进行映射得到特征权值，最后基于特征权值对所述锐化空间注意力模块的输入特征图进行逐元素在空间维度上乘入，得到锐化空间注意力模块的输出。4.根据权利要求1所述的方法，其特征在于，所述以最小化预测的肺叶分割图像和预测的肺实质分割图像与标签的误差为目标的目标函数为：；其中，m为所述目标网络任务数，包括第一解码器将编码器提取的特征解码获得预测的肺叶分割图像的主要任务和第二解码器将编码器提取的特征解码获得预测的肺实质分割图像的辅助任务； n
i
为训练样本的个数，x
ij
表示任务i的样本j的三维CT图像，y
ij
为任务i的样本j的标签，l（.，.）为损失函数，b=（b1，...b
m
）
T
表示
m个任务的偏移补偿，λ为正则化参数，tr（.）是矩阵的迹，W i
则是任务i的权重参数，D矩阵是半正定矩阵。5.根据权利要求1所述的方法，其特征在于，所述目标网络还...

【专利技术属性】
技术研发人员：朱闻韬，宋怡然，薛梦凡，黄海亮，
申请(专利权)人：之江实验室，
类型：发明
国别省市：