一种基于多注意力机制的端到端的肿瘤分割方法技术

本发明专利技术涉及一种基于多注意力机制的端到端的肿瘤分割方法，该方法主要包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络，由改进的3D Residual U‑net构成；注意力模块由特殊设计的双分支结构构成。该方法能够弥补现有技术的训练效率低，分割精度差的不足，将对多个肿瘤子区域多类分割问题转化成多个二类分割任务，注意力机制将对肿瘤外周水肿区域的分割结果作为一种软注意力添加到进一步对于肿瘤核部分的分割子任务中，同样将肿瘤核部分的分割结果通过注意力机制添加到对于肿瘤核内部的增强区域的分割子任务中。该方法适用于包括脑瘤在内的具有类似层次结构的肿瘤病变组织的3D影像的分割，包括MRI，CT图像等，能够提供更加精确的分割结果。

An End-to-End Tumor Segmentation Method Based on Multi-Attention Mechanism

【技术实现步骤摘要】
一种基于多注意力机制的端到端的肿瘤分割方法
本专利技术涉及计算机视觉，医学图像处理，图像分割领域，尤其是对于肿瘤的核磁共振图像的自动分割领域，具体涉及一种基于多注意力机制的端到端的肿瘤分割方法。
技术介绍
对于肿瘤的不同组织的精准划分和描述是治疗肿瘤和判断预后效果中非常重要的一步。在现阶段的临床实践中，肿瘤的标定勾勒通常是由专业的医生或有丰富经验的放射科医师来完成。然而，医学图像不同于传统的自然场景下的2D图像，许多肿瘤需要借助MR，CT等仪器生成的3D图像来进行确诊，对于这些3D图像的手工分割往往是一件耗时耗力成本高昂的工作，而且不同的标注者对于同一幅图像的判断标准和标注原则并不是完全相同，因此标注的结果往往具有很大的类间和类内方差。深度学习的发展极大地推动了对于肿瘤图像自动分割的研究，但是由于脑瘤在图像中的独特特点，给这项工作带来了极大地挑战。首先肿瘤的不同区域以及肿瘤在人体中与其他正常组织之间对比度较低，因此在低级别的肿瘤影像中其边界非常模糊，成像后边界会出现无规则不连续的情况；其次肿瘤的大小，形状，位置，对比度摄取等在不同的病人之间也存在较大的差异，无法将一些固定规则的先验知识添加到分割任务中去。以脑神经胶质瘤为例，更加精确的分类脑瘤的亚型和告知后续的治疗，在将其从混杂的脑部其他组织中分离出来的同时，还需要分别对脑瘤的水肿区域，肿瘤核(手术中主要切出的部分)，增强部分等进行划分，这也是术前规划和进行放射治疗的关键。鉴于任务的复杂性，目前的很多工作都是通过设计一个更加强大的模型来解决对于多个肿瘤子区域的分割，但是这些单个的模型对于图像中较小的区域分割效果较差。也有很多工作是通过将复杂任务分解，使用多个简单模型来处理不同的子任务，最后通过级联的方式结合在一起，但是对于这种级联网络的一个缺点就是它并不是一个端到端的网络，因此其训练测试效率较低，同时将整体任务分解，虽然每个子任务能达到局部最优，但是无法达到全局最优。
技术实现思路
本专利技术所要解决的技术问题是：弥补上述现有技术的不足，提出一种基于多注意力机制的端到端的肿瘤分割方法，提升分割效果。为此，本专利技术提出一种基于多注意力机制的端到端的肿瘤分割方法，利用深度学习神经网络进行肿瘤分割，所述神经网络包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络；注意力模块由双分支结构构成；该方法的使用包括如下步骤：A.数据的预处理，包括图像的裁切，数据的增强，图像的偏差矫正，归一化等操作；B.数据的输入，通过对数据的排序进行打乱，随机裁切一定大小的图像块，作为模型的输入；C.模型的训练，使用准备好的数据对主干网络和注意力模块组成的模型进行整体端到端训练，直到模型在评价指标上达到收敛为止；D.效果的验证，将训练好的模型对验证集中的所有肿瘤图像进行分割，将分割得到的结果进行在线提交，以评估模型的分割效果。在本专利技术的一些实施例中，还包括如下特征：将肿瘤的多类分割问题转化为多个前景背景二类分割问题，使用多个子网络来对不同的子区域进行分割，最终将各个子网络对于不同子区域的分割结果通过加权平均的方式进行融合。主干网络由三个子网络构成，三个子网络均使用改进的3DResidualU-net结构，其下采样次数分别为4次、4次、3次。根据肿瘤在解剖学上的层次性特点，通过使用注意力机制来利用这一特点，将对于全肿瘤的分割结果作为一种软注意力信息添加到对于肿瘤核的分割任务上，同理，将对于肿瘤核的分割结果作为一种软注意力信息添加到对于肿瘤核内部增强肿瘤部分的分割任务上。注意力模块包括两个分支，一个分支的输入来自于前一个子网络输出部分logit操作之前的特征图，将其进行了sigmod归一化处理；另一个分支的输入来自于相邻下一个子网络中下采样路径中第一个残差块输出部分的特征图。注意力模块中在将注意力图和相应的特征图点乘时，先对注意力图中的所有元素进行加一操作，防止因为注意力图趋近于零时进行点乘影响后面的子网络的训练。数据的预处理过程中首先通过检测像素值大于零的最小边界，使用该最小边界对数据进行裁切，一定程度上缓解类别不平衡问题。数据预处理过程中对于肿瘤3DMRI进行了偏差矫正，之后又进行归一化操作，使图像的像素值处于[0,1]区间。模型训练过程中输入数据是采样后的3D图像块，同时为了缓解类别不平衡问题，采样时限制了图像块中每个类别的最小体素数目。模型的训练是一个端到端的过程，即中间的学习过程完全是由深度卷积神经网络完成，不需要额外的特征处理操作。本专利技术与现有技术对比的有益效果是：1)我们提出了一种用于3D医学图像分割的端到端模型。我们将多个复杂子区域的多类分割问题转化为不同的子任务，用不同的子网络进行学习，然后将这些子网络组合在一起作为一个整体进行优化，在实现整体优化的同时，使每个子网更多地关注特定的子区域。2)我们使用了注意力机制，充分利用了肿瘤解剖结构特点。将肿瘤外周水肿区域的分割结果作为一种软注意力信息添加到对于肿瘤核部分的分割，同理肿瘤核部分的分割结果也被作为一种软注意力添加到肿瘤核内部水肿区域的分割任务中。3)我们将所提出的模型在BraTS’2017脑瘤数据集上进行了实验，我们在使用了更少的输入MRI序列的前提下，能够在验证集上达到最好的分割成绩。尤其是对于加入注意力机制的肿瘤核和增强肿瘤部分的分割效果的提升格外明显。附图说明图1是本专利技术具体实施方式中端到端多注意力方法的主要流程示意图；图2是本专利技术具体实施方式中端到端多注意力方法中子网络的结构图；图3是本专利技术具体实施方式中端到端多注意力方法中注意力机制的结构示意图；图4是本专利技术具体实施方式中端到端注意力方法中子网络中的残差块的结构图；图5是本专利技术具体实施方式中端到端注意力模型的输入MRI序列和最终的分割结果，(a)FLAIR序列；(b)T1序列；(c)T1-Gd序列；(d)本模型对于脑瘤的分割效果。具体实施方式下面结合具体实施方式并对照附图对本专利技术做进一步详细说明。本专利技术下述实施例模型将对多个肿瘤子区域多类分割问题转化成多个二类分割任务，同时利用肿瘤在解剖学上特点，使用注意力机制将对肿瘤外周水肿区域的分割结果作为一种软注意力添加到进一步对于肿瘤核部分的分割子任务中，同样将肿瘤核部分的分割结果通过注意力机制添加到对于肿瘤核内部的增强区域的分割子任务中，这样每个子网络对于肿瘤不同区域的学习就会更加聚焦于感兴趣的部分，效率更高。相比于之前的模型，该模型能够进行端到端的训练，这样能够协调各个子任务，达到全局最优。下面是具体说明。本专利技术所提出的端到端的模型主要包括两大部分，分别是基础主干网络和注意力模块，如图1所示，三个虚线框分别为三个子网络，虚线框之间的连接线代表注意力模块的上分支，圈×符号代表注意力模块的点乘。模型中的三个子网络均采用相同结构的三维残差U型网络(3DResidualU-net)(图1每个子网络中三个白色块即简化后的3DResidualU-net，详细结构如图2所示)，只是考虑到分割目标的大小，在网络的深度上有所区别。三个子网络分别对于全肿瘤、肿瘤核、增强肿瘤进行分割(即：三个子网络的输入是相同的，只是他们的分割目标是不用的，分别用于全肿瘤，肿瘤核和增强肿瘤的分割)。在两个相邻的子网络之间，使用我们所提出的注意本文档来自技高网...

【技术保护点】
1.一种基于多注意力机制的端到端的肿瘤分割方法，利用深度学习神经网络进行肿瘤分割，所述神经网络包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络；注意力模块由双分支结构构成；该方法的使用包括如下步骤：A.数据的预处理，包括图像的裁切，数据的增强，图像的偏差矫正，归一化等操作；B.数据的输入，通过对数据的排序进行打乱，随机裁切一定大小的图像块，作为模型的输入；C.模型的训练，使用准备好的数据对主干网络和注意力模块组成的模型进行整体端到端训练，直到模型在评价指标上达到收敛为止；D.效果的验证，将训练好的模型对验证集中的所有肿瘤图像进行分割，将分割得到的结果进行在线提交，以评估模型的分割效果。

【技术特征摘要】
1.一种基于多注意力机制的端到端的肿瘤分割方法，利用深度学习神经网络进行肿瘤分割，所述神经网络包括主干网络部分和注意力模块部分，其中主干网络包括三个子网络；注意力模块由双分支结构构成；该方法的使用包括如下步骤：A.数据的预处理，包括图像的裁切，数据的增强，图像的偏差矫正，归一化等操作；B.数据的输入，通过对数据的排序进行打乱，随机裁切一定大小的图像块，作为模型的输入；C.模型的训练，使用准备好的数据对主干网络和注意力模块组成的模型进行整体端到端训练，直到模型在评价指标上达到收敛为止；D.效果的验证，将训练好的模型对验证集中的所有肿瘤图像进行分割，将分割得到的结果进行在线提交，以评估模型的分割效果。2.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于将肿瘤的多类分割问题转化为多个前景背景二类分割问题，使用多个子网络来对不同的子区域进行分割，最终将各个子网络对于不同子区域的分割结果通过加权平均的方式进行融合。3.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法模型，其特征在于主干网络由三个子网络构成，三个子网络均使用改进的3DResidualU-net结构，其下采样次数分别为4次、4次、3次。4.如权利要求1所述的基于多注意力机制的端到端的肿瘤分割方法，其特征在于根据肿瘤在解剖学上的层次性特点，通过使用注意力机制来利用这一特点，将对于全肿瘤的分割结果作为一种软注意力信息添加到对于肿瘤核的分割任务上，同理，将对于肿瘤核的分割结果作为一种...

【专利技术属性】
技术研发人员：杨余久，庄新瑞，杨芳，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44