一种基于因果不变性的弱监督医学影像分割方法技术

本发明专利技术公开了一种基于因果不变性的弱监督医学影像分割方法，本发明专利技术使用两阶段的训练过程，第一阶段为标签生成，通过类激活映射机制将图片级标签生成像素级伪标签，解决现有算法高度依赖大量人工标记的像素级标签的问题。第二阶段为分割模型训练，使用第一阶段输出的像素级伪标签训练一个分割模型，为面向医学影像分析的实际临床应用提供有效的分割结果。其次，本发明专利技术在标签生成阶段设计了多分支特征提取网络，提出因果不变的转换策略，使得模型可以更好的提取同一目标在不同状态下的特征。同时，本发明专利技术为不同分支网络针对性的设计损失函数，保证了模型分类精度。最后，本发明专利技术设计了多分支间的因果不变性约束损失，保证了模型分割精度。精度。精度。

【技术实现步骤摘要】
一种基于因果不变性的弱监督医学影像分割方法


[0001]本专利技术属于医学影像分析与处理
，具体涉及一种基于因果不变性的弱监督医学影像分割方法。

技术介绍

[0002]深度学习方法已经被广泛应用于医学影像的计算机视觉任务当中。特别的，面向医学影像数据展开的人类器官或病灶的语义分割任务是对临床诊断和治疗至关重要的一个步骤。
[0003]现有的基于深度学习的语义分割方法高度依赖大量的像素级的标注数据。然而，由于医学影像存在目标边界不明确，确定目标位置及轮廓对标注人员有着很高的专业知识要求，同时逐像素点标注工作耗时耗力等问题，学术界和工业界开始提出使用弱监督学习的方法完成医学影像的语义分割任务，这类任务称为弱监督语义分割。在弱监督语义分割任务重，模型训练所依赖的有标注数据不需要时像素级标注，而是更容易获取的弱标记数据。常见的弱标记数据有图片级标注、点、涂鸦、外接矩形框等。其中图片级标注仅需给出图片中包含的目标类别信息，获取方式最为简单，因此大多数弱监督语义分割工作都围绕图片级标注数据展开。
[0004]现有的基于图片级标注的弱监督语义分割方法普遍采用类别激活映射(CAM)技术实现图片级标注到像素级标注的映射。这类基于CAM的分割方法利用与特定类别高度相关联的区域作为该类别对应的目标区域的近似估计。然而关联关系并不等价于因果关系，近似估计的区域也并不是真正的目标类别区域。明显的误差情况就是大量的假阳性区域和假阴性区域。其中假阳性区域产生的原因是某些背景区域与目标前景高度关联，从而导致模型误认为这些背景区域属于前景。假阴性区域产生的原因则是分类模型倾向于关注目标的显著性区域，从而导致激活区域无法完全覆盖目标区域。上述两种情况会导致基于目标类别激活区域生成的伪分割标签存在较大误差，这种误差又会在基于伪分割标签的分割模型中进一步放大。因此，如何建立图片级标签和分割结果之间的因果关系，减少由关联关系带来的伪分割标签精度偏差，是弱监督医学影像分割的主要研究课题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于因果不变性的弱监督医学影像分割方法，以克服现有技术的不足。
[0006]为达到上述目的，本专利技术采用如下技术方案：
[0007]一种基于因果不变性的弱监督医学影像分割方法，包括以下步骤：
[0008]步骤一，预训练分类模型；使用训练数据集中的图片数据及其对应的图片级别类别标注数据训练分类模型；
[0009]步骤二，扩充输入图片数据；对输入的每张原图进行因果不变的转换操作，得到多个转换后的图片；
[0010]步骤三，训练多分支特征提取器；设计多分支特征提取网络，包括一个基础分支和多个转换分支，将步骤二得到的输入原图和转换后的图片分别作为基础分支和转换分支的输入，完成对同一张图片的不同形式的特征提取，同时记录每个转换分支的图片相较于原图的转换参数；
[0011]步骤四，计算多分支分类损失；基于步骤三中的多分支特征提取网络，针对输入原图所在的基础分支以及转换后图片所在的转换分支分别设计不同分类头网络，预测每条分支输入图片的分类预测概率，并且计算预测结果和步骤一中的图片级别类别标注之间的交叉熵损失值；
[0012]步骤五，计算多分支类激活特征；利用步骤三得到的各不同形式的特征以及步骤四得到的各不同分类头网络的模型参数计算各分支的目标类别激活特征；
[0013]步骤六，计算多分支间因果不变性约束损失；利用步骤三中保存的图片转换参数对步骤五得到的转换分支类激活特征进行因果不变转换的逆变换，并且分别计算各个逆变换后的类激活特征分别与基础分支的类激活特征之间的距离，作为多分支间因果不变性约束损失；
[0014]步骤七，联合优化多分支特征提取网络模型；设计联合优化的损失函数，使用梯度下降策略同时对步骤四中的多分支分类损失和步骤六中的因果不变性约束损失进行反向传播，通过迭代优化直至损失值收敛到最小值附近结束优化过程，并将基础分支的模型参数保存，构成医学影像的伪标签生成模型；
[0015]步骤八，生成伪分割标签；基于步骤七中的伪标签生成模型，对输入图片执行基础分支流程，生成具有因果不变性约束的类激活特征图，并且根据特征图中的像素值使用阈值化操作生成二值的图，0表示背景，1表示前景，作为伪分割标签；
[0016]步骤九，训练分割模型；将步骤一中的图片数据以及步骤八得到的伪分割标签共同作为训练数据，训练一个分割模型；分割模型对输入图片进行编码，解码的操作，最终输出图片中每个像素点属于目标类别的概率；训练阶段通过梯度下降策略，以让预测的分割结果无限接近伪分割标签为目标，进行迭代优化，直至模型收敛；保存模型参数，作为医学影像的分割模型。
[0017]本专利技术进一步的改进在于，步骤一中，预训练分类模型所使用的分类网络由一个特征提取网络和一个分类头网络组成；其中，特征提取网络由5个卷积层组成，第一个卷积层由一个核大小为7
×
7，步长为2的卷积操作，一个批正则化操作，一个ReLU操作和和一个核大小为3
×
3，步长为2的最大池化操作组成；后四个卷积层由多个基础操作单元的重复拼接组成，重复拼接的次数分别为3，4，6，3；每个基础操作单元由三个卷积操作、三个批正则化操作、三个ReLU操作和一个残差连接操作组成；分类头网络由一个全局平均池化操作和一个参数量为2048
×
1的全连接操作组成。
[0018]本专利技术进一步的改进在于，步骤一中，训练数据集中的图片数据是多种模态的医学影像数据转换成的灰度图或RGB图片，包含磁共振影像，计算机断层扫描影像和超声影像；训练数据集中使用的类别标注信息为输入图片中是否包含目标区域所属类别，若包含则标记为1，不包含则标记为0；其中目标区域是特定器官区域或者特定病灶区域。
[0019]本专利技术进一步的改进在于，步骤二中，使用的因果不变的转换操作具有分割不变性，其公式表示为：
[0020]f
Φ
(f
Tr
(I))＝f
Tr
(f
Φ
(I))
[0021]其中，f
Φ
表示对输入图片提取类激活特征的过程，f
Tr
表示因果不变的转换操作，I表示输入的图片数据。
[0022]本专利技术进一步的改进在于，步骤三中，多分支特征提取器之间的网络模型参数共享，均由步骤一得到的预训练分类模型参数进行各分支网络参数的初始化。
[0023]本专利技术进一步的改进在于，步骤四中，基础分支和转换分支分别使用不同的分类头网络；其中基础分支所使用的分类头网络由一个全局平均池化操作和一个全连接操作组成，其公式表示为：
[0024][0025]其中，FC表示全连接操作，GAP表示全局平均池化操作，F表示各分支特征提取器的输出特征，F
i,j
表示像素点位置为(i,j)的特征向量，M和N分别表示输入图片的高度和宽度，W
fc
表示全连接层的参数；...

【技术保护点】

【技术特征摘要】
1.一种基于因果不变性的弱监督医学影像分割方法，其特征在于，包括以下步骤：步骤一，预训练分类模型；使用训练数据集中的图片数据及其对应的图片级别类别标注数据训练分类模型；步骤二，扩充输入图片数据；对输入的每张原图进行因果不变的转换操作，得到多个转换后的图片；步骤三，训练多分支特征提取器；设计多分支特征提取网络，包括一个基础分支和多个转换分支，将步骤二得到的输入原图和转换后的图片分别作为基础分支和转换分支的输入，完成对同一张图片的不同形式的特征提取，同时记录每个转换分支的图片相较于原图的转换参数；步骤四，计算多分支分类损失；基于步骤三中的多分支特征提取网络，针对输入原图所在的基础分支以及转换后图片所在的转换分支分别设计不同分类头网络，预测每条分支输入图片的分类预测概率，并且计算预测结果和步骤一中的图片级别类别标注之间的交叉熵损失值；步骤五，计算多分支类激活特征；利用步骤三得到的各不同形式的特征以及步骤四得到的各不同分类头网络的模型参数计算各分支的目标类别激活特征；步骤六，计算多分支间因果不变性约束损失；利用步骤三中保存的图片转换参数对步骤五得到的转换分支类激活特征进行因果不变转换的逆变换，并且分别计算各个逆变换后的类激活特征分别与基础分支的类激活特征之间的距离，作为多分支间因果不变性约束损失；步骤七，联合优化多分支特征提取网络模型；设计联合优化的损失函数，使用梯度下降策略同时对步骤四中的多分支分类损失和步骤六中的因果不变性约束损失进行反向传播，通过迭代优化直至损失值收敛到最小值附近结束优化过程，并将基础分支的模型参数保存，构成医学影像的伪标签生成模型；步骤八，生成伪分割标签；基于步骤七中的伪标签生成模型，对输入图片执行基础分支流程，生成具有因果不变性约束的类激活特征图，并且根据特征图中的像素值使用阈值化操作生成二值的图，0表示背景，1表示前景，作为伪分割标签；步骤九，训练分割模型；将步骤一中的图片数据以及步骤八得到的伪分割标签共同作为训练数据，训练一个分割模型；分割模型对输入图片进行编码，解码的操作，最终输出图片中每个像素点属于目标类别的概率；训练阶段通过梯度下降策略，以让预测的分割结果无限接近伪分割标签为目标，进行迭代优化，直至模型收敛；保存模型参数，作为医学影像的分割模型。2.根据权利要求1所述的一种基于因果不变性的弱监督医学影像分割方法，其特征在于，步骤一中，预训练分类模型所使用的分类网络由一个特征提取网络和一个分类头网络组成；其中，特征提取网络由5个卷积层组成，第一个卷积层由一个核大小为7
×
7，步长为2的卷积操作，一个批正则化操作，一个ReLU操作和和一个核大小为3
×
3，步长为2的最大池化操作组成；后四个卷积层由多个基础操作单元的重复拼接组成，重复拼接的次数分别为3，4，6，3；每个基础操作单元由三个卷积操作、三个批正则化操作、三个ReLU操作和一个残差连接操作组成；分类头网络由一个全局平均池化操作和一个参数量为2048
×
1的全连接操作组成。
3.根据权利要求1所述的一种基于因果不变性的弱监督医学影像分割方法，其特征在于，步骤一中，训练数据集中的图片数据是多种模态的医学影像数据转换成的灰度图或RGB图片，包含磁共振影像，计算机断层扫描影像和超声影像；训练数据集中使用的类别标注信息为输入图片中是否包含目标区域所属类别，若包含则标记为1，不包含则标记为0；其中目标区域是特定器官区域或者特定病灶区域。4.根据权利要求1所述的一种基于因果不变性的弱监督医学影像分割方法，其特征在于，步骤二中，使用的因果不变的转换操作具有分割不变性，其公式表示为：f
Φ
(f
Tr
(I))＝f
Tr
(f
Φ
(I))其中，f
Φ
表示对输入图片提取类激活特征的过程，f
Tr
表示因果不变的转换操作，I表示输入的图片数据。5.根据权利要求1所述的一种基于因果不变性的弱监督医学影像分割方法，其特征在于，步骤三中，多分支特征提取器之间的网络模型参数共享，均由步骤一得到的预训练分类模型参数进行各分支网络参数的初始化。6.根据权利要求1所述的一种基于因果不变性的弱监督医学影像分割方法，其特征在于，步骤四中，基础分支和转换分支分别使用不同的分类头网络；其中基础分支所使用的分类头网络由一个全局平均池化操作和一个全连接操作组成，其公式表示为：其中，FC表示全连接操作，GAP表示全局平均池化操作，F表示各分支特征提取器的输出特征，F
i,j...

【专利技术属性】
技术研发人员：田智强，陈张，郭昱成，杜少毅，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：