一种基于类激活映射的医学图像弱监督分割方法技术

本发明专利技术公开了一种基于类激活映射的医学图像弱监督分割方法，包括下述步骤：步骤一，采集组织病理图像；步骤二，对图像进行缩放、调整和增强操作；步骤三，使用中间层的特征图对图像的病变区域进行激活；步骤四，使用一致性损失对模型进行正则处理。将网络中间层的特征图降采样到同一大小后进行拼接，用每个位置不同通道的最大值与网络最末端的特征图进行掩码；使用掩码后的特征图构建类激活映射；使用模型输出的类激活映射作为伪标签训练分割网络，实现医学图像的弱监督分割任务。本算法提出的基于类激活映射的医学图像弱监督分割方法，可以使用图像级标签对整张病理图像进行分割，为病理医生提供有效的参考价值。理医生提供有效的参考价值。理医生提供有效的参考价值。

【技术实现步骤摘要】
一种基于类激活映射的医学图像弱监督分割方法


[0001]本方法属于计算机视觉领域，主要用于医学图像的弱监督分割。基于类激活映射的弱监督分割方法使用网络中间层的特征图对病理图像的前景区域进行激活，有效缓解了医学图像前景和背景之间边界不清晰的困境，降低了分割的假阳性率；本方法还对病理图像进行旋转、镜像和擦除等操作，模型输出一个新的类激活映射，一致性损失要求原类激活映射进行同样操作的结果应该与新类激活映射保持一致，该限制对模型参数起到了正则化的作用。

技术介绍

[0002]深度学习在医学图像分析领域取得了前所未有的成功，但这严重依赖具有像素级标签的样本。获取像素级标签需要病理学专家花费大量时间和人力，成本非常昂贵。弱监督学习是解决该困境的重要替代方法，其可以利用粗粒度标签或者模糊标签完成任务，从而减少对细粒度标签的需求。在分割过程中，弱监督学习模型可以采取不同的形式，包括涂鸦、点、边界框、和图像级别标签。这些方式中图像级标签最容易被获取，因此基于图像级标签的弱监督分割模型得到了更广泛的关注。
[0003]图像级弱监督分割模型的目标是仅使用全局图像级标签对医学图像进行分类，同时生成像素级的标签预测，即类激活映射，突出显示病变相关的图像子区域；然后，使用这些伪标签来训练分割网络，从而模仿完全监督的训练过程。现有的方法可分为两大类：(1)自底向上方法，其依赖于输入信号来定位ROI区域；(2)自上而下的方法，其依靠反向传输信号来确定ROI区域。
[0004]因为自然场景下图像的目标区域具有与背景显著不同的颜色分布，所以当前的弱监督分割方法可以产生很好的分割效果。然而，医学图像的目标区域与背景相似，二者的边界并不清晰，这使得常见的弱监督分割模型在医学图像领域很难起到作用，因此也限制了现有深度弱监督学习模型在医学图像上的应用。
[0005]基于目前现状，提出基于类激活映射的弱监督医学图像分割方法，一方面使用网络中间层的特征图对病理图像的前景区域进行激活，缓解医学图像前景和背景之间边界不清晰的困境，另一方面使用一致性损失对模型参数进行正则处理。先将网络中间层的特征图降采样到同一大小后进行拼接，并提取相同位置不同通道的最大值。将该最值压缩后的结果与网络最末端的特征图进行掩码。使用掩码后的特征图构建类激活映射。同时，本方法对图像进行旋转、镜像、擦除等操作，要求原类激活映射进行同样操作的结果应该与新类激活映射保持一致。
[0006]本专利技术综合以上思想，对医学图像进行弱监督分割，调研中发现，基于类激活映射的本专利技术具有创新性和原创性。

技术实现思路

[0007]本专利技术所要解决的技术问题是提供一种基于类激活映射的医学图像弱监督分割
方法，本分割方法在保证性能的同时，能有效地缓解医学图像前景区域和背景区域边界不清晰问题。
[0008]本专利技术所提出的弱监督分割模型(模型结构图见说明书附图1)，首先将组织病理图像压缩成416
×
416像素，确保样本具有大小统一的尺寸；其次，将图像的亮度、对比度、饱和度和色调分别统一为0.5、0.5、0.5和0.05；最后，对样本进行翻转、镜像、擦除等数据增强操作。
[0009]预处理后的数据作为模型的输入。该阶段可以生成原始病理图像的类激活映射图，用于后面分割模型的训练。但是，医学图像的病变区域和背景区域边界难以区分，因此，本专利技术使用模型中间层的特征图对原始病理图像进行掩码，以获得清晰的分割边界。
[0010]定义获取的训练样本{{X1，Y1}，...，{X
i
，Y
i
}，...，{X
n
，Y
n
}}，其中n表示数据集总数，X
i
表示第i个病理图像，大小为416
×
416，Y
i
∈{0，1}为该病理图像对应的图像级标签。本专利技术的目标是仅使用病理图像的图像级标签预测像素级标签，从而完成病理图像的弱监督分割。
[0011]将图像X作为输入，使用残差网络作为主干网络。定义M1，M2，M3和M4为该主干网络后4个残差模块的特征图，其通道数目分别为64，128，256和512。
[0012]将M1，M2，M3降采样到与M4同一尺寸后拼接成一个新的特征图M
d
＝[down8(M1)，down4(M2)，down2(M3)]。这里down2(*)表示将数据降采样2倍。定义为M
d
第k通道上坐标为(x，y)的激活值。对特征图Md进行最大池化，得到单通道的特征图
[0013][0014]定义为坐标为(x，y)的激活值，使用对特征图M4进行掩码，从而约束分割边界，即
[0015][0016]f
a
＝ReLu(f
t
‑
α)*f
t
[0017][0018]其中α为阈值，是人工设定的超参；ReLu(*)为修正线性激活函数；f
a
为激活值；为将M4激活后的结果。
[0019]定义为第k通道上的坐标为(x，y)的激活值，则第k通道全局平均池化的结果为以此可得到病理图像X属于类别c的概率值p
c
。
[0020][0021][0022]这里c∈{0，1}表示类别，表示F
k
对于类别c的权重。p
c
表示病理图像X属于类别c
[0042]综上所述，最终的模型损失函数为：
[0043]Loss＝Lce+Lre
[0044]模型训练完成后，输出的原病理图像X的类激活映射图CAM
c
作为X的伪标签，进一步训练分割模型，完成病理图像的弱监督分割任务。
附图说明
[0045]图1为本专利技术的整体模型结构图。
[0046]图中：
[0047]表示矩阵拼接操作M1，M2，M3，M4为主干网络后四层的特征图ResNet表示残差网络
[0048]表示矩阵点乘操作transform表示旋转、镜像、擦除等增强操作CAM表示类激活映射。
具体实施方式
[0049]以下结合附图和实施对本专利技术所提模型进行详细说明。
[0050]一种基于类激活映射的医学图像弱监督分割方法，该方法包括如下步骤：
[0051]步骤一，采集组织病理图像；
[0052]步骤二，对图像进行缩放、调整和增强操作；
[0053]为便于训练，先将组织病理图像压缩成416
×
416像素，确保样本具有大小统一的尺寸；其次，将图像的亮度、对比度、饱和度和色调分别统一为0.5、0.5、0.5和0.05；最后，对样本进行翻转和镜像等数据增强操作。
[0054]步骤三，使用中间层的特征图激活组织病理图像的病变区域，并输出类激活映射；
[0055]定义获取的训练样本{{X1，Y1}，...，{X
i
，Y
i
}，...，{X
n本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类激活映射的医学图像弱监督分割方法，其特征在于：包括下述步骤，步骤一，采集组织病理图像；步骤二，对步骤一获取的组织病理图像进行缩放、调整和增强操作；步骤三，使用中间层的特征图对步骤二处理的组织病理图像进行激活，并输出类激活映射；步骤四，使用一致性损失对步骤三输出的类激活映射进行正则处理，完成病理图像的弱监督分割。2.根据权利要求1所述的一种基于类激活映射的医学图像弱监督分割方法，其特征在于：步骤二的实现过程如下，为便于训练，先将组织病理图像压缩成416
×
416像素，确保具有大小统一的尺寸；其次，将图像的亮度、对比度、饱和度和色调分别统一为0.5、0.5、0.5和0.05；对样本进行翻转和镜像数据增强操作。3.根据权利要求1所述的一种基于类激活映射的医学图像弱监督分割方法，其特征在于，步骤三的实现过程如下：定义获取的训练样本{{X1，Y1}，...，{X
i
，Y
i
}，...，{X
n
，Y
n
}}，其中n表示数据集总数，X
i
表示第i个病理图像，大小为416
×
416，Y
i
∈{0，1}为该病理图像对应的图像级标签；将图像X作为输入，使用残差网络作为主干网络；定义M1，M2，M3和M4为该主干网络后4个残差模块的特征图，其通道数目分别为64，128，256和512；将M1，M2，M3降采样到与M4同一尺寸后拼接成一个新的特征图M
d
＝[down8(M1)，down4(M2)，down2(M3)]；down2(*)表示将数据降采样2倍；定义为M
d
第k通道上坐标为(x，y)的激活值；对特征图M
d
进行最大池化，得到单通道的特征图进行最大池化，得到单通道的特征图定义为坐标为(x，y)的激活值，使用对特征图M4进行掩码，从而约束分割边界，即f
a
＝ReLu(f
t
‑
α)*f
t
其中α为阈值，是人工设定的超参；ReLu(*)为修正线性激活函数；f
a
为激活值；为将M4激活后的结果；定义为第k通道上的坐标为(x，y)的激活值，则第k通道全局平...

【专利技术属性】
技术研发人员：刘博，丁磊，杨滨，王强，汪婧懿，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：