一种基于像素对比学习的直肠癌病理图像分割方法技术

本发明专利技术公开了一种基于像素对比学习的直肠癌病理图像分割方法，属于图像分割方法技术领域，像素对比学习：从一幅图像中随机裁剪两个子图，并且让子图对应的像素特征保持一致；将一副图片经过不同的两种增强，然后将其输入到模型中的编码器网络和动量编码器网络中，两者都由ResNet连接一个投影头(两个1x1卷积，中间夹杂一个批量归一化和Relu激活层)构成。本发明专利技术中，本发明专利技术中，通过对比学习来训练编码器代替原来预训练的ResNet，无需额外注释即可在特征提取性能方面带来改进的病理图像分割模型，通过引入像素级Loss的对比学习来解决传统对比学习基于实例级loss而于下游分割任务不一致的问题。一致的问题。一致的问题。

【技术实现步骤摘要】
一种基于像素对比学习的直肠癌病理图像分割方法


[0001]本专利技术属于图像分割方法
，尤其涉及一种基于像素对比学习的直肠癌病理图像分割方法。

技术介绍

[0002]目前对于直肠癌的诊断需要通过病理图像来分析，病理学专家通过对图像中病变组织区域面积进行量化分析，从而评估癌细胞负荷，指定诊疗计划。然而人工观察费时费力，并且需要长久的经验积累。因此实现对病变组织区域的自动化分割，能大大提升诊疗效率。
[0003]随着深度学习在医疗领域的成功应用，病理图像领域也在不断发展。但是由于数据不充分其分割模型往往采用自然图像预训练的ResNet来进行特征提取，这样学习的特征映射往往不是最好的。因此如何提升模型的特征提取能力成为了一个亟待解决的问题。
[0004]对比学习，一种自监督学习方式，不需要额外的标注即可使用。其主要思想是通过拉近相似样本(正例)在映射空间中的距离，拉远不同样本(负例)之间的映射距离。在该领域中，一般采用设置前置任务(PretextTasks) 来构造正负例，例如在图像领域中，原始图像为原样本，其增强(转换)版本充当正例，批次或训练数据中的其余图像充当负例，目前在自然图像分割领域已有许多实验证明这样的方法能够提升特征提取器的性能，以此来更好辅助下游任务。
[0005]现有病理图像分割模型存在缺点如下：
[0006](1)由于标注数据缺乏，分割网络的编码器往往采用ImageNet预训练模型，但是该模型是在自然图像上进行训练对于病理图像只能做到次好的特征映射。
[0007](2)目前大多对比学习主要是通过实例级的差异来进行学习的，而图像分割主要是基于像素级特征，这就造成了上下游任务错位。
[0008](3)尽管受益于各种强大的图像增强方式，让对比学习正例构造能力得到了极大的提升，但是这些设计主要是针对自然图像，并未对病理图像的增强有过多的研究。

技术实现思路

[0009]本专利技术的目的在于：为了解决上述
技术介绍
提出的问题，而提出的一种基于像素对比学习的直肠癌病理图像分割方法。
[0010]为了实现上述目的，本专利技术采用了如下技术方案：
[0011]一种基于像素对比学习的直肠癌病理图像分割方法，具体包括以下步骤：
[0012]S1、像素对比学习：从一幅图像中随机裁剪两个子图，并且让子图对应的像素特征保持一致；
[0013]S2、将一副图片经过不同的两种增强，然后将其输入到模型中的编码器网络和动量编码器网络中，两者都由ResNet连接一个投影头(两个1x1卷积，中间夹杂一个批量归一化和Relu激活层)构成；
[0014]S3、从两种不同增强图像的特征图随机裁切出两个子特征图，然后来计算这两个子图之间的一致性损失，从而拉近其映射表征的距离；
[0015]S4、基于S3，除此之外还映入了空间距离判别，具体来说就是计算两个特征子图间像素集的空间距离，如果两者的距离超过设定的阈值则不计算其损失，如果不超过阈值则计算，通过这样的方式就可以防止图像中所有的像素都最后会归于一个值的情况；
[0016]S5、引入新的图像增强方式：引入了RandAugment，将原始的增强方式一并加入到RandAugment中，其性质限定增强的强度和使用增强方法的个数，避免过多增强方式的弊端；
[0017]S6、图像分割：利用编码器对图像进行特征提取，随后利用解码器对图像进行分割掩码预测；
[0018]S7、编码器部分通过将对比学习训练得到的特征编码器迁移到U
‑
Net的编码器模块，代替原有的ImageNet预训练的编码器，然后将病理图像切片输入网络中完成分割。
[0019]作为上述技术方案的进一步描述：
[0020]所述S1中，其目的是让距离相近的不同子图像素拉近映射表征来进行学习。
[0021]作为上述技术方案的进一步描述：
[0022]所述S2中，不同于传统的对比学习方式，像素对比学习会把特征映射成一个特征图的形式，而传统的方法则是映射成一个向量。
[0023]作为上述技术方案的进一步描述：
[0024]所述S1
‑
S4中，像素对比学习提出了两种损失，一种是用于计算子图之间的像素损失，另一种是用于计算经过像素传播投影后的损失。
[0025]作为上述技术方案的进一步描述：
[0026]所述一种是带有像素传播模块的常规编码器，用于生成平滑的特征；另一种是没有传播模块的动量编码器，用带有像素传播模块的常规编码器和没有传播模块的动量编码器来进行计算，拉近两种不同编码器的距离，相当于将图二中的x再经过一次映射得到y(类似于投影头的作用，做非线性映射)，然后再用y和经过动量编码器中的x
′
计算损失。
[0027]作为上述技术方案的进一步描述：
[0028]所述S5中，设置对比学习的两种增强方式，一种为改良后的RandAugment，另一种为原始的Simclr中增强方式，不同的增强方式能为对比学习中探索到更合适的变化。
[0029]作为上述技术方案的进一步描述：
[0030]所述S6中，编码器和解码器之间的跳过连接将低级特征图与高级特征图相结合，从而产生更准确的分割结果。
[0031]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0032]1、本专利技术中，通过对比学习来训练编码器代替原来预训练的ResNet，无需额外注释即可在特征提取性能方面带来改进的病理图像分割模型。
[0033]2、通过引入像素级Loss的对比学习来解决传统对比学习基于实例级loss 而于下游分割任务不一致的问题。
[0034]3、传统对比学习的正对特征构建是为自然图像设计的，与病理图像存在差异，因此本专利技术提出了一种更适合病理图像领域正例构建方法。
[0035]综上所述：
[0036]1.通过引入像素对比学习，让模型能更好的适应下游的分割任务。
[0037]2.是同WSIRandAug来进行正例的构建，解决了传统对比学习是针对自然图像进行正例构建的问题。
附图说明
[0038]图1为本专利技术提出的一种基于像素对比学习的直肠癌病理图像分割方法的网络流程图；
[0039]图2为本专利技术提出的一种基于像素对比学习的直肠癌病理图像分割方法的网络结构图。
具体实施方式
[0040]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0041]请参阅图1
‑
2，本专利技术提供一种技术方案：一种基于像素对比学习的直肠癌病理图像分割方法，具体包括以下步骤：
[0042]S1、像素对比学习：从一幅图像中随机裁剪两个子图，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于像素对比学习的直肠癌病理图像分割方法，其特征在于，具体包括以下步骤：S1、像素对比学习：从一幅图像中随机裁剪两个子图，并且让子图对应的像素特征保持一致；S2、将一副图片经过不同的两种增强，然后将其输入到模型中的编码器网络和动量编码器网络中，两者都由ResNet连接一个投影头(两个1x1卷积，中间夹杂一个批量归一化和Relu激活层)构成；S3、从两种不同增强图像的特征图随机裁切出两个子特征图，然后来计算这两个子图之间的一致性损失，从而拉近其映射表征的距离；S4、基于S3，除此之外还映入了空间距离判别，具体来说就是计算两个特征子图间像素集的空间距离，如果两者的距离超过设定的阈值则不计算其损失，如果不超过阈值则计算，通过这样的方式就可以防止图像中所有的像素都最后会归于一个值的情况；S5、引入新的图像增强方式：引入了RandAugment，将原始的增强方式一并加入到RandAugment中，其性质限定增强的强度和使用增强方法的个数，避免过多增强方式的弊端；S6、图像分割：利用编码器对图像进行特征提取，随后利用解码器对图像进行分割掩码预测；S7、编码器部分通过将对比学习训练得到的特征编码器迁移到U
‑
Net的编码器模块，代替原有的ImageNet预训练的编码器，然后将病理图像切片输入网络中完成分割。2.根据权利要求1所述的一种基于像素对比学习的直肠癌病理图像分割方法，其特征在于，所述S1中，其目的是让距离相近的不同子图像素拉近映射表征来进行学...

【专利技术属性】
技术研发人员：杨云，王科龙，
申请(专利权)人：云南大学，
类型：发明
国别省市：