一种应用于病理学组织分割的对比学习方法技术

一种应用于病理学组织分割的对比学习方法，包括进行图像级对比学习任务；进行超像素级对比学习任务；进行像素级对比学习任务；三个层次的对比学习步骤，为病理学组织分割学习提供具有空间敏感性和平滑度的稳健密集表示，使得模型来学习病理组织分割图像从全局到局部对比的判别性表示，进而模型能够清晰地学习到细胞和细胞外基质的特征，有效提升了组织分割的精度。作为医学辅助工具，能显著提高病理学家的判别质量和工作效率。学家的判别质量和工作效率。学家的判别质量和工作效率。

【技术实现步骤摘要】
一种应用于病理学组织分割的对比学习方法


[0001]本专利技术属于数字化病理图像处理与辅助决策
，具体涉及一种应用于病理学组织分割的对比学习方法。

技术介绍

[0002]近十年来，基于全卷积网络的语义分割方法被提出并广泛应用于医学图像分析。这些方法中，大多数都是基于完全监督的。只有当具有精确注释的大规模数据集可用时，才能够达到最先进的性能。然而，为医学图像获取如此大规模的注释数据集具有挑战性。对于组织病理学图像中的细粒度的组织分割来说，更是不切实际的。
[0003]对比学习作为一种新兴的自监督学习范式已被证明可以有效减轻自然图像以及医学图像的注释工作。它对仅依赖未标记数据的正负样本来学习、优化图像的表示进行比较，随后便可以使用有限的注释数据来训练下游任务。这些对比学习方法遵循一个简单的框架，即通过图像增强(裁剪、旋转、翻转等)构建正样本，并从数据集中随机选择负样本。然而，这种方式对于组织病理学图像来说效果并不理想。此外，大多数对比学习方法都是为图像级别的全局判别而设计的，它们将相似图像对的表示拉得更近，并将不同的图像对的表示拉远。这会导致学习到的表示仅适用于图像级的下游任务，如图像分类，但不兼容像素级的下游任务，如图像分割。目前，一些研究开始引入局部判别并在特定图像类型的分割任务上取得了出色的性能，例如磁共振成像和胸部X射线。然而，这些精心设计的局部判别学习策略是针对特定领域的，因此无法直接应用到病理学图像的组织分割中。

技术实现思路

[0004]为了克服上述现有技术存在的缺陷，本专利技术的目的在于提出了一种应用于病理学组织分割的对比学习方法，通过构建一系列不同层次的对比学习任务，来学习从全局到局部的区分，从而使得模型能够清晰地学习到细胞和细胞外基质的特征，有效提升了组织分割的精度；作为医学辅助工具，能显著提高病理学家的判别质量和工作效率。
[0005]为了实现上述目的，本专利技术采取的技术方案为：
[0006]一种应用于病理学组织分割的对比学习方法，具体包括以下步骤：
[0007]步骤一、进行图像级对比学习任务：将不同放大倍数的组织病理学图像作为负样本，用于在表示空间中分离组织成分，即细胞和细胞外基质；
[0008]步骤二、进行超像素级对比学习任务：将图像中的每个超像素视为一个类，并将每个超像素与其他超像素区分开来，以区分具有不同细胞或细胞外基质的不同局部区域；
[0009]步骤三、进行像素级对比学习任务：将属于同一超像素的像素视为正例，将其他像素视为负例，这样就将步骤二中局部区域内相邻像素的特征组合在一起，从而促进每个超像素内细胞和细胞外基质表示的平滑性。
[0010]所述步骤一具体方法为：
[0011]1)将组织病理学图像x，进行M次中心裁剪，每次裁剪的边长不同，随后将M个裁剪
后的图像压缩至同样大小，得到M个不同放大倍数的图像，并用X＝{x1，x2，...，xM}表示；
[0012]2)对步骤一第1)步得到的每个图像随机采取形状或颜色变化的图像增强方式，经过图像增强后的图像集合分别表示为过图像增强后的图像集合分别表示为则图像级的对比学习损失函数就可以表示为：
[0013][0014][0015]其中，v代表图像经过卷积神经网络编码器、解码器和投影头学习到的特征表示，τ代表缩放参数，sim代表余弦相似度。
[0016]所述步骤二的具体方法为：
[0017]1)使用现有的简单线性迭代聚类算法，将原始图像划分为多个超像素，对于步骤一第1)步中原始的组织病理学图像x，用S表示其中每个超像素s的索引，|S|表示超像素的数量，Ω
n
，n∈S，表示超像素s
n
中的一组像素；
[0018]2)从组织病理学图像x中利用图像增强方式采样两个视图视图对应的超像素索引为表示两视图共有的超像素索引；
[0019]3)将输入骨干网络当中，进而得到对应的特征图通过对超像素里的所有像素点进行平均池化，获得超像素的特征，如下公式所示：
[0020][0021]其中，是的对应特征，是索引为k的像素的特征向量；当超像素存在，则，将超像素级别对比学习损失函数表示为：
[0022][0023]其中，τ代表缩放参数，sim代表余弦相似度，则，整个图像x的超像素级别的对比学习损失函数表示为：
[0024][0025]步骤三的具体方法为：
[0026]根据超像素区域即步骤二第1)步，使用现有的简单线性迭代聚类算法得到的划分结果，对于单个超像素，设计以下像素级损失函数来保持其空间平滑度：
[0027][0028]其中，表示中所有超像素的索引，是的平均特征，对于组织病理学图像x，其像素级的对比学习损失函数为：
[0029][0030]步骤二第3)步所述的骨干网络包括步骤一图像级任务预训练得到的编码器、解码器和投影头。
[0031]相对于现有技术，本专利技术的有益效果在于：
[0032]本专利技术方法，通过步骤一的对比学习损失函数，激励卷积神经网络学习到不同放大倍数图像的差别，对应到病理学组织分割的图像上，就能更好地学习到细胞核和细胞外基质相关基质的差别。通过步骤二的损失函数，保持了网络对于不同超像素区域进行区分的空间敏感性。利用步骤三中损失函数，可以促使同一超像素内的每个像素特征值趋于一致，同时区分不同超像素中像素的特征，将步骤二局部区域内相邻像素的特征组合在一起。
[0033]通过三个层次的对比学习步骤，为病理学组织分割学习提供具有空间敏感性和平滑度的稳健密集表示，使得模型来学习病理组织分割图像从全局到局部对比的判别性表示，进而模型能够清晰地学习到细胞和细胞外基质的特征，有效提升了组织分割的精度。作为医学辅助工具，能显著提高病理学家的判别质量和工作效率。
附图说明
[0034]图1为本专利技术提出的从全局到局部的三步对比学习方法框架图。
[0035]图2为本专利技术步骤一示意图。
[0036]图3为本专利技术步骤二和步骤三示意图。
具体实施方式
[0037]下面结合附图，对本专利技术进一步详细说明。
[0038]参见图1，一种应用于病理学组织分割的对比学习方法，具体包括以下步骤：
[0039]步骤一、进行图像级对比学习任务：将不同放大倍数的组织病理学图像作为负样本，用于在表示空间中分离组织成分，即细胞(主要是指细胞核)和细胞外基质；步骤一区分的是细胞和细胞外基质；
[0040]步骤二、进行超像素级对比学习任务：将图像中的每个超像素视为一个类，并将每个超像素与其他超像素区分开来，以区分具有不同细胞或细胞外基质的不同局部区域；步骤二区分的是更小的局部区域，这个局部区域含有细胞或者细胞外基质；
[0041]步骤三、进行像素级对比学习任务：将属于同一超像素的像素视为正例，将其他像素视为负例，这样就将步骤二中局部区域内相邻像素的特征组合在一起，从而促进每个超像素内细胞和细胞外基质表示的平滑性。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于病理学组织分割的对比学习方法，其特征在于：具体包括以下步骤：步骤一、进行图像级对比学习任务：将不同放大倍数的组织病理学图像作为负样本，用于在表示空间中分离组织成分，即细胞和细胞外基质；步骤二、进行超像素级对比学习任务：将图像中的每个超像素视为一个类，并将每个超像素与其他超像素区分开来，以区分具有不同细胞或细胞外基质的不同局部区域；步骤三、进行像素级对比学习任务：将属于同一超像素的像素视为正例，将其他像素视为负例，这样就将步骤二中局部区域内相邻像素的特征组合在一起，从而促进每个超像素内细胞和细胞外基质表示的平滑性。2.根据权利要求1所述的一种应用于病理学组织分割的对比学习方法，其特征在于：所述步骤一具体方法为：1)将组织病理学图像x，进行M次中心裁剪，每次裁剪的边长不同，随后将M个裁剪后的图像压缩至同样大小，得到M个不同放大倍数的图像，并用X＝{x1，x2，...，x
M
}表示；2)对步骤一第1)步得到的每个图像随机采取形状或颜色变化的图像增强方式，经过图像增强后的图像集合分别表示为像增强后的图像集合分别表示为则图像级的对比学习损失函数就可以表示为：的对比学习损失函数就可以表示为：其中，v代表图像经过卷积神经网络编码器、解码器和投影头学习到的特征表示，τ代表缩放参数，sim代表余弦相似度。3.根据权利要求1所述的一种应用于病理学组织分割的对比学习方法，其特征在于：所...

【专利技术属性】
技术研发人员：李辰，贾昶，高泽宇，吴佳伦，时江波，洪邦洋，毛安钰，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：