一种基于对比学习的弱监督全切片组织病理图像分类方法技术

一种基于对比学习的弱监督全切片组织病理图像分类方法，本发明专利技术涉及对比学习技术和弱监督分类技术。为了解决在仅有图像级标注的情况下对全切片组织病理图像分类准确率低的问题。全切片组织图像尺寸十分巨大，基于深度神经网络的全切片病理图像分类方法效果显著。但此类方法需要专业病理医生手动标注近10亿像素的全切片图像，获取精确标注数据的成本十分高昂。因此，本发明专利技术提出了一种基于对比学习的弱监督全切片图像分类方法，用于在仅有图像级标注的情况下对全切片组织病理图像分类。实验表明，在标注不足的情况下，该方法能够对全切片组织病理图像有效分类。本发明专利技术主要应用于弱监督情况下的全切片组织病理图像分类。监督情况下的全切片组织病理图像分类。

【技术实现步骤摘要】
一种基于对比学习的弱监督全切片组织病理图像分类方法


[0001]本专利技术涉及弱监督全切片组织病理图像分类。

技术介绍

[0002]乳腺癌是全球发病率和死亡率最高的癌症，2018年全球女性乳腺癌发病率为24.2％，死亡率为15％。乳腺癌的治疗取决于疾病的临床分级，确定乳腺癌临床分级的一个关键步骤是通过显微镜检查乳房附近的淋巴结，以确定癌症已经扩散和转移。这一过程需要专业病理医生在显微镜下进行高强度的工作，特别是对于没有或只有小肿瘤的淋巴结，诊断十分耗时并且容易出错。利用计算机辅助诊断对全切片图像进行自动、精确的分类，可以为医生提供更加客观、准确的诊断参考，提高医生的诊断效率和诊断准确率。
[0003]近年来，深度学习方法推动计算机视觉领域取得了巨大的成功。得益于显微摄影和全切片扫描技术的发展，病理切片能以数字图像的形式保存下来，通过解决图像分类和预测等任务，使得深度卷积神经网络被广泛应用于病理诊断领域。然而，基于深度卷积神经网络的全切片图像分类方法需要专业病理医生手动标注近10亿像素的图像，获取精确标注数据的成本十分高昂。弱监督学习使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，包含全切片图像处理、特征提取模型预训练、弱监督分类模型训练和全切片图像分类：所述全切片图像处理包含步骤：S1、将全切片图像以较小倍率读入内存，并将其转换为HSV图像；S2、对图像S通道进行阈值分割生成二进制掩膜图像，使用形态学闭操作填充小孔洞，根据面积过滤区域并剔除大孔洞，得到组织区域；S3、以用户指定倍率使用滑动窗口从组织区域中提取小图块以构建图块集合；所述特征提取模型预训练包含步骤：S4、使用上述全切片图像处理方法处理训练集全切片图像，做训练集图块；S5、从训练集图块中采样，做部分图块集合；S6、使用MoCo v2框架和部分图块集合训练特征提取模型，特征提取模型的主体结构为ResNet50；所述弱监督分类模型训练包含：S7、使用上述特征提取模型浅层网络对训练集图块提取特征，做训练集特征；S8、使用上述训练集特征和训练集图像级标签来训练CLAM模型；所述全切片图像分类包含：S9、使用上述全切片图像处理方法处理待测全切片图像；S10、使用上述特征提取模型浅层网络提取图块特征；S11、使用上述已完成训练的CLAM模型聚合图块特征并对待测图像分类。2.如权利要求1所述的一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，步骤S6、S7和S10中所述的特征提取模型定义如下：ResNet在组成自身的残差块中加入了捷径连接，即对输入的恒等映射。使得残差块的拟合目标由最佳映射转变为最佳映射与输入的残差，这一目标残差映射的定义如式(1)所示：其中x为当前残差块的输入。因此残差块输出被进一步转变为：H(x)＝F(x)+I(x)
ꢀꢀꢀꢀ
(2)其中，H(x)为残差块的最终输出，F(x)为残差映射，I(x)为输入的恒等映射。ResNet50包含1层卷积层，1层最大池化层，16个残差块，本文在特征提取模型预训练阶段使用完整的ResNet50进行训练，在弱监督分类模型训练和全切片图像分类阶段选用ResNet50浅层网络作为特征提取模型，ResNet50浅层网络包含前1层卷积层，最大池化层和前13个残差块。3.如权利要求1所述的的一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，步骤S6中所述的MoCo v2框架如下：MoCo v2使用数据增强方法生成样本对，包括对输入图像进行随机裁剪、随机颜色扰动、随机灰度化、随机高斯模糊和随机水平翻转。对该样本对使用查询编码器和键编码器进行编码后得到查询样本编码q和键样本编码{k
+
,k
‑
}，将当前小批量的样本编码作为k
+
，字典中的样本编码作为k
‑
，通过对比q和{k
+
,k
‑
}来优化模型，查询编码器和键样本编码器的模型
结构均为完整的ResNet50。MoCo v2采用InfoNCE函数作为对比损失，其定义如下：其中为InfoNCE，τ为温度参数，用于调节模型对困难样本的关注程度。MoCo v2将字典当作样本队列，每编码一个小批量就将该小批量入队，字典中最早入队的小批量出队，使得字典大小与小批量大小解耦。同时为了保证字典中多个小批量样本编码的一致性，MoCo v2使用动量更新键编码器参数θ
k
，如下所示：θ
k
←
mθ
k
+(1
‑
m)θ
q
ꢀꢀꢀꢀ
(4)其中m为动量系数，θ
q
为查询编码器参数，只有θ
q
使用梯度更新。4.如权利要求1所述的的一种基于对比学习的弱监督全切片组织病理图像分类方法，其特征在于，步骤S7和S9中所述的特征提取过程如下：特征提取公式如式(5)所示：z
k
＝avgpool(f
c
(x))
ꢀꢀꢀꢀꢀ
(5)其中z
k
为特征向量，avgpool为平均池化，x为输入小图块，f
c
(x)为特征提取模型，f
...

【专利技术属性】
技术研发人员：谢怡宁，侯建新，康兰兰，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：