用于医学图像数据集的对比学习方法及系统技术方案

本发明专利技术提供一种用于医学图像数据集的对比学习方法及系统。该方法包括：获取医学图像数据集；搭建以Swin Transformer为骨干网络的对比学习网络；将Swin Transformer在自然图像数据集ImageNet上进行有监督学习得到的有监督模型作为对比学习网络的预训练模型；基于对比学习数据集和对比学习网络的预训练模型训练对比学习网络；输出对比学习模型，并将对比学习模型作为下游任务网络的预训练模型；基于下游任务训练集和下游任务网络的预训练模型训练下游任务网络；输出下游任务模型。本发明专利技术提供的对比学习方法及系统，使用以Swin Transformer为骨干网络的基于预测任务的对比学习网络，并使用迁移学习方法训练网络，实现了即使在小规模的医学图像数据集上也能大幅度提升下游任务网络的训练精度。度提升下游任务网络的训练精度。度提升下游任务网络的训练精度。

【技术实现步骤摘要】
用于医学图像数据集的对比学习方法及系统


[0001]本专利技术涉及医学图像处理的
，具体而言，涉及一种用于医学图像数据集的对比学习方法及系统。

技术介绍

[0002]近年来，随着Transformer在计算机视觉(Computer Vision，CV)领域的成功，深度学习在CV领域发展迅速。相比传统的数字图像处理方法，深度学习方法在复杂的图像问题的处理上有着巨大优势，使得其在医学图像处理方面也有很多应用。
[0003]但是，目前大多数应用在医学图像的深度学习方法仍基于有监督学习，这意味着训练这些模型需要大规模且有完备标签的数据。然而在实际问题中，医学图像数据集的规模往往较小，且较难有完备的标签。具体地说，相比自然图像，一方面医学图像的数量稀少，这是由于医学图像的拍摄成本高、拍摄过程复杂、以及样本数量少，因此对于网络训练来说，每一张医学图像都是及其宝贵的。另一方面给医学图像打标签的成本很高，这是由于医学图像需要专业的医生进行标注，并且医学图像的内容又较为复杂，需要耗费较多的时间和精力，尤其是分割任务需要的像素级标签。综上所述，由于医学图像本身是宝贵的，并且打标签的成本又很高，这就需要更优秀的算法能够充分利用那些即便是没有标签的医学图像，显然地，相较于有监督学习方法，不需要标签的无监督学习方法更能解决这类问题。
[0004]对比学习(Contrastive Learning，CL)作为一种无监督学习方法，在近些年的发展迅速，由于其训练不需要人工标签，因此适合解决无标签数据的训练问题。然而对比学习网络一般需要在大规模的数据集上进行训练，直接使用小规模医学图像数据集去训练对比学习网络往往效果不佳。因此适用于处理无标签数据的对比学习方法，却因受限于数据集大小，而无法在小规模医学数据集上得到有效应用。
[0005]小规模数据集无法训练好对比学习网络，主要有以下两方面原因：一方面，作为一种无监督学习方法，对比学习不需要有监督学习中必须的标签，因此想要达到同等或更好的效果，对数据集大小的要求是比较苛刻的。在以往的研究中常用的自然图像数据集是ImageNet、COCO，甚至比它们更大的数据集。然而医学图像数据集规模远远达不到自然图像数据集的大小。相对较大的医学图像数据集也只有几千例左右，远少于自然图像数据集动则上百万例的规模；另一方面，随着Transformer的成功，许多对比学习方法开始尝试把骨干网络由卷积神经网络(Convolutional Neural Networks,CNNs)修改为基于Transformer的网络。由于CNNs最开始就是针对图像处理问题设计，包含许多适用于图像领域的归纳偏置，比如局部性(locality)和平移等变性(translation equivariance)。而Transformer最开始应用在自然语言处理领域，虽然比CNNs有全局建模的优势，但是缺少针对图像的归纳偏置，因此需要用大量数据进行训练来弥补这一不足，这使得基于Transformer的网络对于数据集规模要求更加苛刻。

技术实现思路

[0006]本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。
[0007]为此，本专利技术的第一目的在于提出一种用于医学图像数据集的对比学习方法。
[0008]本专利技术的第二目的在于提出一种用于医学图像数据集的对比学习系统。
[0009]本专利技术的第三目的在于提出一种计算机装置。
[0010]本专利技术的第四目的在于提出一种计算机可读存储介质。
[0011]为了实现上述目的，本专利技术的第一方面的技术方案，提供了一种用于医学图像数据集的对比学习方法，基于对比学习网络，所述对比学习网络包括基编码器和动量编码器，所述基编码器包括骨干网络、投影层和预测层，以及所述动量编码器包括骨干网络和投影层，该对比学习方法包括：获取医学图像数据集，其中，所述医学图像数据集包括：用于训练对比学习网络的对比学习数据集和用于训练下游任务网络的下游任务数据集，所述下游任务数据集为有标签的医学图像数据集，以及所述下游任务数据集包括：下游任务训练集；搭建以Swin Transformer为骨干网络的对比学习网络；将所述Swin Transformer在自然图像数据集ImageNet上进行有监督学习得到的有监督模型作为所述对比学习网络的预训练模型；基于所述对比学习数据集和所述对比学习网络的预训练模型训练所述对比学习网络；输出对比学习模型，并将所述对比学习模型作为下游任务网络的预训练模型；基于所述下游任务训练集和所述下游任务网络的预训练模型训练下游任务网络；输出下游任务模型。
[0012]优选地，所述下游任务数据集还包括：下游任务测试集；所述对比学习方法还包括：使用所述下游任务测试集对所述下游任务模型进行测试，得出所述下游任务模型的输出结果；将所述下游任务模型的输出结果和所述下游任务测试集上的标签进行比较，并根据比较结果对所述下游任务模型进行效果评估。
[0013]优选地，所述基于所述对比学习数据集和所述对比学习网络的预训练模型训练所述对比学习网络的步骤，具体包括：设置所述基编码器和动量编码器不同的参数更新方式，以使得动量编码器的参数更新速度慢于基编码器；将所述对比学习网络的预训练模型作为所述基编码器和动量编码器中的骨干网络的初始化权重；定义不同的数据增强方式；根据所述不同的数据增强方式分别对所述对比学习数据集中的每张医学图像随机进行数据增强，并生成若干组正样本对；将所述若干组正样本对分别输入所述基编码器和动量编码器，以使得所述基编码器中的预测层的输出去拟合所述动量编码器中的投影层的输出。
[0014]优选地，所述设置所述基编码器和动量编码器不同的参数更新方式的步骤，具体包括：
[0015]设置所述基编码器的参数更新方式为梯度回传更新；设置所述动量编码器的参数更新方式为动量更新；所述设置所述动量编码器的参数更新方式为动量更新的步骤，具体包括：通过预设公式更新所述动量编码器的参数；所述预设公式为：
[0016]M
t
＝m
·
M
t
‑1+(1
‑
m)
·
B
t
[0017]式中，Mt为更新后的动量编码器的参数，M
t
‑
1为更新前的动量编码器的参数，Bt为更新后的基编码器的参数，m为动量因子，m取值范围为[0,1]。
[0018]本专利技术的第二方面的技术方案，还提供了一种用于医学图像数据集的对比学习系统，基于对比学习网络，所述对比学习网络包括基编码器和动量编码器，所述基编码器包括骨干网络、投影层和预测层，以及所述动量编码器包括骨干网络和投影层，该对比学习系统
包括：获取模块，用于获取医学图像数据集，其中，所述医学图像数据集包括：用于训练对比学习网络的对比学习数据集和用于训练下游任务网络的下游任务数据集，所述下游任务数据集为有标签的医学图像数据集，以及所述下游任务数据集包括：下游任务训练集；对比学习网络搭建模块，用于搭建以S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于医学图像数据集的对比学习方法，基于对比学习网络，所述对比学习网络包括基编码器和动量编码器，所述基编码器包括骨干网络、投影层和预测层，以及所述动量编码器包括骨干网络和投影层，其特征在于，该对比学习方法包括：获取医学图像数据集，其中，所述医学图像数据集包括：用于训练对比学习网络的对比学习数据集和用于训练下游任务网络的下游任务数据集，所述下游任务数据集为有标签的医学图像数据集，以及所述下游任务数据集包括：下游任务训练集；搭建以Swin Transformer为骨干网络的对比学习网络；将所述Swin Transformer在自然图像数据集ImageNet上进行有监督学习得到的有监督模型作为所述对比学习网络的预训练模型；基于所述对比学习数据集和所述对比学习网络的预训练模型训练所述对比学习网络；输出对比学习模型，并将所述对比学习模型作为下游任务网络的预训练模型；基于所述下游任务训练集和所述下游任务网络的预训练模型训练下游任务网络；输出下游任务模型。2.根据权利要求1所述的用于医学图像数据集的对比学习方法，其特征在于，所述下游任务数据集还包括：下游任务测试集；所述对比学习方法还包括：使用所述下游任务测试集对所述下游任务模型进行测试，得出所述下游任务模型的输出结果；将所述下游任务模型的输出结果和所述下游任务测试集上的标签进行比较，并根据比较结果对所述下游任务模型进行效果评估。3.根据权利要求1或2所述的用于医学图像数据集的对比学习方法，其特征在于，所述基于所述对比学习数据集和所述对比学习网络的预训练模型训练所述对比学习网络的步骤，具体包括：设置所述基编码器和动量编码器不同的参数更新方式，以使得动量编码器的参数更新速度慢于基编码器；将所述对比学习网络的预训练模型作为所述基编码器和动量编码器中的骨干网络的初始化权重；定义不同的数据增强方式；根据所述不同的数据增强方式分别对所述对比学习数据集中的每张医学图像随机进行数据增强，并生成若干组正样本对；将所述若干组正样本对分别输入所述基编码器和动量编码器，以使得所述基编码器中的预测层的输出去拟合所述动量编码器中的投影层的输出。4.根据权利要求3所述的用于医学图像数据集的对比学习方法，其特征在于，所述设置所述基编码器和动量编码器不同的参数更新方式的步骤，具体包括：设置所述基编码器的参数更新方式为梯度回传更新；设置所述动量编码器的参数更新方式为动量更新；所述设置所述动量编码器的参数更新方式为动量更新的步骤，具体包括：通过预设公式更新所述动量编码器的参数；所述预设公式为：
M
t
＝m
·
M
t
‑1+(1
‑
m)
·
B
t
式中，M
t
为更新后的动量编码器的参数，M
t
‑1为更新前的动量编码器的参数，B
t
为更新后的基编码器的参数，m为动量因子，m取值范围为[0,1]。5.一种用于医学图像数据集的对比学习系统，基于对比学习网络，所述对比学习网络包括基编码器和动量编码器，所述基编码器包括骨干网络、投影层和预测层，以及所述动量编码器包括骨干网络和投影层，其特征在于，该对比学习系统包括：获取模块，用于获取医学图像数据集，其中，所述医学图像数据集包括：用于训练对比学...

【专利技术属性】
技术研发人员：徐子安，史力伏，王洋，代茵，
申请(专利权)人：辽宁然辉科技有限公司，
类型：发明
国别省市：