基于自监督聚类对比学习的宫颈OCT图像分类方法及系统技术方案

本发明专利技术提供基于自监督聚类对比学习的宫颈OCT图像分类方法及系统，能够有效减少大量正负样本对抗的强依赖、防止模型坍塌、切实提升宫颈OCT图像的分类准确率。方法包括：步骤1，划分预训练数据集和分类数据集；步骤2，构建在预训练数据集上进行自监督聚类对比学习的预训练模型；步骤3，对实例表征和聚类表征分别设置实例损失函数和聚类损失函数，计算最后输出的特征的损失值，并更新骨干网络ViT的参数，采用预训练模型进行预训练，得到训练好的预训练模型；步骤4，使用该预训练模型在分类数据集中的训练集上进行模型微调，分类训练，得到宫颈OCT图像分类模型；步骤5，用该模型对分类数据集中的测试集进行预测，得到分类结果。得到分类结果。得到分类结果。

【技术实现步骤摘要】
基于自监督聚类对比学习的宫颈OCT图像分类方法及系统


[0001]本专利技术属于计算机辅助诊断和医学图像分析
，具体涉及基于自监督聚类对比学习的宫颈OCT图像分类方法及系统。

技术介绍

[0002]世界卫生组织(WHO)调查结果显示，近年来，宫颈癌正在严重影响女性生殖系统的健康。光学相干断层扫描(Optical Coherence Tomography，OCT)是一种用于宫颈及眼科等疾病检测的无创、高分辨率成像技术。相较于传统的宫颈癌的筛查手段，如人类乳头瘤病毒检查(HPV检测)、液基薄层细胞检测(TCT检测)、阴道镜检查(Colposcopy检测)以及锥切活检等，宫颈OCT具有：1)无创非侵入性。OCT利用光学原理成像，只需检测员手持探头扫描宫颈即可成像；2)安全无辐射性。宫颈OCT采用的是近红外光，无辐射；3)成像速度快。对于12个宫颈点位，扫描一个点位只需要3秒；4)成像分辨率高。宫颈OCT的分辨率达到了5um。
[0003]然而，由于OCT是新型技术，目前在临床上熟悉宫颈OCT影像的医生极其匮乏。因此，亟需一个计算机辅助诊断系统(Computer Aided Diagnosis，CADx)进行辅助判读。将人工智能(Artifical Intelligence，AI)应用到宫颈OCT图像辅助诊断中一个最大的痛点是，由于缺乏拥有丰富临床经验的医师，以及人工标注宫颈OCT图像巨大的工作量，导致的宫颈OCT的标注稀缺。而传统的监督学习正是需要大量带标注的数据才能够取得较好的结果。
[0004]本申请专利技术人在实施本专利技术的过程中，发现现有技术的方法至少存在如下技术问题：
[0005](1)自监督学习(self
‑
supervised learning)的标签信息不是人工标注的，而是算法在大规模无监督数据中自动构造标签信息，来进行有监督学习或训练。现有的一些将自监督学习应用到医学图像分析中的方法，大多数是基于对比或者文本恢复。基于对比的方法需要大量的正负样本进行对抗训练，再加上医学图像本就分辨率高，体积大，因此资源占用成为了极大的问题；
[0006](2)单纯的对比学习由于会在训练过程中不加区分对抗实际意义上的同类样本，进而导致模型容易坍塌，因此在下游任务中容易将同类样本的特征模式误判为不同类从而导致错误分类和识别。

技术实现思路

[0007]为了解决上述问题，本专利技术提供了基于自监督聚类对比学习的宫颈OCT图像分类方法及系统，能够有效减少大量正负样本对抗的强依赖、防止模型坍塌、并且切实提升模型对宫颈OCT图像的分类准确率。
[0008]本专利技术采用了以下方案：
[0009]<方法>
[0010]如图1所示，本专利技术提供的基于自监督聚类对比学习的宫颈OCT图像分类方法，包括：
[0011]步骤1，将获取的宫颈组织OCT影像划分为预训练数据集和分类数据集；
[0012]步骤2，构建在预训练数据集上进行自监督聚类对比学习的预训练模型；预训练模型包含数据增强，卷积块和位置编码，骨干网络ViT，聚类投影头加损失函数以及对比投影头加损失函数五个部分；宫颈OCT影像首先经过预处理和两次数据增加得到两个不同的增强版本，然后经过卷积块提取特征并加入位置编码，接着通过ViT提取这两个不同的数据增强版本的特征，经过实例投影头和聚类投影头对ViT提取的特征进行处理得到每个版本的实例表征和聚类表征，每一个输入宫颈的OCT影像都会得到四个特征；
[0013]步骤3，对实例表征和聚类表征分别设置实例损失函数和聚类损失函数，计算最后输出的特征的损失值，并利用反向传播算法更新骨干网络ViT的参数，采用预训练模型进行预训练，得到训练好的预训练模型；
[0014]步骤4，使用训练完毕的预训练模型在分类数据集中的训练集上进行模型微调，然后进行分类训练，得到最终训练好的宫颈OCT图像分类模型；
[0015]步骤5，用最终训练好的宫颈OCT图像分类模型对分类数据集中的测试集进行预测，得到在测试集上的分类结果。
[0016]优选地，本专利技术提供的基于自监督聚类对比学习的宫颈OCT图像分类方法，步骤2包括如下子步骤：
[0017]步骤2.1，将所有的宫颈OCT图像进行标准化处理，得到归一化的宫颈OCT图像；
[0018]步骤2.2，采用数据增强方式，对每一个归一化的宫颈OCT图像进行随机增强两次，得到两种不同的数据增强版本；
[0019]步骤2.3，两个不同的数据增强版本都会经过卷积块提取特征，并加入位置编码；利用ViT作为骨干模型，提取两个不同的数据增强版本的深度特征；
[0020]步骤2.4，利用实例投影头和聚类投影头对ViT提取的深度特征进一步处理，分别得到两种不同数据增强版本对应的实例特征矩阵和聚类特征矩阵。
[0021]优选地，本专利技术提供的基于自监督聚类对比学习的宫颈OCT图像分类方法，步骤2.3具体包括：
[0022]步骤2.3.1，在输入到ViT之前，将每张图像都划分为系列无重叠的图像块Patch；
[0023]步骤2.3.2，每一个图像块Patch都经过4层步长为2、大小为3
×
3的卷积加上1层步长为1、大小为1
×
1的卷积层得到系列图像特征，每层卷积后都会有标准的BN加ReLU激活函数；其中，前4个卷积层用于提取特征和降维，最后一个卷积层用来改变通道数，并拟合成ViT输入所需要的尺寸；最后得到的系列图像特征记为Token Embedding；
[0024]步骤2.3.3，将所有Token Embedding按元素加上相应的位置编码来补充位置信息；向ViT中引入一个分类的Cls Token和分类位置编码信息用来学习全局特征；最后取分类位置的输出向量作为当前图像的深度特征。
[0025]优选地，本专利技术提供的基于自监督聚类对比学习的宫颈OCT图像分类方法，步骤2.4具体包括：
[0026]步骤2.4.1，实例投影头包含三层线性层，维度大小分别为1536，1536和128；
[0027]步骤2.4.2，实例投影头每一层线性层后都采用一层一维的批归一化和线性整流单元激活；
[0028]步骤2.4.3，聚类投影头包含三层线性层，维度大小分别为1536，1536和5；
[0029]步骤2.4.4，聚类投影头前两层线性层后都采用一层一维的批归一化和线性整流单元激活；最后一层线性层之后是softmax回归函数。
[0030]优选地，本专利技术提供的基于自监督聚类对比学习的宫颈OCT图像分类方法，步骤3包括如下子步骤：
[0031]步骤3.1，对于实例损失，获取预训练网络模型中第一种数据增强的输出矩阵Z1；第二种数据增强的输出矩阵Z2；并联输出Z1，Z2得到联合矩阵V，计算V和V的转置矩阵V
T
的矩阵乘积得到相似度矩阵S1＝V
T
V；相似度矩阵中每个元素代表两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自监督聚类对比学习的宫颈OCT图像分类方法，其特征在于，包括：步骤1，将获取的宫颈组织OCT影像划分为预训练数据集和分类数据集；步骤2，构建在预训练数据集上进行自监督聚类对比学习的预训练模型；预训练模型包含数据增强，卷积块和位置编码，骨干网络ViT，聚类投影头加损失函数以及对比投影头加损失函数五个部分；宫颈OCT影像首先经过预处理和两次数据增加得到两个不同的增强版本，然后经过卷积块提取特征并加入位置编码，接着通过ViT提取这两个不同的数据增强版本的特征，经过实例投影头和聚类投影头对ViT提取的特征进行处理得到每个版本的实例表征和聚类表征，每一个输入宫颈的OCT影像都会得到四个特征；步骤3，对实例表征和聚类表征分别设置实例损失函数和聚类损失函数，计算最后输出的特征的损失值，并利用反向传播算法更新骨干网络ViT的参数，采用预训练模型进行预训练，得到训练好的预训练模型；步骤4，使用训练完毕的预训练模型在分类数据集中的训练集上进行模型微调，然后进行分类训练，得到最终训练好的宫颈OCT图像分类模型；步骤5，用最终训练好的宫颈OCT图像分类模型对分类数据集中的测试集进行预测，得到在测试集上的分类结果。2.根据权利要求1所述的基于自监督聚类对比学习的宫颈OCT图像分类方法，其特征在于：其中，步骤2包括如下子步骤：步骤2.1，将所有的宫颈OCT图像进行标准化处理，得到归一化的宫颈OCT图像；步骤2.2，采用数据增强方式，对每一个归一化的宫颈OCT图像进行随机增强两次，得到两种不同的数据增强版本；步骤2.3，两个不同的数据增强版本都会经过卷积块提取特征，并加入位置编码；利用ViT作为骨干模型，提取两个不同的数据增强版本的深度特征；步骤2.4，利用实例投影头和聚类投影头对ViT提取的深度特征进一步处理，分别得到两种不同数据增强版本对应的实例特征矩阵和聚类特征矩阵。3.根据权利要求1所述的基于自监督聚类对比学习的宫颈OCT图像分类方法，其特征在于：其中，步骤2.3具体包括：步骤2.3.1，在输入到ViT之前，将每张图像都划分为系列无重叠的图像块Patch；步骤2.3.2，每一个图像块Patch都经过4层步长为2、大小为3
×
3的卷积加上1层步长为1、大小为1
×
1的卷积层得到系列图像特征，每层卷积后都会有标准的BN加ReLU激活函数；其中，前4个卷积层用于提取特征和降维，最后一个卷积层用来改变通道数，并拟合成ViT输入所需要的尺寸；最后得到的系列图像特征记为Token Embedding；步骤2.3.3，将所有Token Embedding按元素加上相应的位置编码来补充位置信息；向ViT中引入一个分类的Cls Token和分类位置编码信息用来学习全局特征；最后取分类位置的输出向量作为当前图像的深度特征。4.根据权利要求1所述的基于自监督聚类对比学习的宫颈OCT图像分类方法，其特征在于：其中，步骤2.4具体包括：
步骤2.4.1，实例投影头包含三层线性层，维度大小分别为1536，1536和128；步骤2.4.2，实例投影头每一层线性层后都采用一层一维的批归一化和线性整流单元激活；步骤2.4.3，聚类投影头包含三层线性层，维度大小分别为1536，1536和5；步骤2.4.4，聚类投影头前两层线性层后都采用一层一维的批归一化和线性整流单元激活；最后一层线性层之后是softmax回归函数。5.根据权利要求1所述的基于自监督聚类对比学习的宫颈OCT图像分类方法，其特征在于：其中，步骤3包括如下子步骤：步骤3.1，对于实例损失，获取预训练网络模型中第一种数据增强的输出矩阵Z1；第二种数据增强的输出矩阵Z2；并联输出Z1，Z2得到联合矩阵V，计算V和V的转置矩阵V
T
的矩阵乘积得到相似度矩阵S1＝V
T
V；相似度矩阵中每个元素代表两个输出之间的余弦距离，最后经过交叉熵损失函数计算得到实例损失值；步骤3.2，对于聚类损失，获取与训练网络模型中第一种数据增强的输出矩阵Y1，第二种数据增强的输出矩阵Y1，并联输出Y1，Y1的转置得到联合矩阵C，计算C和C的转置矩阵C
T

【专利技术属性】
技术研发人员：马于涛，陈开一，张燕，王庆彬，黄炜俊，
申请(专利权)人：武汉大学，
类型：发明
国别省市：