基于弱监督学习和转换器的肺癌组织病理全切片分类方法技术

本发明专利技术公开了一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，步骤包括：1、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据；2、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合（1）中双倍率图像的深度特征；3、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤（2）中得到的深度特征进行全切片阴阳性分类；4、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型；5、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类。分类。分类。

A method of lung cancer histopathological whole section classification based on weakly supervised learning and converter

【技术实现步骤摘要】
基于弱监督学习和转换器的肺癌组织病理全切片分类方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法。

技术介绍

[0002]目前，肺癌的发病率和致死率在我国癌症发病率和致死率中高居首位，病理诊断是肿瘤诊断的“金标准”，所以肺癌的诊断分型需要依靠病理诊断，准确无误的肺癌组织病理全切片阴阳性判断对于医生诊断、病患治疗起到至关重要的作用。
[0003]在实际诊疗过程中，病理医生需要在显微镜下用肉眼检查数以万计的细胞，但是每位病理医生每天需要处理大量病患的标本，常常会产生阅片疲劳，误诊、漏诊等现象时有发生。因此，需要一种高效且定量的肺癌组织病理全切片阴阳性预测方法，减轻病理医生的阅片负担，同时提高肺癌组织病理全切片阴阳性预测准确率。目前，针对肺癌组织病理全切片阴阳性预测的算法主要以基于深度学习的监督学习分类算法为主。
[0004]近年来，深度学习模型在计算机视觉各个领域中取得了显著的效果，一些研究人员已经将卷积神经网络应用于肺癌组织病理全切片阴阳性预测任务中，如残差网络(ResNet)、密集卷积网络(Densenet)，大多提取单个倍率下的图像特征并基于全监督方式训练网络模型，虽然目前取得一些进展，但是值得注意的是由于病理图像复杂的纹理特征和极高的医学知识壁垒，图像标注成本太高，很难获取类似图像块的真实标签这样强有力的监督信息，大部分情况下只有全切片阴阳性类别这样粗犷的标签，因此更加适合使用弱监督的方式训练阴阳性分类网络模型。

技术实现思路

[0005]本专利技术目的就是为了弥补已有技术的缺陷，提供一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，旨在解决由于病理图像结构复杂、类型多变，特征信息丰富而导致的细节标注困难、真实标签难以获取、肺癌组织病理全切片阴阳性预测困难等问题，通过构建基于双倍率深度特征提取模块和视觉转换器的弱监督分类网络模型，仅通过组织病理全切片阴阳性标签训练网络模型，完成肺癌组织病理全切片阴阳性类别的准确高效预测。
[0006]本专利技术是通过以下技术方案实现的：
[0007]一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，具体包括如下步骤：
[0008](1)、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据；
[0009](2)、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征；
[0010](3)、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤
(2)中得到的深度特征进行全切片阴阳性分类；
[0011](4)、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型；
[0012](5)、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类。
[0013]步骤(1)所述的获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据，具体如下：
[0014]对肺癌组织病理全切片图像按照阴阳性标签整理，记为其中X
i
表示第i个肺癌组织病理全切片，y
i
表示第i个肺癌组织病理全切片的阴阳性标签，N表示肺癌组织病理全切片图像总数。将全切片图像去除空白背景区域并进行分块处理，在10X倍率下随机采样得到多个图像块，记为其中，表示第i个全切片在10X倍率下第j个图像块，C表示图像块的通道数，P
×
P表示每个图像块的宽度和高度；并在20X倍率下获取10X倍率下的图像对应的图像块，记为其中表示10X倍率下图像块在20X倍率下的第k个图像块；i＝1,2,
…
,N，j＝1,2,
…
,n，k＝1,2,
…
,4；N表示肺癌组织病理全切片图像总数；n表示10X倍率下图像块的数量。
[0015]步骤(2)所述的建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征，具体如下：
[0016]所述的双分支网络模型第一分支和第二分支均由预训练的ResNet50残差网络构成；
[0017]步骤2.1、将10X倍率下图像块送入网络第一分支，得到N个d维深度特征表示。
[0018]步骤2.2、将20X倍率下图像块送入网络第二分支，得到4N个d维深度特征表示。
[0019]步骤2.3、利用式(1)将每个10X倍率下的深度特征与其对应的4个20X倍率下的深度特征聚合得到4N个D维全局特征表示x
ij
，
[0020][0021]式(1)中，Concat(
·
)表示特征联合处理；x
jk
表示第i个肺癌组织病理全切片的第j个图像块的第k个D维全局特征表示，表示全局特征表示向量维数为D，其中i＝1,2,
…
,N，j＝1,2,
…
,n，k＝1,2,
…
,4，D＝2d。
[0022]步骤(3)所述的建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类，具体如下：
[0023]构建由编码器构成的视觉转换器ViT，编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
[0024]步骤3.1、设置一个可学习的分类标记，利用式(2)得到4N个全局特征表示和分类标记x
class
的输入序列z0，作为编码器的输入；
[0025]z0＝[x
class
；x
11
；x
12
；x
13
；x
14
；
…
；x
N1
；x
N2
；x
N3
；x
N4
]ꢀꢀꢀꢀ
(2)
[0026]步骤3.2、利用式(3)得到4N个全局特征表示和分类标记x
class
经过编码器的多头自注意力机制层的输出z'；
[0027]z'＝MSA(LN(z0))+z0ꢀꢀꢀꢀ
(3)
[0028]式(3)中，MSA(
·
)表示多头自注意力机制层的处理；LN(
·
)表示归一化层的处理；
[0029]步骤3.3、利用式(3)得到编码器的多层感知器的输出z
L
；
[0030]z
L
＝MLP(LN(z'))+z'
ꢀꢀꢀꢀ
(4)
[0031]式(4)中，MLP(
·
)表示多层感知器的处理；LN(
·
)表示归一化层的处理；
[0032]步骤3.4、利用式(5)得到经归一化处理后的输出z
′
L
，并提取出分类标记x
class...

【技术保护点】

【技术特征摘要】
1.一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：具体包括如下步骤：(1)、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据；(2)、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征；(3)、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类；(4)、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型；(5)、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类。2.根据权利要求1所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(1)所述的获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据，具体如下：对肺癌组织病理全切片图像按照阴阳性标签整理，记为其中X
i
表示第i个肺癌组织病理全切片，y
i
表示第i个肺癌组织病理全切片的阴阳性标签，N表示肺癌组织病理全切片图像总数；将全切片图像去除空白背景区域并进行分块处理，在10X倍率下随机采样得到多个图像块，记为其中，表示第i个全切片在10X倍率下第j个图像块，C表示图像块的通道数，P
×
P表示每个图像块的宽度和高度；并在20X倍率下获取10X倍率下的图像对应的图像块，记为其中表示10X倍率下图像块在20X倍率下的第k个图像块；i＝1,2,
…
,N，j＝1,2,
…
,n，k＝1,2,
…
,4；n表示10X倍率下图像块的数量。3.根据权利要求2所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(2)所述的建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征，具体如下：所述的双分支网络模型第一分支和第二分支均由预训练的ResNet50残差网络构成；步骤2.1、将10X倍率下图像块送入网络第一分支，得到N个d维深度特征表示；步骤2.2、将20X倍率下图像块送入网络第二分支，得到4N个d维深度特征表示；步骤2.3、利用式(1)将每个10X倍率下的深度特征与其对应的4个20X倍率下的深度特征聚合得到4N个D维全局特征表示x
jk
，，式(1)中，Concat(
·
)表示特征联合处理；x
jk
表示第i个肺癌组织病理全切片的第j个图像块的第k个D维全局特征表示，表示全局特征表示向量维数为D，其中i＝1,2,
…
,N，j＝1,2,
…
,n，k＝1,2,
…
,4，D＝2d。4.根据权利要求3所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(3)所述的建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类，具体如下：
构建由编码器构成的视觉转换器ViT，编码器包括：两个归一化层、多头注意力机制层以及多层感知器；步骤3.1、设置一个可学...

【专利技术属性】
技术研发人员：祝新宇，史骏，束童，唐昆铭，孙宇，杨志鹏，王垚，张元，郑利平，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：