【技术实现步骤摘要】
本专利技术涉及医疗数据分析挖掘领域，尤其涉及一种基于深度学习两阶段推理网络的病理图像分类方法。
技术介绍
1、胃癌是迄今为止全球人类死亡的主要原因之一，死亡率高居世界第二。尽管世界上一些地区的发病率有所下降，但由于大多数病例诊断较晚，预后差，治疗选择有限，胃癌仍然是一个重大的临床挑战。世界卫生组织以癌的组织结构、细胞形状和分化程度为依据，主要把胃癌分为普通腺癌(gastric adenocarcinoma，gac)、粘液腺癌(mucinousadenocarcinoma，muc)和印戒细胞癌(signet ring cell carcinoma，src)。其中，gac最为常见，与其相比，muc的临床病理特征具有显著差异：体积较大；侵袭更深；淋巴结转移率较高。此外，作为muc的一种变异体src也产生大量的黏蛋白，但在临床上表现为恶性度较高的低分化腺癌，易在胃壁呈弥漫浸润性生长，侵袭力强，转移率高，核被挤压于胞质一侧呈“印戒”样，经常到了晚期才被发现。据报道，胃癌的早期准确检测可压倒性的将5年生存率提高约90％。因此，针对muc、gac和src的准确形态学分类在临床诊断中非常有必要的，而病理检测是诊断胃癌各种亚型的金标准，检测结果对治疗计划有很大的影响。
2、在临床环境中，病理学家通常根据观察到的不同尺度下的组织病理图像的形态特征，并参考医学报告进行诊断，而人工诊断过程耗时且具有主观性和不可重复性。随着数字病理学和深度学习技术的飞速发展，许多基于深度学习的癌症亚型分类模型提出被用于辅助医生进行临床诊断。但是，现有的病理图
技术实现思路
1、本专利技术提供了一种基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，以用于胃癌亚型病理图像检测。本专利技术采用两阶段推理网络的方式，结合全局注意力模块、判别模块和可微分模块对癌症亚型图像进行一个细粒度的筛选，在减少对计算需求的同时，用于普通腺癌、粘液腺癌和印戒细胞癌图像的分类，提高对胃癌亚型检测的准确率，能够满足临床辅助诊断的需要。
2、本专利技术的技术方案是：一种基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，包括：
3、s1、采集胃癌患者组织病理图像和对应的临床标签数据；
4、s2、对原始全视野数字切片图像wsi按照比例划分为训练集、验证集和测试集，并对每张原始全视野数字切片图像wsi进行滑动窗口切分处理，获得最高放大倍数下的高分辨率组织病理图像切片tiles；
5、s3、针对s2切分后得到的数字图像切片tiles进行预处理，得到预处理后的数字图像切片tiles；
6、s4、将s3预处理好的数字图像切片tiles输入到带位置编码的visiontransformer(vit)模型当中，得到粗推理阶段的组织病理图像特征和全局注意力特征图；
7、s5、将s4得到的组织病理图像特征进行分类，并判断分类结果是否达到设定的阀值；
8、s6、针对s5的判定结果，若小于所设阀值，则通过与可微分模块将s4中输入vit模型的tiles和所得全局注意力特征图进行可微操作，获得更加细粒度的patches特征；
9、s7、针对s6所得细粒度特征，再送入到与s4共享权重参数的vit模型当中进行训练，之后使用s2的验证集对每一批次训练得到的模型性能进行验证，并保存在验证集上取得的最好指标的模型参数作为最终分类模型的权重；最终，在s2的测试集上验证保存的模型性能。
10、作为优选，s2原始全视野数字切片图像wsi的处理过程包括以下步骤：
11、s2.1、对于原始全视野数字切片图像wsi，首先获取其总金字塔层数假设为lall层，选取第lall-1层作为目标切分层，获取目标切分层的尺寸w和h；其中，w为目标切分层的宽度，h为目标切分层数的长度；
12、s2.2、针对获取到的目标切分层的尺寸，进行窗口滑动次数计算：
13、
14、式(1)中，winw表示窗口宽度，nw为窗口横向滑动次数，且做向下取整处理；
15、
16、式(2)中，winh表示窗口长度，nh为窗口纵向滑动次数，且做向下取整处理；
17、s2.3、针对计算得到的窗口横向、纵向滑动次数，对目标切分层的全视野数字切片图像wsi进行滑动窗口切分，并对每张切片tile进行写出并保存；
18、所述滑动窗口切分处理过程如下：首先，去除组织病理图像的背景，这一步去除没有组织的区域，也去除多余脂肪的有限区域；然后，以最高放大倍率将组织病理图像平铺成512-2048像素的无重叠tiles；最后，去除背景覆盖面积大于20％的tiles，从每张组织病理图像中提取tiles的数量从数百到数千不等。
19、作为对上述方案的进一步描述：所述s3中对切分后的tiles进行预处理，包括用现有的颜色归一化、尺寸归一化和进行染色标准化方法对所以tiles进行处理。
20、作为对上述方案的进一步描述：所述s4中带位置编码的vit模型包含k个transformer encoder层，每个encoder层由两个norm layer层、一个multi-headattention(mhsa)层、一个全连接层(ffn)和两个残差连接所组成。
21、作为对上述方案的进一步描述：所述multi-head self-attention(mhsa)层是得到全局注意力特征图的关键，在第k∈(3，7)个编码器的mhsa中，首先，将n个patches送入vit encoder的d维token序列xk-1映射成查询矩阵qk∈r(n+1)×d，键矩阵kk∈r(n+1)×d和值矩阵vk∈r(n+1)×d；其次，由行偏移(a-j)和列偏移(b-j)表示的rh和rw被定义为可分离的相对位置编码，它们通过ra-i和rb-j连接，即得到ra-i，b-j；最后，累积内容和位置信息，并通过softmax将聚合结果与值矩阵相乘，则自注意力矩阵ak∈r(n+1)×(n+1)的计算为：
22、
23、其中为图像加权分数；称为类注意力，它反映了class token和其他patch之间的相互关系，mhsa的输出akvk被送到由全连接层组成的ffn，以导出更新后的class token的导出方式如下：
24、
25、最后，将class token作为线性分类器f的输入，得到了粗阶段的类别预测分布pn：
26、
27、其中n为类别数目，至此，可以得到粗阶段输出的预测类别概率p为：
28、p＝argmax pi (6)。
29、作为对上述方案的进一步描述：s5中判断分类结果是否达到设定的阀值为：作为粗推理阶段的预测置信度评分本文档来自技高网...
【技术保护点】
1.一种基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于，S2原始全视野数字切片图像WSI的处理过程包括以下步骤：
3.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：所述S3中对切分后的tiles进行预处理，包括用现有的颜色归一化、尺寸归一化和进行染色标准化方法对所以tiles进行处理。
4.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：所述S4中带位置编码的ViT模型包含K个Transformer Encoder层，每个Encoder层由两个Norm layer层、一个Multi-Head Attention(MHSA)层、一个全连接层(FFN)和两个残差连接所组成。
5.根据权利要求4所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：所述Multi-Head self-Attention(MHSA)层是得到全局注意力
6.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：S5中判断分类结果是否达到设定的阀值为：作为粗推理阶段的预测置信度评分，Pi要尽可能的大，但由于整张WSI切分出的部分tiles中病灶区域的细胞、组织分布是不规则的，并且包含着冗余的噪声，所以引入了阈值δ来实现信息区域的权衡；如果Pi≥δ，整个推理过程将终止，将其输入归为类n，否则，输入图像可能包含ViT模型无法区分的‘Hard’区域，需进行更细粒度地筛选。
7.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：S6中全局注意力特征图表达式为：
8.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：S6中的可微分模块为：由于Top-M的方式不能进行反向传播求取梯度信息，故采用的扰动最大值法，给定一个不可微分的模块，其前向传播过程可以表示为以下线性形式：
9.一种基于深度学习两阶段推理网络的胃癌组织病理图像分类系统，其特征在于：包括权利要求1-8中任意一项所述方法的模块。
...【技术特征摘要】
1.一种基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于，s2原始全视野数字切片图像wsi的处理过程包括以下步骤：
3.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：所述s3中对切分后的tiles进行预处理，包括用现有的颜色归一化、尺寸归一化和进行染色标准化方法对所以tiles进行处理。
4.根据权利要求1所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：所述s4中带位置编码的vit模型包含k个transformer encoder层，每个encoder层由两个norm layer层、一个multi-head attention(mhsa)层、一个全连接层(ffn)和两个残差连接所组成。
5.根据权利要求4所述的基于深度学习两阶段推理网络的胃癌组织病理图像分类方法，其特征在于：所述multi-head self-attention(mhsa)层是得到全局注意力特征图的关键，在第k∈(3,7)个编码器的mhsa中，首先，将n个patches送入vit encoder的d维token序列xk-1映射成查询矩阵qk∈r(n+1)×d，键矩阵kk∈r(n+1)×d和值矩阵vk∈r(n+1)×d；其次，由行偏移(a...
【专利技术属性】
技术研发人员：金怀平，王兴杭，陶海波，李振辉，王彬，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。