【技术实现步骤摘要】
本专利技术属于图像分类，特别是涉及一种多级自注意力筛选机制的病理图像分类方法。
技术介绍
1、数字病理图像保存了癌症患者丰富的细胞形态、颜色等信息，这些信息为医疗人员提供了诊断的依据。因此，近些年来，自动化的数字病理图像分析成为了研究热点。作为数字病理图像分析的核心，分类模型的性能决定了能否有效地辅助医生对癌症患者进行诊断。数字病理图像分类中存在一个根本性的挑战，那就是由于现阶段计算资源不足承担具有千兆像素的数字病理图像计算任务。为了解决此问题，研究者们将图像切分为若干个补丁级别的小图像，并将进行精确标注，给予这些小图像是否为癌症区域的标签。虽然这种监督式学习的方法能对病理图像进行精确的分类，但是对图像精确标注的过程不仅需要经受专业培训的医生，而且这一过程是极易出错且耗时耗力。
2、病理图像的超高分辨率特性，使得在有限的计算资源条件下无法对整张全尺寸病理图像进行批量训练，转而将整张病理图像进行切片处理从而进行模型训练。然而，在缺少像素级标注的情况下，不仅会带来弱监督学习问题，还会造成不同组织区域之间的补丁级图像关联信息丢失与冗余信息增加。
3、近些年来，研究者们为了减少人工与时间成本将多示例学习引入至病理图像分类。研究者们将整张病理图像视作多示例包，把补丁级图像视作示例。clam模型将切割过后的补丁级小图像视为不同的示例，在对特征聚合之后进行分类，最终得到一个全尺寸病理图像的预测标签。基于多示例学习的方法解决了在弱监督情况下的病理图像分类问题，然而这些方法没有考虑到不同补丁之间关系信息。基于视觉trans
技术实现思路
1、本专利技术实施例的目的在于提供一种多级自注意力筛选机制的病理图像分类方法，以解决现有分类方法容易忽略补丁级小图像之间的关系或者仅聚焦于最小级别的补丁级小图像之间的关系而忽略全尺寸病理图像包含的冗余组织区域信息，从而导致分类性能低的问题。
2、为解决上述技术问题，本专利技术所采用的技术方案是，一种多级自注意力筛选机制的病理图像分类方法，包括以下步骤：
3、步骤s1、对全尺寸病理图像进行切分，得到补丁级小图像；
4、步骤s2、对补丁级小图像进行特征提取；
5、步骤s3、采用三分支transformer模型对提取的特征进行特征筛选；
6、步骤s4、对筛选到的特征进行特征聚合；
7、步骤s5、使用分类器对聚合后的特征进行标签预测，得到分类结果。
8、进一步地，所述步骤s2中特征提取的过程为：
9、
10、其中，resnet(·)为经过预训练的resnet50网络，为第i张实例级病理图像切分出来的第j张补丁级小图像，为补丁级小图像的特征。
11、进一步地，所述步骤s3中特征筛选的过程为：
12、步骤s31、将病理图像中全部的补丁级小图像特征通过第一个分支以获得全局信息；
13、步骤s32、通过top-k策略和自注意力权重选取前k个较为重要的图像特征，将前k个较为重要的图像特征送入第二个分支；
14、步骤s33、在第二个分支中重复步骤s32中的特征选取策略，将选取后的图像特征送入第三分支；
15、步骤s34、在第二个分支中重复步骤s32中的特征选取策略，得到第三分支的输出图像特征；
16、上述特征筛选的过程表示为：
17、
18、
19、其中，transformerz(·)为第z个transformer分支，表示第t个数据在第z-1个transformer分支的输入，featurez表示第z个transformer分支的输入特征，而topk(·)为选取重要性为top-k的特征；当z＝1时，为第i张实例级病例大图像切分出来的第j张补丁级小图像的特征，为补丁级小图像的特征。
20、进一步地，所述步骤s4中特征聚合的过程表示为：
21、feature＝combine(feature1,frature2,frature3)
22、frature为最终聚合的分类特征；combine(·,·,·)为将不同的一维向量在一维上的拼接的操作；feature1、feature2、feature3分别为第一分支、第二分支、第三分支中筛选出的特征。
23、进一步地，所述步骤s5中预测过程表示为：
24、
25、其中，fc(·)为分类器，为第i个全尺寸病理图像预测标签；feature为最终聚合的分类特征。
26、进一步地，所述三分支transformer模型的损失函数为：
27、
28、其中，交叉熵损失函数，yi是第i个病理图像的真实标签，为第i个全尺寸病理图像预测标签；nw为全尺寸病理图像的数量。
29、进一步地，所述resnet50模型在imagenet数据集上进行预训练。
30、本专利技术的有益效果是：
31、1、提出了基于transformer模型的病理图像分类模型，通过transformer架构捕捉补丁级图像之间的关联关系，弥补全尺寸病理图像由于切割而造成的补丁级图像间关联关系信息的丢失。
32、2、提出了一种多级自注意力筛选机制，通过top-k策略以选取重要的训练数据作为下一个分支的训练数据，并融合多个分支的特征，以约束模型关注于癌症区域，并减少冗余组织区域的影响，从而提高分类精度。
本文档来自技高网...【技术保护点】
1.一种多级自注意力筛选机制的病理图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述步骤S2中特征提取的过程为：
3.根据权利要求1所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述步骤S3中特征筛选的过程为：
4.根据权利要求1所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述步骤S4中特征聚合的过程表示为：
5.根据权利要求1所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述步骤S5中预测过程表示为：
6.根据权利要求1或3所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述三分支Transformer模型的损失函数为：
7.根据权利要求2所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述ResNet50模型在ImageNet数据集上进行预训练。
【技术特征摘要】
1.一种多级自注意力筛选机制的病理图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述步骤s2中特征提取的过程为：
3.根据权利要求1所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述步骤s3中特征筛选的过程为：
4.根据权利要求1所述的一种多级自注意力筛选机制的病理图像分类方法，其特征在于，所述步骤s4中特征聚合...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。