基于多模态蒸馏引导的WSI长尾数据识别方法、装置及其可读存储介质制造方法及图纸

本发明专利技术提出了一种基于多模态蒸馏引导的WSI长尾数据识别方法、装置及其可读存储介质，针对数字病理全图图像（WSI）在弱监督多实例学习中因长尾分布导致的尾部类别识别准确率低问题，本发明专利技术通过双分支集成多实例学习、文本特征提取与提示生成及多模态蒸馏优化实现性能提升。双分支分别采用均衡分布与原始长尾分布数据训练，共享聚合器并约束预测一致性；生成含语义提示的文本特征作为监督信号，通过图文对比损失实现语义对齐；设计软硬标签协同的蒸馏损失，结合一致性损失构建总损失函数。实验表明，该算法能显著提升尾部类别及整体识别性能，通用性强，可适配多种多实例学习方法，为病理图像智能分析提供可靠技术支撑。

【技术实现步骤摘要】

本专利技术属于人工智能、深度学习和医学图像分析，特别涉及一种用于数字病理图像中长尾类别识别的多模态蒸馏引导算法。

技术介绍

1、随着数字病理技术的发展，整张组织切片图像（whole slide image, wsi）在肿瘤筛查、亚型分类及基因突变预测等临床任务中得到广泛应用。由于wsi分辨率极高（通常包含数百万个图像块（patch）），在缺乏精确标注的实际场景中，弱监督的多实例学习（multiple instance learning, mil）方法成为主流解决方案——其将wsi视为由多个patch组成的“包”，通过聚合器学习各patch对最终分类的贡献，聚合器对关键patch的关注度直接决定wsi的语义表示能力。

2、然而，真实病理数据普遍存在类别不平衡问题：少数类别（尾部类）样本数量远少于多数类别（头部类），形成长尾分布。这种分布会导致mil模型在训练中更倾向于拟合头部类，忽视尾部类的关键特征，表现为尾部类别识别准确率低、泛化能力差，严重影响整体预测性能。在医学场景中，该问题尤为突出——罕见疾病（尾部类）的识别准确性直接关系临床辅助诊断的可本文档来自技高网...

【技术保护点】

1.一种基于多模态蒸馏引导的WSI长尾数据识别方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于多模态蒸馏引导的WSI长尾数据识别方法，其特征在于，步骤（1）中，所述类平衡采样通过调整原始长尾数据的类别采样概率，使各类别采样概率相等以获得均衡分布数据；所述实例均衡采样保持原始长尾数据的类别分布比例以获得长尾分布数据。

3.如权利要求1所述的一种基于多模态蒸馏引导的WSI长尾数据识别方法，其特征在于，步骤（2）中，所述包含语义提示的文本标签通过预设模板生成，所述预设模板包含器官类型、任务目标及类别标签占位符，所述模板格式为“the tumor type...

【技术特征摘要】

1.一种基于多模态蒸馏引导的wsi长尾数据识别方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于多模态蒸馏引导的wsi长尾数据识别方法，其特征在于，步骤（1）中，所述类平衡采样通过调整原始长尾数据的类别采样概率，使各类别采样概率相等以获得均衡分布数据；所述实例均衡采样保持原始长尾数据的类别分布比例以获得长尾分布数据。

3.如权利要求1所述的一种基于多模态蒸馏引导的wsi长尾数据识别方法，其特征在于，步骤（2）中，所述包含语义提示的文本标签通过预设模板生成，所述预设模板包含器官类型、任务目标及类别标签占位符，所述模板格式为“the tumor type of this {organ}cancer whole slide image is {label}”，其中{organ}为病理图像对应的器官类型，{label}为类别标签。

4.如权利要求1所述的一种基于多模态蒸馏引导的wsi长尾数据识别方法，其特征在于，步骤（2）中，所述预训练文本编码器为conch编码器，所述处理包括：

5.如权利要求1所述的一种基于多模态蒸馏引导的wsi长尾数据识别方法，其特征在于，步骤（3）中，所述图...

【专利技术属性】
技术研发人员：朱良慧，凌希通，查伟，李肖肖，黄强，王子晗，
申请(专利权)人：深圳市生强科技有限公司，
类型：发明
国别省市：