【技术实现步骤摘要】
本专利技术属于医学图像分析，具体涉及一种协同学习驱动的多类别全切片数字病理图像分类系统。
技术介绍
1、全切片数字病理图像分析在现代医学诊断中起着至关重要的作用。全切片数字病理图像分析技术不仅改变了传统显微镜下病理诊断的局限性，还为大规模数据分析和自动化诊断提供了新的可能性。全切片图像(whole slide images,wsis)通常包含大量的信息和细节，这些信息对于准确诊断和疾病分期至关重要。例如，全切片图像能够展示肿瘤细胞的形态、大小、数量以及与周围组织的相互作用，这些都是传统病理学无法或难以捕捉的。
2、近年来，基于深度学习的全切片数字病理图像分析方法取得了快速的进展，在各种应用场景中表现出色。然而当前的方法存在以下两方面问题：
3、(1)通常只关注阴性/阳性、是否含有肿瘤等二分类任务，然而多分类任务广泛存在，如前列腺癌分级(isup评级从0到5)、乳腺癌分型(正常、病理性良性、常见导管增生、扁平上皮异型性、非典型导管增生、导管原位癌和浸润性癌)等；
4、(2)目前基于自注意力机制及其变体的方法通常只使用一个与类别无关的分类令牌来捕捉不同类别的信息，可能无法学习多个不同类别的语义信息。
5、综上所述，现有方法存在着仅关注二分类问题，且无法捕捉类相关语义信息的不足，提出一种新的全切片数字病理图像分析方法是十分必要的。
技术实现思路
1、本专利技术的目的是为解决现有方法仅关注二分类且无法捕捉类相关语义信息的问题，而提出了一种协同
2、本专利技术为解决上述技术问题所采取的技术方案是：一种协同学习驱动的多类别全切片数字病理图像分类系统，所述系统包括全切片数字病理图像获取模块、图像预处理模块、特征提取模块和协同学习模型，其中：
3、所述全切片数字病理图像获取模块用于获取待分类的全切片数字病理图像；
4、所述图像预处理模块用于对待分类的全切片数字病理图像进行预处理，获得全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
5、所述特征提取模块用于对子图像补丁进行编码，根据编码结果得到补丁特征令牌xp，其中，为实数，n×d为补丁特征令牌的维度；
6、所述协同学习模型包括类特定分类令牌、协同学习子模块、类引导定位子模块；
7、所述类特定分类令牌用于为分类任务的每一个类别分别设置一个的分类令牌，对于一个包含c个类别的分类任务，将全部c个类别的分类令牌组成的矩阵记为
8、所述协同学习子模块用于根据xp和xc进行计算；
9、所述类引导定位子模块用于根据协同学习子模块的计算结果生成类激活图并根据类激活图得到类别的热力图；
10、所述生成类激活图的具体过程为：
11、步骤1、将从二维映射为三维矩阵n＝n×n；
12、步骤2、将与进行矩阵乘法，获得
13、
14、步骤3、对进行1×1卷积，获得
15、进一步地，所述特征提取模块的工作过程为：
16、分别对每个子图像补丁进行编码，即利用预训练模型将每个子图像补丁编码为特征向量，再将全部子图像补丁对应的特征向量进行拼接，得到全切片数字病理图像的补丁特征令牌
17、进一步地，所述前景组织区域采用otsu方法获得。
18、进一步地，所述预训练模型是通过imagenet或病理图像预训练的模型。
19、进一步地，所述协同学习子模块的工作过程为：
20、步骤一、将xp初始化为将xc初始化为并初始化l＝0；
21、步骤二、通过线性层将映射为和是映射到value空间的特征，是映射到key或query空间的特征；
22、通过线性层将映射为和是映射到value空间的特征，是映射到query或key空间的特征；
23、步骤三、计算和之间的点乘注意力，获得协同图
24、
25、其中，上角标t代表转置，协同图dinner为中间层特征维度；
26、步骤四、在协同图的维度1上计算softmax，获得补丁对类注意力图对协同图进行转置后，在维度1上计算softmax获得类对补丁注意力图
27、步骤五、与进行矩阵乘法后，将相乘结果经过线性层获得
28、
29、其中，ffn为线性层；
30、步骤六、与进行矩阵乘法后，将相乘结果经过线性层获得
31、
32、步骤七、根据获得根据获得
33、步骤八、判断l是否等于l-1，l为协同学习子模块的层数；
34、若l＝l-1，则结束；
35、否则，令l＝l+1，再返回执行步骤二。
36、进一步地，所述步骤七的实现方法为下列的(1)或(2)：
37、(1)：直接将作为将作为
38、(2)：将和的加和作为将和的加和作为
39、进一步地，所述根据类激活图得到类别的热力图的具体过程为：
40、步骤①、将映射回n×c维度，将映射结果记为
41、步骤②、若特征提取模块进行过填充，则去除填充补丁后得到若特征提取模块未进行过填充，则直接为
42、步骤③、将中的所有分数映射到0～1的区间，将映射结果记为
43、步骤④、将映射到对应的补丁坐标上，得到类别的热力图。
44、进一步地，所述协同学习模型的训练过程为：
45、获取全切片数字病理图像数据集，并对每个全切片数字病理图像的类别进行标注，再将标注后的全切片数字病理图像划分为训练集、验证集和测试集三部分；
46、对每个全切片数字病理图像进行预处理，分别获得每个全切片数字病理图像中的前景组织区域，并通过格栅化方法将前景组织区域图像分割为子图像补丁；
47、对于任意一个全切片数字病理图像，将该图像对应的子图像补丁进行编码，得到补丁特征令牌
48、利用协同学习模型的类特定分类令牌为分类任务中的每个类别分别设置一个的分类令牌，对于一个包含c个类别的分类任务，将全部c个类别的分类令牌组成的矩阵记为
49、将xp和xc作为协同学习子模块的输入，将协同学习子模块的输出作为类引导定位子模块的输入，根据协同学习子模块和类引导定位子模块的输出计算损失函数，直至达到训练停止条件时获得训练好的协同学习模型。
50、进一步地，所述损失函数为：
51、ltotal＝wclslcls+wconlcon+wsynlsyn
52、其中，lcls是分类损失，lcon是补丁-类一致性损失，lsyn是类-补丁协同损失，wcls、wcon和wsyn为权重；
53、分类损失lcls的计算方法为：
54、对进行池化获得ycls与标注的标签y计算交叉熵损失，获本文档来自技高网...
【技术保护点】
1.一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述系统包括全切片数字病理图像获取模块、图像预处理模块、特征提取模块和协同学习模型，其中：
2.根据权利要求1所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述特征提取模块的工作过程为：
3.根据权利要求2所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述前景组织区域采用Otsu方法获得。
4.根据权利要求3所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述预训练模型是通过ImageNet或病理图像预训练的模型。
5.根据权利要求4所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述协同学习子模块的工作过程为：
6.根据权利要求5所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述步骤七的实现方法为下列的(1)或(2)：
7.根据权利要求6所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述根据类激活图得到
8.根据权利要求7所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述协同学习模型的训练过程为：
9.根据权利要求8所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述损失函数为：
10.根据权利要求9所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述权重wcls、wcon和wsyn的计算方式为：
...【技术特征摘要】
1.一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述系统包括全切片数字病理图像获取模块、图像预处理模块、特征提取模块和协同学习模型，其中：
2.根据权利要求1所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述特征提取模块的工作过程为：
3.根据权利要求2所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述前景组织区域采用otsu方法获得。
4.根据权利要求3所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述预训练模型是通过imagenet或病理图像预训练的模型。
5.根据权利要求4所述的一种协同学习驱动的多类别全切片数字病理图像分类系统，其特征在于，所述协同学习子模块...
【专利技术属性】
技术研发人员：王宽全，孙鹏重，骆功宁，王玮，李向宇，董素宇，李钦策，袁永峰，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。