【技术实现步骤摘要】
本专利技术属于医学图像分析，具体涉及一种基于提示学习的组织病理图像多任务分类系统。
技术介绍
1、组织病理图像被广泛认为是医疗诊断的金标准，其在医学领域具有不可或缺的重要性。在面对复杂的病理切片分析时，医生常常需要进行多方位的诊断，包括但不限于肿瘤的分型和分级。然而，当前大多数的基于深度学习的组织病理图像分类方法依然局限于单一诊断任务的图像分类。有些方法虽然尝试采用多任务学习模型，但这些模型主要集中在任务特定信息(task-specific information)和任务通用信息(task-genericinformation)的学习上，却往往忽视了各任务间潜在的关联性或相互依赖性(cross-taskcorrelation)。
2、提示学习(prompt learning)是一种新的学习范式，最初主要用于自然语言处理(nlp)中预训练模型的下游任务优化。与传统的模型微调方法不同，提示学习通过添加和微调特定的可学习“提示”(prompts)，旨在让预训练模型能够更快、更高效地适应各种下游任务，无需对模型的大量参数进行微调。最近，这种方法逐渐应用于计算机视觉任务。然而，现有的研究和应用主要还是局限于处理单一或独立的视觉任务，尚未深入探讨其在应对超大规模组织病理图像多任务分类环境下的有效性和适用性。
3、综上所述，由于现有多任务学习模型忽视了各任务间潜在的关联性，导致现有方法对组织病理图像多任务分类的性能仍然较差，提升组织病理图像多任务分类的性能是目前亟需解决的问题。
技术实现思路
1、本专利技术的目的是为解决现有多任务学习模型忽视了各任务间潜在的关联性，导致现有方法对组织病理图像多任务分类的性能差的问题，而提出了一种基于提示学习的组织病理图像多任务分类系统。
2、本专利技术为解决上述技术问题所采取的技术方案是：一种基于提示学习的组织病理图像多任务分类系统，所述系统包括图像获取模块、任务相关提示初始化模块、子图像补丁特征提取模块、任务相关性学习模块、任务共享知识表征模块、任务提示模块和任务相关知识表征模块，其中：
3、所述图像获取模块用于获取待分类的组织病理图像；
4、所述任务相关提示初始化模块用于对待分类组织病理图像的每个分类任务的名称进行编码，获得任务提示t’是分类任务的数量，d是对每个分类任务的名称进行编码得到的编码结果的维度，为实数；
5、所述子图像补丁特征提取模块用于提取待分类组织病理图像的特征向量
6、所述任务相关性学习模块用于对任务提示进行处理，得到处理后的特征
7、所述任务共享知识表征模块用于对特征向量进行处理，得到处理后的特征
8、所述任务提示模块用于根据和获得任务相关知识表征xcls，并将xcls拆分为各个分类任务对应的向量；
9、所述任务相关知识表征模块用于为每个分类任务分别设定一个分类器，每个分类器均包括线性层和relu激活函数；
10、并将各个分类任务对应的向量输入对应的分类器，得到对各个分类任务的预测结果。
11、进一步地，所述任务相关提示初始化模块进行编码采用的是预训练的clip模型。
12、进一步地，所述子图像补丁特征提取模块的工作过程为：
13、利用otsu方法提取待分类组织病理图像的前景组织区域，再通过格栅化方法将前景组织区域图像分割为若干个子图像补丁；
14、采用预训练的resnet或vit模型将各个子图像补丁分别编码为特征向量，再将各个子图像补丁对应的特征向量拼接成待分类组织病理图像的特征向量，将拼接成的特征向量记为n为分割成的子图像补丁的数量。
15、进一步地，所述任务相关性学习模块包括lt个单元，每个单元的工作过程为：
16、
17、
18、
19、其中，msa为多头自注意力，ln为层归一化，mlp为线性层，是第l个单元的输出，l＝0,…,lt-1。
20、进一步地，所述多头自注意力包括多个单头自注意力，多头自注意力的计算方法为：
21、对于多头自注意力的输入将分别投影到query、key和value空间，并进行归一化操作如下：
22、
23、
24、其中，k是key空间的投影并归一化结果，v是value空间的投影并归一化结果，q是query空间的投影并归一化结果；
25、分别将k、v和q在d维上分割为g个部分，则每个部分的维度d为d/h，对于k的任意一个部分k′，将k′在v上对应的部分记为v′，将k′在q上对应的部分记为q′，对k′、v′和q′进行单头自注意力计算，得到注意力权重：
26、
27、其中，a′为注意力权重，k′t为k′的转置，q′k′t为q′和k′t之间的点积，softmax(·)为softmax函数；
28、再根据a′计算
29、
30、其中，是k′、v′、q′部分对应的特征；
31、同理，对分割后的每个部分分别进行处理，对处理得到的各部分的特征进行合并，得到d维的特征
32、进一步地，所述任务共享知识表征模块包括lp个单元，每个单元的工作过程为：
33、
34、
35、
36、其中，msa为多头自注意力，ln为层归一化，mlp为线性层，是第l个单元的输出，l＝0,…,lp-1。
37、进一步地，所述任务提示模块的工作过程为：
38、
39、
40、
41、其中，mca为多头交叉注意力，ln为层归一化，mlp为线性层；
42、再将拆解为各个分类任务对应的向量，将第j个分类任务对应的向量记为
43、进一步地，所述多头交叉注意力包括h个单头交叉注意力，多头交叉注意力的计算方法为：
44、将投影到query空间，将投影到key和value空间，并进行归一化操作如下：
45、
46、
47、
48、其中，k是key空间的投影并归一化结果，v是value空间的投影并归一化结果，q是query空间的投影并归一化结果；
49、分别将k、v和q在d维上分割为h个部分，则每个部分的维度d为d/h，对于k的任意一个部分k″，将k″在v上对应的部分记为v″，将k″在q上对应的部分记为q″，对k″、v″和q″进行单头交叉注意力计算，得到注意力权重：
50、
51、其中，a″为注意力权重，k″t为k″的转置，q″k″t为q″和k″t之间的点积，softmax(·)为softmax函数；
52、再根据a″计算
53、
54、其中，是k″、v″、q″对应的特征；
55、同理，对分割后的每个部分分别进行处理，对处理得到的各部分的特征进行本文档来自技高网...
【技术保护点】
1.一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述系统包括图像获取模块、任务相关提示初始化模块、子图像补丁特征提取模块、任务相关性学习模块、任务共享知识表征模块、任务提示模块和任务相关知识表征模块，其中：
2.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述任务相关提示初始化模块进行编码采用的是预训练的CLIP模型。
3.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述子图像补丁特征提取模块的工作过程为：
4.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述任务相关性学习模块包括Lt个单元，每个单元的工作过程为：
5.根据权利要求4所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述多头自注意力包括多个单头自注意力，多头自注意力的计算方法为：
6.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述任务共享知识表征模块包括Lp个单元，每个单元的工作过程为：p>
7.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述任务提示模块的工作过程为：
8.根据权利要求7所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述多头交叉注意力包括h个单头交叉注意力，多头交叉注意力的计算方法为：
9.根据权利要求8所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述任务相关知识表征模块的工作过程为：
10.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述组织病理图像多任务分类系统的训练过程为：
...【技术特征摘要】
1.一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述系统包括图像获取模块、任务相关提示初始化模块、子图像补丁特征提取模块、任务相关性学习模块、任务共享知识表征模块、任务提示模块和任务相关知识表征模块，其中：
2.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述任务相关提示初始化模块进行编码采用的是预训练的clip模型。
3.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述子图像补丁特征提取模块的工作过程为：
4.根据权利要求1所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述任务相关性学习模块包括lt个单元，每个单元的工作过程为：
5.根据权利要求4所述的一种基于提示学习的组织病理图像多任务分类系统，其特征在于，所述多头自注...
【专利技术属性】
技术研发人员：王宽全，孙鹏重，骆功宁，王玮，董素宇，李向宇，李钦策，袁永峰，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。