【技术实现步骤摘要】
本专利技术涉及一种基于clip的医学图像的细粒度分类方法，属于计算机视觉。
技术介绍
1、医学影像细粒度图像分类是医学影像分析领域中的核心任务之一。细粒度图像分类旨在识别和分类影像中的微小结构或特征，这些特征对不同疾病的诊断和预后至关重要。例如，在肿瘤诊断中，医生需要精确区分肿瘤的类型、分级以及其在不同组织中的定位。有些疾病的诊断可能取决于影像中的微小细节，如病变形态、纹理和边界等。传统图像分类方法可能无法充分捕捉这些细微特征，因此利用深度学习技术来进行医学影像细粒度图像分类变得至关重要。
2、目前，医学影像细粒度图像分类技术仍面临数项关键挑战：
3、第一，标注成本高昂。医学影像细粒度分类的数据集标注需要专业人士进行判断和标记，这耗费大量人力和物力资源，成本相当高昂。
4、第二，模型泛化能力差。医学影像的复杂性与多样性限制了模型的泛化能力。在处理来自不同医疗设备、扫描参数或部位的影像时，模型可能表现不佳，因此需要更强的泛化性能。
5、第三，类间差异性小和类内差异性大。数据集中数据通常都有类间差异性小和类内差异性大的问题。在医学影像领域内，由于医学影像的特殊性，使得这个问题被放大。
6、第四，需求个性化和实时性。与一般的图像细粒度分类相比，患者的个体差异和疾病的发展动态性需要对诊断和治疗进行个性化调整，而一般化的分类模型可能无法满足这种个性化需求和实时性要求。
7、第五，图片的位姿往往是混乱的，无法对齐的。由于医学影像的拍照姿势不一定是确定的，因此得到的图片数
技术实现思路
1、为解决医学影像内的细粒度分类遇到的问题，本专利技术的目的是提供一种基于clip的医学图像的细粒度分类方法，以弥补现有技术的不足。
2、为实现上述专利技术目的，本专利技术采取的具体技术方案如下所示：
3、一种基于clip的医学图像细粒度分类方法，包括如下步骤：
4、s1：采集医学影像类的细粒度图像数据，进行预处理，并划分训练集和测试集；
5、s2：首先基于clip（图像-文本对预训练模型）对于细粒度图像数据进行粗分类，得到粗分类后的图像数据集；
6、s3：再基于resnet（残差网络模型）对粗分类后的图像数据集进行处理，进行细粒度分类；
7、s4: 引入一种基于标签平滑的软监督的课程训练策略；
8、s5：通过fpn模块生成不同空间大小的得分图金字塔；
9、s6：根据得分图的高低，将对应的局部区域从输入图片上裁剪下来并依次送入到具有共享权重的主干网络中；
10、s7：提出对比特征正则化的方式，对全局特征和局部特征进行对比学习，以此来过滤掉全局特征中的冗余信息；
11、s8：提出无监督图匹配方法，以统一的顺序对提取到的多个局部特征进行排序，即对局部特征进行对齐；
12、s9：通过训练集对clip和resnet进行训练，分别得到训练好的模型之后，再进行测试，输出分类结果。
13、进一步地，所述s1中，所述预处理包括对图像进行裁切旋转等操作，并将图片大小和维度进行统一。
14、进一步地，所述s3中：在进行全局特征提取时，运用resnet做为backbone，对全局特征进行提取，将大小为h×w×c的图片分别送入大小为h/8 × w/8 × d、h/16 ×w/16× 2d、h/32 × w/32 × 4d的卷积块中从而得到不同深度的特征块，分别记为, ，s表示采用了几个深度的卷积；在得到不同深度的特征块后，统一进入到全局最大池化层gmp中，来获取不同深度对应的全局图像向量表示，得到的图像表示会进入到mlp层中来获取分类预测，每张图片会有s+1个分类预测，然后在后续处理中将这s+1个分类预测整合起来。
15、进一步地，所述s4中：引入一个基于标签平滑的软监督方法，通过调整一个控制因子α来控制新目标标签真实类别的大小，α的大小在0-1之间；使课程监督与浅层到深层的特征编码器相结合，从而实现从易到难的训练目标； t 代表标签向量 y 的元素索引；在公式（1）中，t 被用来引用标签向量 y 的特定元素：
16、；
17、在训练期间，对来自不同层的表示或其组合的预测 {} 使用不同的标签进行监督，其损失函数见公式（2），该公式表示在第s个子网络中使用标签平滑的交叉熵损失，α(s) 是一个在[0,1]之间的平滑因子，y 是真实的类别标签：
18、；
19、其中表示真实标签，表示平滑的交叉熵损失，由于有s+1个预测，因此每个图像的整体分类损失函数写成：
20、；
21、进一步地，所述s5中：backbone的最后一个特征提取块后连接一个fpn模块，fpn模块可以用来生成不同空间大小的分数图金字塔；分数图上的每个分数元素都对应着一个固定大小的预定义图像补丁；这些大小不一的补丁与其他补丁重叠。
22、进一步地，所述s6具体为：
23、根据得分金字塔得到n个最高分，应用非极大值抑制（nms）方法来消除具有大的交并比（iou）的部分，在目标检测或分割任务中减少重复的预测，从而提高模型性能；之后通过由高到低的分数，来选择和这些分数所对应的区域，并将这些区域从输入的图像中裁剪出来，这些局部区域是包含着具有检测到的显著区域的；这些裁剪出来的部分通过与全局对象表示之间的分布差异来正则化整个对象表示，从而提高对象表示，从而更好地实现对于特征的提取，因为有n个最高分，所以能获得n个有显著细节的局部区域，之后把这n个区域都裁剪成224×224的大小，并输入到具有共享权重的backbone中；
24、将局部的特征定义为：，n表示的是第几个分数对应的图像；第n部分的分类损失函数为：
25、；
26、总的局部分类损失函数为：
27、；
28、给定局部索引n和n’，如果，则索引为n的局部块应该比索引为n’的局部快有更高的分数；
29、；
30、如果n局部的分数高，那为1，反之，为0，如下所示：
31、；
32、上述函数的设计以提高局部位置检测的可靠性。
33、进一步地，所述s7中：提出一种特征正则化，以对比学习的方式约束对象表示学习；给定全局图像向量表示，和局部向量表示，用对比损失的方法对每一个阶段的向量表示进行正则化，损失函数如下所示：
34、；
35、是kullback-leibler散度函数（kl散度），kl散度是用来比较两个概率分布的接近程度；是一个待优化的近似函数，利用两个mlp对齐进行建模。通过计算正则化损失，可以强制对象表示学习分支专注于来自特定区域的判别细节。
36、进一步地，所述s8中：按照局部部分的本文档来自技高网...
【技术保护点】
1.一种基于CLIP的医学图像细粒度分类方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S1中，所述预处理包括对图像进行裁切旋转操作，并将图片大小和维度进行统一。
3.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S3中：在进行全局特征提取时，运用ResNet做为backbone，对全局特征进行提取，将大小为H×W×C的图片分别送入大小为H/8 × W/8 × D、H/16 ×W/16 × 2D、H/32 × W/32 × 4D的卷积块中从而得到不同深度的特征块，分别记为，，S表示采用了几个深度的卷积；
4.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S4中：引入一个基于标签平滑的软监督方法，通过调整一个控制因子α来控制新目标标签真实类别的大小，α的大小在0-1之间；使课程监督与浅层到深层的特征编码器相结合，从而实现从易到难的训练目标； t 代表标签向量 y 的元素索引；在公式（1）中，t 被用来引用标签向量 y 的特定元素：p>
5.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S5中：Backbone的最后一个特征提取块后连接一个FPN模块，FPN模块用来生成不同空间大小的分数图金字塔；分数图上的每个分数元素都对应着一个固定大小的预定义图像补丁；这些大小不一的补丁与其他补丁重叠。
6.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S6具体为：根据得分金字塔得到N个最高分，应用非极大值抑制NMS方法来消除具有大的交并比IoU的部分，在目标检测或分割任务中减少重复的预测，从而提高模型性能；之后通过由高到低的分数，来选择和这些分数所对应的区域，并将这些区域从输入的图像中裁剪出来，这些局部区域是包含着具有检测到的显著区域的；这些裁剪出来的部分通过与全局对象表示之间的分布差异来正则化整个对象表示；因为有N个最高分，所以能获得N个有显著细节的局部区域，之后把这N个区域都裁剪成224×224的大小，并输入到具有共享权重的backbone中；
7.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S7中：提出一种特征正则化，以对比学习的方式约束对象表示学习；给定全局图像向量表示，和局部向量表示，用对比损失的方法对每一个阶段的向量表示进行正则化，损失函数如下所示：
8.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S8中：按照局部部分的关联矩阵对局部部分进行重排，用重排好的局部特征对全局特征进行正则化；局部部分的关联矩阵，通过维护一个相关矩阵来对局部部分之间的相关关系做出联系：
9.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述的S9中，训练过程中确定最终的损失函数为：
...【技术特征摘要】
1.一种基于clip的医学图像细粒度分类方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s1中，所述预处理包括对图像进行裁切旋转操作，并将图片大小和维度进行统一。
3.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s3中：在进行全局特征提取时，运用resnet做为backbone，对全局特征进行提取，将大小为h×w×c的图片分别送入大小为h/8 × w/8 × d、h/16 ×w/16 × 2d、h/32 × w/32 × 4d的卷积块中从而得到不同深度的特征块，分别记为，，s表示采用了几个深度的卷积；
4.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s4中：引入一个基于标签平滑的软监督方法，通过调整一个控制因子α来控制新目标标签真实类别的大小，α的大小在0-1之间；使课程监督与浅层到深层的特征编码器相结合，从而实现从易到难的训练目标； t 代表标签向量 y 的元素索引；在公式（1）中，t 被用来引用标签向量 y 的特定元素：
5.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s5中：backbone的最后一个特征提取块后连接一个fpn模块，fpn模块用来生成不同空间大小的分数图金字塔；分数图上的每个分数元素都对应着一个固定大小的预定义图像补丁；这些大小不一...
【专利技术属性】
技术研发人员：蔡青，张朦幻，李帅衡，冯春梅，刘治，董军宇，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。