【技术实现步骤摘要】
本专利技术涉及一种基于clip的医学图像的细粒度分类方法，属于计算机视觉。
技术介绍
1、医学影像细粒度图像分类是医学影像分析领域中的核心任务之一。细粒度图像分类旨在识别和分类影像中的微小结构或特征，这些特征对不同疾病的诊断和预后至关重要。例如，在肿瘤诊断中，医生需要精确区分肿瘤的类型、分级以及其在不同组织中的定位。有些疾病的诊断可能取决于影像中的微小细节，如病变形态、纹理和边界等。传统图像分类方法可能无法充分捕捉这些细微特征，因此利用深度学习技术来进行医学影像细粒度图像分类变得至关重要。
2、目前，医学影像细粒度图像分类技术仍面临数项关键挑战：
3、第一，标注成本高昂。医学影像细粒度分类的数据集标注需要专业人士进行判断和标记，这耗费大量人力和物力资源，成本相当高昂。
4、第二，模型泛化能力差。医学影像的复杂性与多样性限制了模型的泛化能力。在处理来自不同医疗设备、扫描参数或部位的影像时，模型可能表现不佳，因此需要更强的泛化性能。
5、第三，类间差异性小和类内差异性大。数据集中数据通常都有类...
【技术保护点】
1.一种基于CLIP的医学图像细粒度分类方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S1中，所述预处理包括对图像进行裁切旋转操作，并将图片大小和维度进行统一。
3.如权利要求1所述的基于CLIP的医学图像细粒度分类方法，其特征在于，所述S3中：在进行全局特征提取时，运用ResNet做为backbone，对全局特征进行提取，将大小为H×W×C的图片分别送入大小为H/8 × W/8 × D、H/16 ×W/16 × 2D、H/32 × W/32 × 4D的卷积块中从而得到不同深度的特...
【技术特征摘要】
1.一种基于clip的医学图像细粒度分类方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s1中，所述预处理包括对图像进行裁切旋转操作，并将图片大小和维度进行统一。
3.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s3中：在进行全局特征提取时，运用resnet做为backbone，对全局特征进行提取，将大小为h×w×c的图片分别送入大小为h/8 × w/8 × d、h/16 ×w/16 × 2d、h/32 × w/32 × 4d的卷积块中从而得到不同深度的特征块，分别记为，，s表示采用了几个深度的卷积；
4.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s4中：引入一个基于标签平滑的软监督方法，通过调整一个控制因子α来控制新目标标签真实类别的大小，α的大小在0-1之间；使课程监督与浅层到深层的特征编码器相结合，从而实现从易到难的训练目标； t 代表标签向量 y 的元素索引；在公式（1）中，t 被用来引用标签向量 y 的特定元素：
5.如权利要求1所述的基于clip的医学图像细粒度分类方法，其特征在于，所述s5中：backbone的最后一个特征提取块后连接一个fpn模块，fpn模块用来生成不同空间大小的分数图金字塔；分数图上的每个分数元素都对应着一个固定大小的预定义图像补丁；这些大小不一...
【专利技术属性】
技术研发人员：蔡青，张朦幻，李帅衡，冯春梅，刘治，董军宇，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。