一种跨模态聚类引导图像编码器的训练方法技术

技术编号:45031005 阅读:25 留言:0更新日期:2025-04-18 17:10
本发明专利技术涉及一种跨模态聚类引导图像编码器的训练方法,该方法将对比学习与聚类算法相结合,无缝利用医学图像和放射学文本的全局和局部特征。此方法促进了更为通用和鲁棒的医学视觉表示学习。将图像子区域和文本句子视为进行全局和局部对比学习的基本单元。全局图像和全局文本特征分别通过对编码器提取的局部图像和局部文本特征应用注意力池化得到,随后用于计算全局对比损失。一种跨模态聚类算法,利用通过跨模态注意力获得的局部图像‑文本特征来生成额外的负样本,这些负样本随后被用来计算局部对比损失。

【技术实现步骤摘要】

本专利技术涉及数据预处理方法,特别涉及一种跨模态聚类引导和对比学习的图像编码器的训练方法。


技术介绍

1、在自然图像领域,大规模标注数据集的使用显著推动了深度学习的发展,在视觉识别方面取得了显著成就。然而,在医学影像中,获得高质量的手动标注数据集是一个相当大的挑战,因为这需要经验丰富的医生进行注释,既耗时又昂贵。因此,深度学习在医学影像领域的进展受到了一定的限制。针对自然图像领域中标签数据集不足的问题,通常采用预训练方法,即模型首先在大规模自然图像数据集上进行预训练,然后将学到的一般图像表示迁移到下游任务,从而提升下游模型的收敛速度和泛化性能。但是,由于自然图像和医学图像之间的域差异,直接将在如imagenet这样的自然图像数据集上预训练的模型转移到下游医学影像任务时,往往产生次优结果。为了解决这个问题,一个主流的方法是利用自监督方法对大规模未标注医学图像数据集进行预训练。然而,这种方法仍然面临两个主要挑战:第一,可用于预训练的医学图像数据量远少于自然图像数据;第二,医学图像更强调图像内部的局部特征和细粒度信息,而不仅仅是全局信息。p>

2、为了应本文档来自技高网...

【技术保护点】

1.一种跨模态聚类引导图像编码器的训练方法,其特征在于:包括如下步骤:

2.如权利要求1所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述S2中获得局部图像特征和全局图像特征的步骤为:

3.如权利要求2所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述S2中获得局部文本特征和全局文本特征的步骤为:

4.如权利要求3所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述S3中计算的过程为:

5.如权利要求4所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述S3中计算的过程为:p>

6.如权利...

【技术特征摘要】

1.一种跨模态聚类引导图像编码器的训练方法,其特征在于:包括如下步骤:

2.如权利要求1所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述s2中获得局部图像特征和全局图像特征的步骤为:

3.如权利要求2所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述s2中获得局部文本特征和全局文本特征的步骤为:

4.如权利要求3所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述s3中计算的过程为:

5.如权利要求4所述的一种跨模态聚类引导图像编码器的训练方法,其特征在于:所述s3中计算的过程为:

6.如...

【专利技术属性】
技术研发人员:兰利彬李洪兴卢玲朱凌云夏遵辉李颜心
申请(专利权)人:重庆理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1