一种任务适应关联学习的小样本学习方法技术

技术编号:43611761 阅读:23 留言:0更新日期:2024-12-11 14:56
本发明专利技术属于图像识别技术领域,涉及一种任务适应关联学习的小样本学习方法,包括:S1、利用任务特定的提示词,辅助原有的提示;S2、利用对比学习增强训练特征的判别性;S3、使用多样性的图像增强手段,增强图像的对比度;本发明专利技术通过自然语言的丰富描述强化了模型的泛化能力,使CLIP即便面对前所未遇的类别或复杂概念,也能游刃有余。因此,本发明专利技术方法不仅减轻了对大规模标注数据集的依赖,还提高了模型在小样本甚至零样本情况下的学习能力,增强了模型面对新环境的适应性和泛化能力,本发明专利技术极大地简化了模型的部署流程,使其成为解决图像识别和描述任务中一系列挑战的强有力工具。

【技术实现步骤摘要】

本专利技术属于图像识别,具体涉及一种任务适应关联学习的小样本学习方法


技术介绍

1、随着深度学习在图像领域内的飞速发展,计算机对图像的识别已经接近甚至超越人类的表现。尽管深度学习已在目标识别、场景理解、语义分割等计算机视觉领域取得显著效果,但也存在一些关键瓶颈问题,比如现有深度学习模型严重依赖集中式大规模标注训练数据,当标注训练数据匮乏时,深度学习模型的泛化性会显著降低,导致其应用场景受限。与现阶段的深度学习模型不同,人类一般情况下只需少量数据就可以快速掌握新的目标概念,受此启发,研究人员提出了“小样本学习”概念,旨在探索如何在新的目标类别标注样本量极少的情况下,利用从已有样本中总结出的知识和经验来解决新问题的方法。

2、小样本学习方法,即在相对较少的训练样本下,提高测试准确率。具体的方法是通过clip模型(contrastive language-image pre-training,openai提出的一个大型多模态预训练模型,包含文本和图像编码器,定义正样本为同一类的图像文本对,负样本为除此之外的图像文本对,通过对比学习的方式学习图像和文本文档来自技高网...

【技术保护点】

1.一种任务适应关联学习的小样本学习方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤S1-2中,针对不同的任务或不同的数据集,需要在模板一中指定该领域,以便LLM生成最贴合任务的提示词。

3.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤S1中,不仅利用任务特定的提示词,还充分利用原始的最朴素的CLIP提供的提示模板形成提示词;CLIP的提示词是从全局上将类别定位到嵌入空间的大概位置,而任务特定的提示词是更为精细的局部定位;所述步骤S1采用两种提示词加权的方...

【技术特征摘要】

1.一种任务适应关联学习的小样本学习方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤s1-2中,针对不同的任务或不同的数据集,需要在模板一中指定该领域,以便llm生成最贴合任务的提示词。

3.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤s1中,不仅利用任务特定的提示词,还充分利用原始的最朴素的clip提供的提示模板形成提示词;clip的提示词是从全局上将类别定位到嵌入空间的大概位置,而任务特定的提示词是更为精细的局部定位;所述步骤s1采用两种提示词加权的方式共同预测测试样本的类别,即用clip...

【专利技术属性】
技术研发人员:杜少毅刘宇颖赵盛伟张栋田智强郭昱成
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1