【技术实现步骤摘要】
本专利技术属于图像识别,具体涉及一种任务适应关联学习的小样本学习方法。
技术介绍
1、随着深度学习在图像领域内的飞速发展,计算机对图像的识别已经接近甚至超越人类的表现。尽管深度学习已在目标识别、场景理解、语义分割等计算机视觉领域取得显著效果,但也存在一些关键瓶颈问题,比如现有深度学习模型严重依赖集中式大规模标注训练数据,当标注训练数据匮乏时,深度学习模型的泛化性会显著降低,导致其应用场景受限。与现阶段的深度学习模型不同,人类一般情况下只需少量数据就可以快速掌握新的目标概念,受此启发,研究人员提出了“小样本学习”概念,旨在探索如何在新的目标类别标注样本量极少的情况下,利用从已有样本中总结出的知识和经验来解决新问题的方法。
2、小样本学习方法,即在相对较少的训练样本下,提高测试准确率。具体的方法是通过clip模型(contrastive language-image pre-training,openai提出的一个大型多模态预训练模型,包含文本和图像编码器,定义正样本为同一类的图像文本对,负样本为除此之外的图像文本对,通过对比学
...【技术保护点】
1.一种任务适应关联学习的小样本学习方法,其特征在于,所述方法包括以下步骤:
2.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤S1-2中,针对不同的任务或不同的数据集,需要在模板一中指定该领域,以便LLM生成最贴合任务的提示词。
3.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤S1中,不仅利用任务特定的提示词,还充分利用原始的最朴素的CLIP提供的提示模板形成提示词;CLIP的提示词是从全局上将类别定位到嵌入空间的大概位置,而任务特定的提示词是更为精细的局部定位;所述步骤S1采
...【技术特征摘要】
1.一种任务适应关联学习的小样本学习方法,其特征在于,所述方法包括以下步骤:
2.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤s1-2中,针对不同的任务或不同的数据集,需要在模板一中指定该领域,以便llm生成最贴合任务的提示词。
3.根据权利要求1所述的一种任务适应关联学习的小样本学习方法,其特征在于,所述步骤s1中,不仅利用任务特定的提示词,还充分利用原始的最朴素的clip提供的提示模板形成提示词;clip的提示词是从全局上将类别定位到嵌入空间的大概位置,而任务特定的提示词是更为精细的局部定位;所述步骤s1采用两种提示词加权的方式共同预测测试样本的类别,即用clip...
【专利技术属性】
技术研发人员:杜少毅,刘宇颖,赵盛伟,张栋,田智强,郭昱成,
申请(专利权)人:西安交通大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。