【技术实现步骤摘要】
本专利技术涉及计算机视觉人工智能，尤其涉及一种基于提示引导的零样本图像分类方法及系统。
技术介绍
1、目前，人工智能在图像特征提取到分类的端到端模型技术在计算机视觉和图像处理方向已经相当成熟，能够在大量带标签样本支持下获得高分类精度。特别地，当前广泛采用的resnet、vgg等在imagenet数据集上训练出的基于cnn的大型预训练图像模型，已为图像分类提供一种新范式一以它们为骨干网络，并对下游任务进行微调。尽管这些模型能在日常场景下能够出色地完成任务，但是，在一些特定的场景，比如人工标注数据开销昂贵、不同类别样本数量服从长尾分布数量不平衡、低资源领域标注数据稀少且标注数据需要专业知识等极端的场景之下，传统的人工智能模型往往无法发挥作用。另外，训练好的模型只能为训练过程中见过的类别进行分类，在遇到一些未见过的类时，就无法分类。这些问题为图像分类领域带来了一系列挑战。
2、为了应对这种挑战，面向零样本学习的图像分类工作被广泛研究并不断地发展。零样本学习主要是模拟人脑的认知过程，模拟从可见类到不可见类的知识迁移来从可见类中学习到...
【技术保护点】
1.一种基于提示引导的零样本图像分类方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述根据全局语义表示、实例提示表示和实例视觉表示计算得到增强视觉表示包括：
3.根据权利要求2所述的方法，其特征在于，所述将融合了语义信息的增强视觉表示投影至语义属性空间，计算得到与所有类别的属性的相似度分数包括：
4.根据权利要求3所述的方法，其特征在于，所述根据语义属性一致性损失、提示属性一致性损失、交叉熵损失和去偏损失计算分类模型优化的总损失包括：
5.根据权利要求4所述的方法，其特征在于，所述根...
【技术特征摘要】
1.一种基于提示引导的零样本图像分类方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述根据全局语义表示、实例提示表示和实例视觉表示计算得到增强视觉表示包括：
3.根据权利要求2所述的方法，其特征在于，所述将融合了语义信息的增强视觉表示投影至语义属性空间，计算得到与所有类别的属性的相似度分数包括：
4.根据权利要求3所述的方法，其特征在于，所述根据语义属性一致性损失、提示属性一致性损失、交叉熵损失和去偏损失计算分类模型优化的总损失包括：
5.根据权利要求4所述的方法，其特征在于，所述根据优化后的分类模型计算所给图像与不可见类别的属性的相似度分数，输出图像对应的预测标签包括：
6.一...
【专利技术属性】
技术研发人员：蒋成睿，黄海平，朱桂祥，常舒予，王睿，王凯，施恩译，王一鸣，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。