一种用于组合零次学习的视觉属性表征学习方法技术

本发明专利技术公开了一种用于组合零次学习的视觉属性表征学习方法，包括以下步骤：S1，将训练集图片输入LVAR‑CZSL的视觉骨干网络提取图片全局视觉特征，然后通过视觉属性表征模块（VARM）进一步提取更细致的属性和对象视觉特征；S2，将文本信息通过预训练的词嵌入模型转化为词向量，输入LVAR‑CZSL模型中的联系性学习模块（CLM），得到具有全局依赖性的属性和对象文本特征；S3，通过LVAR‑CZSL模型中的联合评分函数（JSF）结合视觉特征和文本特征，缩小图像和文本特征之间的距离，联合损失函数（JLF）优化VARM和CLM的学习过程，得到训练完毕的LVAR‑CZSL模型；S4，将待预测测的图像或者待检索的文本输入LVAR‑CZSL模型，得到测试结果。

【技术实现步骤摘要】

本专利技术涉及视觉，特别是涉及一种用于组合零次学习的视觉属性表征学习方法。

技术介绍

1、组合零次学习（czsl）能应用于场景理解、视觉-语言表示学习和领域适应等场景。czsl旨在训练模型从可见组合中学习属性和对象的知识，并将这些知识泛化到未见组合。czsl是属于zero-shot learning（zsl）零次学习范畴下的一个扩展任务，克服zsl中只通过属性知识辅助类别的泛化，而没有考虑属性泛化的限制问题。同时，czsl与传统监督式图像分类任务类似，因为需要模型学习数据集中的所有属性和对象知识，以达到从可见组合推广到未见组合的目的。

2、目前，尽管很多工作尝试了czsl的研究并取得实质性的进展，但视觉属性概念模糊和类间联系性不足这个两个关键问题没有得到充分的研究。

技术实现思路

1、本专利技术的目的是提供一种用于组合零次学习的视觉属性表征学习方法，以解决上述现有技术中存在的问题。本专利技术特别创新地提出了一种用于组合零次学习的视觉属性表征学习方法，有效地解决了czsl任务中视觉属性概念模糊和类间本文档来自技高网...

【技术保护点】

1.一种用于组合零次学习的视觉属性表征学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，所采用骨干网络为Wave-MLP模型。

3.根据权利要求1所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，步骤S1包括：

4.根据权利要求3所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，步骤S1-2中，属性视觉特征和对象视觉特征的表达式为：

5.根据权利要求1所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，步骤S2中，将文本信息输入联系性学习模...

【技术特征摘要】

1.一种用于组合零次学习的视觉属性表征学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，所采用骨干网络为wave-mlp模型。

3.根据权利要求1所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，步骤s1包括：

4.根据权利要求3所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，步骤s1-2中，属性视觉特征和对象视觉特征的表达式为：

5.根据权利要求1所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，步骤s2中，将文本信息输入联系性学习模块clm学习包括以下步骤：

6.根据权利要求1所述的一种用于组合零次学习的视觉属性表征学习方法，其特征在于，步骤s3中，通过lvar-c...

【专利技术属性】
技术研发人员：杨静，麻兴江，阮小利，李小勇，唐向红，张磊，陆见光，
申请(专利权)人：贵州大学，
类型：发明
国别省市：