基于双模态语义特征任务驱动学习的少样本开集识别方法技术

本发明专利技术公开了一种基于双模态语义特征任务驱动学习的少样本开集识别方法，首先使用预训练模块提取图像中的视觉与文本双模态特征，并且相加得到融合特征；再使用预训练模块对辅助数据集进行特征提取，将同一类别的视觉、文本以及融合特征进行平均来额外计算特征的基类质心；然后对学习到的参考特征嵌入以及辅助数据集的原型特征质心通过任务感知的相对位移特征模块生成最终分类特征；最后将最终特征向量作为特征输入，进行非共享参数的联合训练以获得最佳分类分数。本发明专利技术能够同时获取图像的视觉特征和类别标签的文本特征，并在少样本开集识别中使用双模态的语义特征。

【技术实现步骤摘要】

本专利技术属于图像处理，具体涉及一种基于双模态语义特征任务驱动学习的少样本开集识别方法。

技术介绍

1、开放集识别(open set recognition，osr)是依据真实场景提出的研究方向，与传统的深度学习任务不同的是，开集识别要求模型在没有任何辅助信息时，不仅能分类见过的类别，还能准确识别新出现的类别。这意味着建立模型的过程中人们不需要花费大量的时间和金钱收集标记样本，打破了传统封闭环境下识别的限制。而且，osr问题更符合在真实场景中有新类不断出现的现实情况。为了更好的标识开集识别任务中识别类别属性，研究者将osr问题中的样本划分为四类：已知辅助信息的已知类(known known classes，kkcs)、无关信息的已知类(known unknown classes，kucs)、已知辅助信息的未知类(unknown known classes，ukcs)以及未知辅助信息的未知类(unknown unknown classes，uucs)，这种识别类别的划分对于处理开集识别问题中的不确定性非常重要。

2、开集识别任务与闭集识别任务的区本文档来自技高网...

【技术保护点】

1.一种基于双模态语义特征任务驱动学习的少样本开集识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于双模态语义特征任务驱动学习的少样本开集识别方法，其特征在于，所述步骤1中，将图像输入到以CLIP的ViT-B-32为骨干网络的预训练模块；所述预训练模块包括两个编码器模块：图像编码器和文本编码器；两个编码器模块用于从每个样本的辅助数据集中分别提取视觉特征和文本特征，再对视觉特征与文本特征进行相加得到融合特征。

3.根据权利要求1所述的一种基于双模态语义特征任务驱动学习的少样本开集识别方法，所述B＝512。

4.根据权利要求1所述的一种...

【技术特征摘要】

1.一种基于双模态语义特征任务驱动学习的少样本开集识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于双模态语义特征任务驱动学习的少样本开集识别方法，其特征在于，所述步骤1中，将图像输入到以clip的vit-b-32为骨干网络的预训练模块；所述预训练模块包括两个编码器模块：图像编码器和文本编码器；两个编码器模块用于从每个样...

【专利技术属性】
技术研发人员：张磊，魏巍，张艳宁，王珏，王昊宇，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：