基于结构化关联语义嵌入的零示例学习方法技术

本发明专利技术提供了一种基于结构化关联语义嵌入的零示例学习方法，所述方法通过提取输入图像的属性特征构建语义嵌入空间，在语义嵌入空间挖掘语义嵌入关联关系并构建局部线性相关的图结构，再利用语义嵌入空间的结构化限制约束已知类别的分类模型，最终合成未见类别的模型并实现未训练样本类别的有效预测。本发明专利技术在挖掘类别相近的语义嵌入信息的同时保留语义空间的全局结构，可以获取有效的语义表示并有效提高未见类别图像样本的类别预测准确率。

Zero-Example Learning Method Based on Structured Association Semantic Embedding

The invention provides a zero-instance learning method based on structured association semantic embedding. The method constructs a semantic embedding space by extracting attribute features of input images, mines semantic embedding association relations in the semantic embedding space and constructs a local linear correlation graph structure, and then uses the structured restriction of the semantic embedding space to constrain the classification model of known categories, and finally synthesizes them. No class model was found and effective prediction of untrained sample class was realized. The method retains the global structure of the semantic space while mining the semantic embedded information of similar categories, and can obtain effective semantic representation and effectively improve the accuracy of category prediction of image samples without categories.

【技术实现步骤摘要】
基于结构化关联语义嵌入的零示例学习方法
本专利技术涉及计算机视觉
，具体地，涉及基于结构化关联语义嵌入的零示例学习方法。
技术介绍
在计算机视觉领域，零示例学习是一个非常重要且具有挑战性的问题。现阶段监督学习方法已在多个领域实现了显著成就，然而监督学习的表现高度依赖于大规模的已标注数据。相反地，零示例学习可从已训练类别的样本中获取知识，迁移到未训练类别的样本并实现未训练类别样本的区分。为了实现这一目标，已训练类别样本与未训练类别样本间的知识迁移以及对未训练类别样本进行有效描述至关重要。经过对现有技术的文献检索发现，L.C.H,N.Hannes与H.Stefan,在2014年的《IEEETransactionsonPatternAnalysisandMachineIntelligence》会议上发表的“Attribute-basedclassificationforzero-shotvisualobjectcategorization”一文中提出了一种学习属性分类器的方法，即为每个属性学习一个分类器，通过判别测试数据的属性分类器输出区分未见类别的样本。然而，在建立分类器的过程中会本文档来自技高网...

【技术保护点】
1.一种基于结构化关联语义嵌入的零示例学习方法，其特征在于，包括：步骤1：提取已知类别图像的属性特征；步骤2：根据所述属性特征构建语义嵌入空间，以及构建已知类别样本的分类模型构成的模型空间；步骤3：在所述语义嵌入空间和所述模型空间中引入R个伪类别，作为所述语义嵌入空间和所述模型空间的关系迁移载体；步骤4：获取已知类别图像的真实类别与伪类别之间的尺度化平方欧式距离，并将所述尺度化平方欧式距离作为连接权重；步骤5：在模型空间中，根据所述连接权重，重新构建语义嵌入空间的图结构；步骤6：获取每个已知类别图像的真实类别的连接权重在预设范围内的Rn个伪类别；步骤7：构建用于使得所述语义嵌入空间中的每个语义...

【技术特征摘要】
1.一种基于结构化关联语义嵌入的零示例学习方法，其特征在于，包括：步骤1：提取已知类别图像的属性特征；步骤2：根据所述属性特征构建语义嵌入空间，以及构建已知类别样本的分类模型构成的模型空间；步骤3：在所述语义嵌入空间和所述模型空间中引入R个伪类别，作为所述语义嵌入空间和所述模型空间的关系迁移载体；步骤4：获取已知类别图像的真实类别与伪类别之间的尺度化平方欧式距离，并将所述尺度化平方欧式距离作为连接权重；步骤5：在模型空间中，根据所述连接权重，重新构建语义嵌入空间的图结构；步骤6：获取每个已知类别图像的真实类别的连接权重在预设范围内的Rn个伪类别；步骤7：构建用于使得所述语义嵌入空间中的每个语义嵌入由Rn个伪类别合成的目标函数；步骤8：构建分类模型，其中，所述分类模型由邻接的Rn个伪类别合成得到；步骤9：根据所述目标函数，学习所述语义嵌入空间和模型空间的R个伪类别、Rn个伪类别，以使得分类模型的损失最小化；步骤10：提取未知类别图像的属性特征，将所述属性特征用Rn个伪类别表征，得到所述未知类别图像的图结构；步骤11：将所述未知类别图像的图结构从所述语义嵌入空间投影到模型空间，得到投影后的伪类别，根据投影后的伪类别合成所述未知类别图像的分类模型。2.根据权利要求1所述的基于结构化关联语义嵌入的零示例学习方法，其特征在于，所述步骤4包括：假设训练样本中，已知类别数为S，未知类别数为U，伪类别数为R；定义每个类别i的坐标为si(i＝1,2,…,S+U)，预设训练样本的所有类别在语义嵌入空间的同一个流形上，借助引入的伪类别pm(m＝1,2,…,R)保留训练样本属性间的相关关系，预设每个语义嵌入及邻近的Rn个伪类别在语义嵌入空间流形的局部线性块上；将尺度化平方欧式距离定义为相似性度量；每个si与邻近的伪类别pm之间的连接权重的计算公式如下：其中，si表示类别i的语义嵌入，其近邻的伪类别共有Rn个；pm表示si最近邻的Rn个伪类别中的一个；wmi表示每个si与其近邻的伪类别pm之间的连接权重，wmi的值越大，表示伪类别pm与语义嵌入si之间的相似性越大；根据每个语义嵌入均对应有近邻的Rn个伪类别，构建语义嵌入空间的类别关联图；其中，所述类别关联图的顶点集合包含语义嵌入的属性和引入的伪类别，边集合包含属性与伪类别之间连结的边；每个伪...

【专利技术属性】
技术研发人员：熊红凯，陈宇，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31