一种标记与语义自编码融合的零样本图像分类方法技术

本发明专利技术公开的一种标记与语义自编码融合的零样本图像分类方法，具体按照以下步骤实施：图像到语义的自编码映射求解，获得图像到语义的映射矩阵；图像到标记的自编码映射求解，获得图像到标记的映射矩阵；根据图像到语义的映射矩阵、图像到标记的映射矩阵求解图像标记融合系数；根据图像标记融合系数对零样本图像标记估计，根据估计结果进行分类标记。不仅考虑语义的自编码映射，而且考虑标记的自编码映射。将各个信息域(语义和标记)的映射变换进行标记融合，进一步优化以上多重映射关系，能够更加准确的进行零样本图像分类和识别。

【技术实现步骤摘要】
一种标记与语义自编码融合的零样本图像分类方法
本专利技术属于零样本图像分类
，具体涉及一种标记与语义自编码融合的零样本图像分类方法。
技术介绍
深度学习在传统的训练测试模式下对图像目标识别取得了突破性进展。在某些限定条件下，依靠对大规模的标记数据的学习，一定程度已经超越人的判别能力。在实际情形中，由于物种本身稀少或标注样本费时费力，使得获取大量的标记样本的成本和代价较大。甚至很多时候没有任何关于待识别种类的图像样本，这就是零样图像识别问题。在零样本分类问题中，已知的信息：可见类别的图像样本；所有类别(可见和未可见类别)的语义信息。不可知的信息：未可见类别和其图像样本。本专利技术有别于传统方法仅考虑不同信息域的单个映射，而是通过图像和语义映射关系、图像和类别映射关系与各自结构的融合，对未可见类图像样本进行分类。为了建模图像、语义和标记的动态交互关系，当前方法思路是利用线性或非线性将视觉映射到语义、或将语义映射到视觉、或视觉语义映射到共同空间中，以此建立相关性，获得为可见类别的识别。但是视觉、语义和标记的分布结构和描述方式造成本文档来自技高网...

【技术保护点】
1.一种标记与语义自编码融合的零样本图像分类方法，其特征在于，具体按照以下步骤实施：/n步骤1、图像到语义的自编码映射求解，获得图像到语义的映射矩阵；/n步骤2、图像到标记的自编码映射求解，获得图像到标记的映射矩阵；/n步骤3、根据图像到语义的映射矩阵、图像到标记的映射矩阵求解图像标记融合系数；/n步骤4、根据图像标记融合系数对零样本图像标记估计，根据估计结果进行分类标记。/n

【技术特征摘要】
1.一种标记与语义自编码融合的零样本图像分类方法，其特征在于，具体按照以下步骤实施：
步骤1、图像到语义的自编码映射求解，获得图像到语义的映射矩阵；
步骤2、图像到标记的自编码映射求解，获得图像到标记的映射矩阵；
步骤3、根据图像到语义的映射矩阵、图像到标记的映射矩阵求解图像标记融合系数；
步骤4、根据图像标记融合系数对零样本图像标记估计，根据估计结果进行分类标记。


2.根据权利要求1所述一种标记与语义自编码融合的零样本图像分类方法，其特征在于，步骤1具体过程为：
步骤1.1、取n个图像样本，对n个图像样本提取可见类别的图像特征矩阵和可见类别的语义嵌入特征矩阵
步骤1.2、根据单层的线性自编码器原理可得：



其中，d1为图像特征维度，d2为语义嵌入特征维度，λ1为折中参数取为1，为图像到语义的映射矩阵；
步骤1.3、根据式(1)进而可得：
BA1+A1C＝D(2)
其中，B＝SST，C＝λ1XXT，D＝(1+λ1)SXT,通过matlab中的函数sylvester优化求解图像到语义的映射矩阵A1。


3.根据权利要求2所述一种标记与语义自编码融合的零样本图像分类方法，其特征在于，步骤2具体过程为：
步骤2.1、对n个图像样本提取可见类别的标记矩阵
步骤2.2、根据单层的线性自编码器原理可得：



其中，d3为标记维度，λ2为折中参数取10，为图像到标记的映射矩阵；
步骤2.3、根据式(...

【专利技术属性】
技术研发人员：蔺广逢，范引娣，缪亚林，陈万军，张二虎，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61