【技术实现步骤摘要】
本专利技术涉及的是一种图像分类领域的技术，具体是一种基于多模态线性规划的小样本分类方法。
技术介绍
1、小样本图像分类是计算机视觉中的重要研究内容。该方法致力于弥补机器学习和人类学习的差距。而现有的方法大多只使用单模态特征来实现。由于样本数据极度稀缺，单模态的视觉特征无法提供足够的信息，而语义模态可提供额外的先验知识，从而提高分类准确率。
技术实现思路
1、本专利技术针对现有技术无法消除新类样本所提取的特征中存在的跨类别偏差以及基于少量样本的单一模态信息所学得的类别分布不够准确的问题，提出一种基于多模态线性规划的小样本分类方法，通过自编码器来预测查询样本的语义特征，从而解决支撑样本和查询样本的信息不平衡问题；通过多模态的特征修正机制减小类别表征的偏差；采用了交替优化的方式优化特征表示和分类器权重。
2、本专利技术是通过以下技术方案实现的：
3、本专利技术涉及一种基于多模态线性规划的小样本分类方法，通过构造并训练用来预测无标签样本的语义特征的视觉到语义的自编码器，将无标签样本的聚类中心映射到语义空间后，通过线性规划模型在语义空间中使用类别语义特征作为基准语义特征，为无标签样本聚类中心分配标签以匹配初始原型和聚类中心并得到修正后的类别原型，经多模态特征组合后基于交替最小二乘(als)的改进优化策略对来支撑集样本以及查询集样本的特征向量和权重矩阵交替优化，迭代至预测分数的相对残差不再变化，得到减轻特征表示偏差以及分类器权重偏差的结果。
4、所述的自编码
5、所述的基准语义特征，通过语言模型glove从类别标签中提取得到。
6、所述的无标签样本的聚类中心，通过对小样本任务中的查询集的样本特征进行聚类得到。
7、所述的初始原型，通过对小样本任务中的支撑集中每个类的样本特征求平均得到。
8、所述的修正是指：将初始原型和聚类中心进行匹配，对配对的聚类中心和初始原型加权求和得到修正的类别原型。
9、所述的多模态特征组合是指：将当前小样本任务中所有样本的视觉特征和语义特征进行拼接，其中支撑集样本的语义特征为对应类别的标签词向量，即类别语义特征，查询集样本的语义特征由训练后自编码器根据查询集的视觉特征预测得到。
10、所述的训练集、测试集、支撑集、查询集分别通过以下方式得到：
11、1)把公开的基准数据集用作实验数据，通过对基准数据集进行类别无交集的划分，将数据划分为训练集和测试集两个部分，比如以miniimagenet为例，总共有100个类别，其中80个类别的数据作为训练集，剩下20个类的样本作为测试集。
12、2)在测试集中随机选择n个类别，从每个类别随机选择k+l个样本构建n-wayk-shot的任务，其中n*k个样本作为支撑集，剩下n*l个样本作为查询集。
13、所述的基于交替最小二乘的改进优化策略是指：通过构造线性分类器，基于交替最小二乘(als)算法，推导出关于特征和权重的闭式解，迭代优化特征和权重，并同步更新预测结果，直至预测结果的相对残差不再改变。
14、本专利技术涉及一种实现上述方法的系统，包括：残差神经网络单元、自编码器单元、类别原型修正单元以及交替优化单元，其中：残差神经网络单元根据训练集中大量有标签样本的信息进行预训练，得到特征提取器模型；自编码器单元根据支撑集中的视觉特征和语义特征样本对信息，进行图像特征到语义特征的映射以及从语义特征到视觉特征的重构，得到语义特征预测模型；类别原型修正单元根据查询集样本信息，进行特征聚类以及跨模态标签分配并将配对的聚类中心和初始类别原型进行加权求和，得到更具代表性的类别原型；交替优化单元根据任务中多模态组合的特征信息，进行权重和特征表示的交替优化，得到去偏差的特征和权重。
15、技术效果
16、本专利技术利用自编码器补全无标签样本的缺失模态，跨模态类别原型修正，特征和权重交替优优化，通过引入多模态信息，在特征和分类器权重的优化中引入交替优化机制；与现有技术相比，本专利技术得到的模型分类准确率达到先进水平，特征表示的可区分性、类别原型的代表性等指标均显著优于现有技术。
本文档来自技高网...【技术保护点】
1.一种基于多模态线性规划的小样本分类方法，其特征在于，通过构造并训练用来预测无标签样本的语义特征的视觉到语义的自编码器，将无标签样本的聚类中心映射到语义空间后，通过线性规划模型在语义空间中使用类别语义特征作为基准语义特征，为无标签样本聚类中心分配标签以匹配初始原型和聚类中心并得到修正后的类别原型，经多模态特征组合后基于交替最小二乘的改进优化策略对来支撑集样本以及查询集样本的特征向量和权重矩阵交替优化，迭代至预测分数的相对残差不再变化，得到减轻特征表示偏差以及分类器权重偏差的结果。
2.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的自编码器，通过以下方式进行训练：首先用训练集样本预训练特征提取器Fθ，将其用于提取测试集中的新类样本的特征；从测试集中随机选择N个类别，每个类别中随机选择K+L个样本构建包含支撑集和查询集的小样本任务，将支撑集的图像特征和类别语义特征输入自编码器进行训练，其中：K为支撑集每个类别的样本数，L为查询集每个类别的样本数。
3.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的基准语义特
4.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的无标签样本的聚类中心，通过对小样本任务中的查询集的样本特征进行聚类得到。
5.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的初始原型，通过对小样本任务中的支撑集中每个类的样本特征求平均得到。
6.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的修正是指：将初始原型和聚类中心进行匹配，对配对的聚类中心和初始原型加权求和得到修正的类别原型。
7.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的多模态特征组合是指：将当前小样本任务中所有样本的视觉特征和语义特征进行拼接，其中支撑集样本的语义特征为对应类别的标签词向量，即类别语义特征，查询集样本的语义特征由训练后自编码器根据查询集的视觉特征预测得到。
8.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的基于交替最小二乘的改进优化策略是指：通过构造线性分类器，基于交替最小二乘算法，推导出关于特征和权重的闭式解，迭代优化特征和权重，并同步更新预测结果，直至预测结果的相对残差不再改变。
9.根据权利要求1-8中任一所述的基于多模态线性规划的小样本分类方法，其特征是，具体包括：
10.一种实现权利要求1-9中任一所述方法的基于多模态线性规划的小样本分类系统，其特征在于，包括：残差神经网络单元、自编码器单元、类别原型修正单元以及交替优化单元，其中：残差神经网络单元根据训练集中大量有标签样本的信息进行预训练，得到特征提取器模型；自编码器单元根据支撑集中的视觉特征和语义特征样本对信息，进行图像特征到语义特征的映射以及从语义特征到视觉特征的重构，得到语义特征预测模型；类别原型修正单元根据查询集样本信息，进行特征聚类以及跨模态标签分配并将配对的聚类中心和初始类别原型进行加权求和，得到更具代表性的类别原型；交替优化单元根据任务中多模态组合的特征信息，进行权重和特征表示的交替优化，得到去偏差的特征和权重。
...【技术特征摘要】
1.一种基于多模态线性规划的小样本分类方法，其特征在于，通过构造并训练用来预测无标签样本的语义特征的视觉到语义的自编码器，将无标签样本的聚类中心映射到语义空间后，通过线性规划模型在语义空间中使用类别语义特征作为基准语义特征，为无标签样本聚类中心分配标签以匹配初始原型和聚类中心并得到修正后的类别原型，经多模态特征组合后基于交替最小二乘的改进优化策略对来支撑集样本以及查询集样本的特征向量和权重矩阵交替优化，迭代至预测分数的相对残差不再变化，得到减轻特征表示偏差以及分类器权重偏差的结果。
2.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的自编码器，通过以下方式进行训练：首先用训练集样本预训练特征提取器fθ，将其用于提取测试集中的新类样本的特征；从测试集中随机选择n个类别，每个类别中随机选择k+l个样本构建包含支撑集和查询集的小样本任务，将支撑集的图像特征和类别语义特征输入自编码器进行训练，其中：k为支撑集每个类别的样本数，l为查询集每个类别的样本数。
3.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的基准语义特征，通过语言模型glove从类别标签中提取得到。
4.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的无标签样本的聚类中心，通过对小样本任务中的查询集的样本特征进行聚类得到。
5.根据权利要求1所述的基于多模态线性规划的小样本分类方法，其特征是，所述的初始原型，通过对小样本任务中的支撑集中每个类的样本特征求平均得到。
6.根据权利要求1所述的基于多模态线性规划的小样本分...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。