基于语义自适应融合机制的小样本图像分类方法及装置制造方法及图纸

本发明专利技术公开了基于语义自适应融合机制的小样本图像分类方法及装置，涉及图像识别分类领域，其技术方案要点是：本发明专利技术通过目标视觉特征原型提取和语义特征提取，实现对目标各个类别的高层次多模态特征提取；提出了语义特征和视觉特征维度适配，解决了不同维度模态之间的融合；通过语义特征和视觉特征自适应凸组合，实现不同维度模态特征之间有效融合，得到表征增强的多模态融合特征原型；提出基于权重的支持集查询集样本拼接，可根据样本分布重要程度来拼接特征。通过关系打分网络，获取样本间关系得分，得分最高者即为同类。本发明专利技术提出方法针对小样本条件下图像分类，充分利用多模态信息，增加目标表征信息，提升目标分类准确性。性。性。

【技术实现步骤摘要】
基于语义自适应融合机制的小样本图像分类方法及装置


[0001]本专利技术涉及一种图像识别分类领域，更具体地说，它涉及基于语义自适应融合机制的小样本图像分类方法及装置。

技术介绍

[0002]深度学习已经在图像识别、语音识别以及棋类对弈等领域得到了广泛的应用。然而，深度学习对样本数据量有较大的依赖性，大多数深度学习算法需要海量的数据投入训练，并且收敛较慢，这些特点阻碍了深度学习在很多难以获取大量样本的场景的进一步应用。
[0003]针对小样本条件下的目标识别问题，目前现有技术提出了数据增强、初始化和度量学习等方法。数据增强主要采用一定方法来扩充样本数据量来解决过拟合的问题，包括使用对抗生成网络来实现样本生成以及幻想特征，但这些生成的样本和特征具有很高的相似性，难以有效提升目标分类效果。基于优化的方法基于元学习的思想，旨在学习一组元分类器，这些分类器可以在新的任务上通过参数微调实现较好的分类性能，然而其训练的模型只能在固定任务上预训练和迁移。基于图神经网络的方法以单个样本作为节点，以样本间相似度作为边，通过神经网络模型迭代计算图模型的连接矩阵最终推断出待识别样本与所有支持样本的相似度，但其模型训练过程中会消耗大量内存空间，同时计算量会随着样本数量增加而激增。
[0004]然而，传统的分类对小样本条件下目标分类准确性比较差。具体来讲有以下几方面不足：一是样本稀少带来的目标特征表征困难；二是固定的最近邻分类器和线性分类器会阻碍性能优化；三是辅助信息的引入方式过于直接，缺乏对不同样本自身特点的针对性引入。/>
技术实现思路

[0005]本专利技术针对小样本条件下目标分类准确性比较差的问题，提供了一种基于语义自适应融合机制的小样本图像分类方法及装置，本专利技术提出的分类方法针对小样本条件下的图像分类通过图像的文字描述信息来获取图像的语义特征，将语义特征引入小样本图像分类，与图像的视觉特征相结合，增加图像的表征信息，从而提升图像的分类准确性。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0007]本申请的第一方面，提供了一种基于语义自适应融合机制的小样本图像分类方法，方法包括：
[0008]获取图像数据集，并根据图像数据集得到具备至少一个类别的支持集和查询集；
[0009]获取支持集每一个类别的图像的文字描述信息；
[0010]提取支持集每一个类别的视觉特征原型，以及提取文字描述信息的第一语义特征；
[0011]对第一语义特征的维度进行匹配，得到与视觉特征原型维度相同的第二语义特
征；
[0012]根据支持集每一个类别的图像的文字描述信息的第一语义特征的分布计算融合权重，根据融合权重对视觉特征原型和第二语义特征进行融合，得到融合特征原型；
[0013]提取查询集中待测图像的视觉特征，构建拼接权重计算网络对查询集的视觉特征和支持集每一类别对应的融合特征原型进行计算，输出查询集对应的第一权重因子和支持集对应的第二权重因子，根据第一权重因子和第二权重因子将待测图像和支持集所有类别的融合特征原型沿视觉特征的通道维度拼接，得到拼接特征，再将每一类别的支持集对应的拼接特征沿长度方向拼接，得到总拼接特征；
[0014]利用预先训练好的关系打分网络对总拼接特征进行打分，根据打分结果确定查询集的分类结果。
[0015]在一种实施方案中，根据图像数据集得到具备至少一个类别的支持集和查询集，具体为：从图像数据集中随机挑选N个类别的图像，并从N个类别中的每一个类别的图像中随机选取K张图像和T张图像分别作为支持集和查询集。
[0016]在一种实施方案中，提取支持集每一个类别的视觉特征原型，具体包括：
[0017]构建视觉特征原型提取网络，其中视觉特征原型提取网络由视觉特征提取网络和特征权重计算网络组成，视觉特征提取网络为卷积神经网络，特征权重计算网络由多个卷积层和一个全连接层构成；
[0018]基于预先训练好的视觉特征原型提取网络提取支持集每一个类别的视觉特征原型；
[0019]提取文字描述信息的第一语义特征，具体为：利用词向量学习算法提取文字描述信息的第一语义特征；
[0020]在一种实施方案中，基于预先训练好的视觉特征原型提取网络提取支持集每一个类别的视觉特征原型，包括：
[0021]根据视觉特征提取网络提取支持集每一个类别的每张图像的目标视觉特征，将每一个类别的每张图像对应的目标视觉特征沿目标视觉特的通道维度方向拼接，并将拼接结果送入特征权重计算网络，计算每张图像的权重；
[0022]将每张图像的目标视觉特征按每张图像的权重加权，得到支持集每一个类别的视觉特征原型。
[0023]在一种实施方案中，对第一语义特征的维度进行匹配，具体包括：
[0024]构建特征维度匹配网络，其中特征维度匹配网络由一个全连接层和一个反卷积层依次连接得到；
[0025]将第一语义特征送入全连接层进行深度匹配，得到与视觉特征原型的深度匹配的第一语义子特征；
[0026]将第一语义子特征送入反卷积层进行长度匹配，得到与视觉特征原型的深度与长度均匹配的第二语义特征。
[0027]在一种实施方案中，根据支持集的第一语义特征的分布计算融合权重的计算式为其中，λ表示融合权重，表示第一语义特征，h表示全连接网络，n表示支持集每一个类别的类别索引，S表示支持集。
[0028]在一种实施方案中，所述融合特征原型的计算式为其中，λ表示融合权重，表示第二语义特征，表示视觉特征原型，n表示支持集每一个类别的类别索引，S表示支持集。
[0029]在一种实施方案中，构建拼接权重计算网络对第二语义特征和视觉特征进行计算，具体为：将查询集的视觉特征和支持集的融合特征原型分别送入拼接权重计算网络，输出查询集对应的第一权重因子和支持集对应的第二权重因子；其中利用预先训练好的卷积神经网络来提取查询集每一张待测图像的视觉特征；其中拼接权重计算网络由第一卷积模块、第一最大值池化2*2、第二卷积模块、第二最大值池化2*2以及全连接层依次连接构成。
[0030]在一种实施方案中，根据第一权重因子和第二权重因子将待测图像和支持集所有类别的融合特征原型沿视觉特征的通道维度拼接，得到拼接特征，具体包括：
[0031]确定第一权重因子占第一权重因子和第二权重因子总和的第一占比，以及第二权重因子占第一权重因子和第二权重因子总和的第二占比；
[0032]根据第一占比和第二占比分别对融合特征原型和视觉特征沿通道方向进行特征拼接，得到查询集对应的支持集所有类别的拼接特征。
[0033]本申请的第二方面，提供了一种基于语义自适应融合机制的小样本图像分类装置，包括：
[0034]第一数据模块，用于获取图像数据集，并根据图像数据集得到具备至少一个类别的支持集和查询集；
[0035]第二数据模块，用于获取支持集每一个类别的图像的文字描述信息；
[0036]特征提取模块，同于提取支持集每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义自适应融合机制的小样本图像分类方法，其特征在于，方法包括：获取图像数据集，并根据图像数据集得到具备至少一个类别的支持集和查询集；获取支持集每一个类别的图像的文字描述信息；提取支持集每一个类别的视觉特征原型，以及提取文字描述信息的第一语义特征；对第一语义特征的维度进行匹配，得到与视觉特征原型维度相同的第二语义特征；根据支持集每一个类别的图像的文字描述信息的第一语义特征的分布计算融合权重，根据融合权重对视觉特征原型和第二语义特征进行融合，得到融合特征原型；提取查询集中待测图像的视觉特征，构建拼接权重计算网络对查询集的视觉特征和支持集每一类别对应的融合特征原型进行计算，输出查询集对应的第一权重因子和支持集对应的第二权重因子，根据第一权重因子和第二权重因子将待测图像和支持集所有类别的融合特征原型沿视觉特征的通道维度拼接，得到拼接特征，再将每一类别的支持集对应的拼接特征沿长度方向拼接，得到总拼接特征；利用预先训练好的关系打分网络对总拼接特征进行打分，根据打分结果确定查询集的分类结果。2.根据权利要求1所述的基于语义自适应融合机制的小样本图像分类方法，其特征在于，根据图像数据集得到具备至少一个类别的支持集和查询集，具体为：从图像数据集中随机挑选N个类别的图像，并从N个类别中的每一个类别的图像中随机选取K张图像和T张图像分别作为支持集和查询集。3.根据权利要求1所述的基于语义自适应融合机制的小样本图像分类方法，其特征在于，提取支持集每一个类别的视觉特征原型，具体包括：构建视觉特征原型提取网络，其中视觉特征原型提取网络由视觉特征提取网络和特征权重计算网络组成，视觉特征提取网络为卷积神经网络，特征权重计算网络由多个卷积层和一个全连接层构成；基于预先训练好的视觉特征原型提取网络提取支持集每一个类别的视觉特征原型；提取文字描述信息的第一语义特征，具体为：利用词向量学习算法提取文字描述信息的第一语义特征。4.根据权利要求3所述的基于语义自适应融合机制的小样本图像分类方法，其特征在于，基于预先训练好的视觉特征原型提取网络提取支持集每一个类别的视觉特征原型，包括：根据视觉特征提取网络提取支持集每一个类别的每张图像的目标视觉特征，将每一个类别的每张图像对应的目标视觉特征沿目标视觉特的通道维度方向拼接，并将拼接结果送入特征权重计算网络，计算每张图像的权重；将每张图像的目标视觉特征按每张图像的权重加权，得到支持集每一个类别的视觉特征原型。5.根据权利要求1所述的基于语义自适应融合机制的小样本图像分类方法，其特征在于，对第一语义特征的维度进行匹配，具体包括：构建特征维度匹配网络，其中特征维度匹配网络由一个全连接层和一个反卷积层依次连接得到；将第一语义特征送入全连接层进行深度匹配，得到与视觉特征原型的深度匹配的第一
语义子特征；将第一语义子特征送入反卷积层进行长度匹配，得到与视觉特征原型的深...

【专利技术属性】
技术研发人员：唐培人，程旗，高晓利，李捷，王维，赵火军，包庆红，聂常赟，
申请(专利权)人：四川九洲电器集团有限责任公司，
类型：发明
国别省市：