本发明专利技术公开了一种基于双分支相互学习特征生成的小样本图像识别方法，涉及小样本图像识别技术领域，方法包括：获取待识别小样本图像集合，构成待识别查询集；将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；将第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征；分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度确定待识别查询集中每个图像的图像类别。挖掘样本局部特征和全局特征的语义关系，达到小样本图像准确识别的技术效果。像准确识别的技术效果。像准确识别的技术效果。
【技术实现步骤摘要】
一种基于双分支相互学习特征生成的小样本图像识别方法
[0001]本专利技术涉及小样本图像识别
，并且更具体地，涉及一种基于双分支相互学习特征生成的小样本图像识别方法。
技术介绍
[0002]近年来，凭借大规模数据集和庞大的计算资源，以深度学习为代表的人工智能算法已经在人脸识别、自动驾驶、机器人等图像识别相关领域取得了巨大的成就，然而深度学习需要依靠大量的标签数据，在实际应用中数据获取往往是困难的, 这之中既有个人隐私的问题, 比如人脸数据, 也有问题对象本身就很少的问题, 比如识别珍稀保护动物的问题，除此之外, 数据标注工作往往需要耗费大量人力物力，从而阻碍了深度学习技术在某些图像识别领域的发展。与之相反，人类本身能够通过极少量的样本识别一个新物体，在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，由此产生的小样本的图像识别问题已经逐渐成为当前的研究热点。
[0003]小样本图像识别任务的核心问题在于样本量过少，从而导致样本多样性过低。在数据量有限的情况下，可以通过数据增强来提高样本多样性。数据增强是指在数据量有限的情况下，借助辅助数据或者辅助信息，对原有的小样本数据集进行数据扩充或特征增强。数据扩充是指向原有的数据集添加新的无标签数据或者合成的带标签数据，特征增强是指向原样本的特征空间中添加便于分类的特征，提高样本的特征多样性。
[0004]现有的基于特征增强的方法在生成新特征时，主要依赖于样本的全局语义特征，这些方法通过分析不同样本之间全局语义特征的相似性或差异性，生成新的全局语义特征。这种方法虽然能够提高数据集的规模和多样性，但也存在问题，那就是忽略了样本的局部特征信息，在小样本的情况下，由于数据量有限，每个样本都可能包含一些独特或重要的局部特征信息，这些信息对于区分不同类别或任务是非常有用的。如果只使用全局语义特征来生成新特征，就可能丢失或混淆这些局部特征信息，导致生成的新特征质量不高或不准确。
技术实现思路
[0005]针对现有技术的不足，本专利技术提供一种基于双分支相互学习特征生成的小样本图像识别方法。
[0006]根据本专利技术的一个方面，提供了一种基于双分支相互学习特征生成的小样本图像识别方法，包括：获取待识别小样本图像集合，构成待识别查询集；将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生
成每个图像的第二语义特征；将待识别查询集中每个图像的第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征；分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度，确定待识别查询集中每个图像的图像类别。
[0007]可选地，支持集每个类别的类别原型的构建过程如下：将支持集中的所有图像依次输入到全局分支的第一特征生成模块中，输出支持集中每张图像的第四语义特征；将支持集中的所有图像依次输入到局部分支的第二特征生成模块中，输出支持集中每张图像的第五语义特征；将支持集中每个类别的所有图像的第四语义特征和第五语义特征相加取平均，确定支持集中每个类别的类别原型。
[0008]可选地，全局分支的第一特征生成模块和局部分支的第二特征生成模块的训练过程如下：根据小样本图像训练集，构建小样本识别任务，其中小样本识别任务包括N类，每个类别中包括M张样本图像；利用特征提取网络对小样本识别任务中每张样本图像进行特征提取，确定每张样本图像的全局特征和局部特征；通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块；通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块；将全局分支以及局部分支的训练信息互相学习，训练第一特征生成模块以及第二特征生成模块；根据预先设置的训练总损失函数，优化第一特征生成模块以及第二特征生成模块。
[0009]可选地，通过小样本识别任务中每张样本图像的全局特征训练全局分支的第一特征生成模块，包括：分别对每个类别的M张样本图像的全局特征进行掩码，得到一张样本图像的全局特征；将每个类别掩码的样本图像的全局特征使用可学习向量替换；根据每个类别替换的可学习向量以及掩码保留的全局特征训练全局分支的第一特征生成模块；根据预先设定的全局分支损失函数，优化第一特征生成模块，其中全局分支的损失函数包括全局预测损失函数以及全局分类损失函数。
[0010]可选地，通过小样本识别任务中每张样本图像的全局特征和局部特征训练局部分支的第二特征生成模块，包括：选择每个类别中一张样本图像的局部特征；根据每个类别选取的局部特征和预先设定的M个可学习向量训练第二特征生成模
块；根据预先设定的局部分支损失函数，优化第二特征生成模块，其中局部分支损失函数包括局部预测损失函数以及局部分类损失函数。
[0011]可选地，还包括：计算KL散度作为全局分支以及局部分支的训练信息互相学习的相互学习损失函数。
[0012]可选地，训练总损失函数为全局分支损失函数、局部分支损失函数以及互相学习损失函数之和。
[0013]可选地，分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别的类别原型的相似度，确定待识别查询集中每个图像的图像类别，包括：分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别的类别原型的相似度，确定待识别查询集中每张图像属于支持集中每个类别的概率值；取待识别查询集中每个图像对应的概率值最大的类别作为该图像的图像类别。
[0014]根据本专利技术的另一个方面，提供了一种基于双分支相互学习特征生成的小样本图像识别装置，包括：获取模块，用于获取待识别小样本图像集合，构成待识别查询集；第一生成模块，用于将待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；第二生成模块，用于将待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；第一确定模块，用于将待识别查询集中每个图像的第一语义特征和第二语义特征相加，确定待识别查询集中每个图像的第三语义特征；第二确定模块，用于分别计算待识别查询集中每张图像的第三语义特征与支持集中多个类别原型的相似度，确定待识别查询集中每个图像的图像类别。
[0015]根据本专利技术的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本专利技术上述任一方面所述的方法。
[0016]根据本专利技术的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本专利技术上述任一方面所述的方法。
[0017]从而，本专利技术提出了一种基于双分支相互学习特征生成的小样本图像识别方法，构建了基于局部特征信息的特征生成模块，该模块通过挖掘样本局部特征本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双分支相互学习特征生成的小样本图像识别方法，其特征在于，包括：获取待识别小样本图像集合，构成待识别查询集；将所述待识别查询集中的每个图像送入预先构建的全局分支的第一特征生成模块，生成每个图像的第一语义特征；将所述待识别查询集中的每个图像送入预先构建的局部分支的第二特征生成模块，生成每个图像的第二语义特征；将所述待识别查询集中每个图像的第一语义特征和所述第二语义特征相加，确定所述待识别查询集中每个图像的第三语义特征；分别计算所述待识别查询集中每张图像的所述第三语义特征与支持集中多个类别原型的相似度，确定所述待识别查询集中每个图像的图像类别。2.根据权利要求1所述的方法，其特征在于，所述支持集每个类别的类别原型的构建过程如下：将所述支持集中的所有图像依次输入到所述全局分支的所述第一特征生成模块中，输出所述支持集中每张图像的第四语义特征；将所述支持集中的所有图像依次输入到所述局部分支的所述第二特征生成模块中，输出所述支持集中每张图像的第五语义特征；将所述支持集中每个类别的所有图像的第四语义特征和第五语义特征相加取平均，确定所述支持集中每个类别的所述类别原型。3.根据权利要求1或2所述的方法，其特征在于，所述全局分支的第一特征生成模块和所述局部分支的第二特征生成模块的训练过程如下：根据小样本图像训练集，构建小样本识别任务，其中所述小样本识别任务包括N类，每个类别中包括M张样本图像；利用特征提取网络对所述小样本识别任务中每张样本图像进行特征提取，确定每张样本图像的全局特征和局部特征；通过所述小样本识别任务中每张样本图像的所述全局特征训练所述全局分支的所述第一特征生成模块；通过所述小样本识别任务中每张样本图像的所述全局特征和所述局部特征训练所述局部分支的所述第二特征生成模块；将所述全局分支以及所述局部分支的训练信息互相学习，训练所述第一特征生成模块以及所述第二特征生成模块；根据预先设置的训练总损失函数，优化所述第一特征生成模块以及所述第二特征生成模块。4.根据权利要求3所述的方法，其特征在于，通过所述小样本识别任务中每张样本图像的所述全局特征训练所述全局分支的所述第一特征生成模块，包括：分别对每个类别的M张样本图像的所述全局特征进行掩码，得到一张样本图像的全局特征；将每个类别掩码的样本图像的所述全局特征使用可学习向量替换；根据每个类别替换的可学习向量以及掩码保留的所述全局特征训练所述全局分支的第一特...
【专利技术属性】
技术研发人员：魏志强，王矶法，黄磊，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。