基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法技术方案

本发明专利技术公开了一种基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法，分类方法包括：通过特征提取器获得图像的特征图；将图像特征图放入背景抑制模块获得裁剪后的图像，然后通过特征提取器获得裁剪图像的特征图；将支持图像的特征图以查询图像的特征图为模板进行对齐来消除图像对之间的错位问题；使用局部相似性度量的方法来计算支持图像和查询图像之间的相似性。本发明专利技术简单且高效，既解决了样本缺少导致模型容易过拟合的问题，又解决了细粒度图像识别困难的问题。决了细粒度图像识别困难的问题。决了细粒度图像识别困难的问题。

【技术实现步骤摘要】
基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法。

技术介绍

[0002]小样本学习在计算机视觉和多媒体领域得到了广泛的关注，因为它模仿人类学习新概念的能力。与传统的分类范式相比，小样本学习不依赖于大规模的有标签的数据集，可以很容易地应用于许多只有非常稀疏的训练样本的真实场景。细粒度识别是一个流行的、具有挑战性的问题，它旨在识别属于一个超类别的多个子类别(如鸟类、狗、汽车)的图像。考虑到对细粒度图像的手工注释需要特定领域的专业知识，收集高质量和标记完备的大规模数据集费时费力且耗时，因此细粒度识别是一个合适的小样本学习应用场景。然后在嵌入式空间中直接计算支持图像与查询图像之间的距离(如欧氏距离和余弦距离)。比较器基于与每个支持图像之间的距离来识别查询图像。这两种方法都极大地提高了FSL在一般数据集上的性能，但由于类内方差高、类间差异低，很少有能在细粒度数据集上获得理想的性能。
[0003]为了有效地从有限的数据中学习，研究人员探索了许多通用类别下的小样本学习算法。一般来说，主要的小样本学习方法大致可以分为两种，即基于优化的方法和基于度量学习的方法。基于优化的方法通常采用“学会学习”方式来学习，生成具有鲁棒性的模型。通过这种方法，该模型可以很容易地推广到一个新的看不见的任务，在仅有少量训练样本的情况下。基于度量学习的方法模型通常包括两部分：特征嵌入模块和比较器。特征嵌入模块将图像映射到一个嵌入空间。然后在嵌入式空间中计算支持图像与查询图像之间的距离(如欧氏距离和余弦距离)。比较器基于查询图像与每个支持图像(类原型)之间的距离来识别查询图像。这两种方法都极大地提高了小样本学习在一般数据集上的性能，但由于细粒度图像类内方差高、类间差异低的特点，很少能在细粒度数据集上获得理想的性能。
[0004]为了将模型从一般的数据集迁移到细粒度的数据集，当前许多方法使用手动标注的边界框来消除背景的影响，使用额外标注之后每种方法都能获得显著的性能提高。然而，使用人工注释的边界框实现更好的性能，与小样本学习将人类从繁重和无聊的注释任务解放的初衷背道而驰。因此，我们的目标是在只有图像级标签和少量训练图像可用时，去除杂乱的背景，提升在细粒度数据集上的性能。

技术实现思路

[0005]本专利技术的目的在于提高一种基于背景抑制和前景对齐的细粒度小样本图像分类系统及方法，只有图像级标签和少量训练图像可用时，去除杂乱的背景，提升在细粒度数据集上的性能。
[0006]实现本专利技术目的的技术方案为：第一方面，本专利技术提供一种基于背景抑制和前景
对齐的细粒度小样本图像分类系统，包括特征提取器、背景抑制模块、特征对齐模块和局部相似性度量模块；
[0007]通过特征提取器获得图像的特征图；将图像特征图放入背景抑制模块获得裁剪后的图像，然后通过特征提取器获得裁剪图像的特征图；将支持图像的特征图以查询图像的特征图为模板进行对齐来消除图像对之间的错位问题；使用局部相似性度量模块计算支持图像和查询图像之间的相似性。
[0008]进一步的，采用元学习的训练方式，将数据集划分成许多个子任务；小任务由两个数据集组成：支持集和查询集，然后将任务中的所有图像放入特征提取器中提取特征。
[0009]进一步的，所述背景抑制模块用于实现：
[0010]将特征图沿着通道的维度聚合得到激活图；
[0011]计算一个阈值,激活图上高于阈值的置为1，相反低于阈值的置为0，得到一个前景掩膜；
[0012]计算前景掩膜中的最大连通分量，得到前景物体的最小边界框的坐标；
[0013]根据得到的边界框坐标对原始图像进行裁剪并放大至原始尺寸；
[0014]将裁剪后的图像重新放入特征提取器中提取特征，得到两种特征图：一种是原始图像的，一种是裁剪后的图像的。
[0015]进一步的，所述特征对齐模块用于实现：计算支持图像和查询图像每个局部特征之间的相似性，得到关系矩阵；根据关系矩阵的值作为权重重新构造支持图像的特征图。
[0016]进一步的，所述局部特征相似性度量模块用于实现：去除最大池化、均值池化操作，保留特征图原始维度；将每个类中的所有支持图像的特征图求均值，作为该类原型；基于最近邻思想，计算查询图像的特征图与每个类原型的相似度，求均值；查询图像与哪个类原型的相似度最高即识别为该类别。
[0017]第二方面，本专利技术提供一种基于背景抑制和前景对齐的细粒度小样本图像分类方法，包括：
[0018]步骤一：采用元学习的训练方式，将数据集划分成许多个子任务；
[0019]步骤二：将提取的图像特征图放入背景抑制模块，将图像中杂乱的背景去除，获得裁剪后的图像并放入特征提取器中提取特征；
[0020]步骤三：采用特征对齐模块，以查询图像的特征图为模板，重新构造支持图像的特征图；
[0021]步骤四：使用局部特征相似性度量模块进行相似性的度量。
[0022]进一步的，步骤一中小任务由两个数据集组成：支持集进一步的，步骤一中小任务由两个数据集组成：支持集和查询集Q＝{(x
i
,y
i
)|i＝1
…
|Q|}，然后将任务中的所有图像放入特征提取器Θ中提取特征，即其中x
i
∈S∪Q；其中，c是通道数，h、w表示特征图的尺寸，N表示小任务中的类别数，K表示每个类别有多少张带标签的支持图像。
[0023]进一步的，步骤二中所述的背景抑制模块具体操作步骤如下：
[0024]步骤201：将特征图沿着通道的维度聚合得到激活图
[0025]步骤202：计算一个阈值激活图上高于阈值的置为1，相反低于
阈值的置为0，得到一个前景掩膜
[0026]步骤203：计算中的最大连通分量，得到前景物体的最小边界框的坐标；
[0027]步骤204：根据得到的边界框坐标对原始图像进行裁剪并放大至原始尺寸；
[0028]步骤205：将裁剪后的图像重新放入特征提取器中提取特征，这样得到了两种特征图：一种是原始图像的，一种是裁剪后的图像的。
[0029]进一步的，步骤三中所述的特征对齐模块具体操作步骤如下：
[0030]步骤301：计算支持图像和查询图像每个局部特征之间的相似性，得到关系矩阵
[0031]步骤302：根据关系矩阵a
s|q
的值作为权重重新构造支持图像的特征图。
[0032]进一步的，步骤四中所述的局部特征相似性度量模块具体操作步骤如下：
[0033]步骤401：去除传统方法中的最大池化、均值池化操作，保留特征图原始维度；
[0034]步骤402：将每个类中的所有支持图像的特征图求均值，作为该类原型；基于最近邻思想：计算查询图像的特征图与每个类原型的相似度；
[0035]步骤403：步骤402中，计算的是每个位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，包括特征提取器、背景抑制模块、前景目标对齐模块和局部相似性度量模块；通过特征提取器获得图像的特征图；将图像特征图放入背景抑制模块获得裁剪后的图像，然后通过特征提取器获得裁剪图像的特征图；将支持图像的特征图以查询图像的特征图为模板进行对齐来消除图像对之间的错位问题；使用局部相似性度量模块计算支持图像和查询图像之间的相似性。2.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，采用元学习的训练方式，将数据集划分成许多个子任务；小任务由两个数据集组成：支持集和查询集，然后将任务中的所有图像放入特征提取器中提取特征。3.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，所述背景抑制模块用于实现：将特征图沿着通道的维度聚合得到激活图；计算一个阈值，激活图上高于阈值的置为1，相反低于阈值的置为0，得到一个前景掩膜；计算前景掩膜中的最大连通分量，得到前景物体的最小边界框的坐标；根据得到的边界框坐标对原始图像进行裁剪并放大至原始尺寸；将裁剪后的图像重新放入特征提取器中提取特征，得到两种特征图：一种是原始图像的，一种是裁剪后的图像的。4.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，所述特征对齐模块用于实现：计算支持图像和查询图像每个局部特征之间的相似性，得到关系矩阵；根据关系矩阵的值作为权重重新构造支持图像的特征图。5.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统，其特征在于，所述局部特征相似性度量模块用于实现：去除最大池化、均值池化操作，保留特征图原始维度；将每个类中的所有支持图像的特征图求均值，作为该类原型；基于最近邻思想，计算查询图像的特征图与每个类原型的相似度，求均值；查询图像与哪个类原型的相似度最高即识别为该类别。6.一种基于背景抑制和前景对齐的细粒度小样本图像分类方法，其特征在于，包括以下步骤：步骤1、采用元学习的训练方式，将数据集划分成许多个子任务；步骤2、将提取的图像特征图放入背景抑制模块，将图像中杂乱的背景去除，获得裁剪后的图像并放入特征...

【专利技术属性】
技术研发人员：孙运莲，查子灿，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：