基于原型补足的小样本图像分类方法技术

本发明专利技术公开了一种基于原型补足的小样本图像分类方法，包括：

【技术实现步骤摘要】
基于原型补足的小样本图像分类方法


[0001]本专利技术涉及图像分类领域，具体涉及一种基于原型补足的小样本图像分类方法
。

技术介绍

[0002]利用大量有标签数据的深度学习方法在图像分类领域取得了重大成果
。
然而，在许多现实场景中，有标签数据是极其有限的，模型在面临这种任务场景时分类效果会大幅下降
。
为了使神经网络模型具备较强的分类能力，小样本学习
(few
‑
shot learning,FSL)
成为一个重要且被广泛研究的对象
。
不同于传统机器学习，小样本学习，一方面，要面对样本过少的问题，另一方面，还需要能够快速适应与训练集数据偏差较大的新类任务，这种偏差意味着新类数据中的类别
、
图像域和细粒度均与训练数据有所差距
。
[0003]目前，小样本学习利用了原型网络等度量学习方法，通过学习图像的表示，在特征空间中通过距离函数计算各个图片特征之间的距离完成分类
。
但是，原型网络只是简单地对支持集样本求平均获得的原型，没有考虑到任务中样本相关性的问题，面对与训练任务偏差过大的任务时，原型的生成易受背景等干扰信息影响，导致分类效果变差
。
因此，需要一种基于原型补足的小样本图像分类方法，能够解决以上问题
。

技术实现思路

[0004]有鉴于此，本专利技术的目的是克服现有技术中的缺陷，提供基于原型补足的小样本图像分类方法，能够结合每个小样本任务中的样本特点，自适应地为任务补充信息，提高了图像分类的准确性
。
[0005]本专利技术的基于原型补足的小样本图像分类方法，包括如下步骤：
[0006]S1.
提取支持集的图像特征
Z
s
以及查询集的图像特征
Z
q
；
[0007]S2.
对图像特征
Z
s
进行类内信息提取处理，得到特征原型
c
final
；
[0008]S3.
对图像特征
Z
q
进行类间信息提取处理，得到新样本；对图像特征
Z
q
进行平均池化，得到池化后的特征图像；
[0009]S4.
将特征原型
c
final
与新样本输入第一分类器，计算得到损失函数
L
reg
；将特征原型
c
final
与池化后的特征图像输入第二分类器，计算得到损失函数
L
meta
；
[0010]S5.
利用损失函数
L
reg
以及损失函数
L
meta
，构建图像分类模型的损失函数
L
，将待测图像输入到图像分类模型，输出待测图像的分类结果
。
[0011]进一步，对图像特征
Z
s
进行类内信息提取处理，得到特征原型
c
final
，具体包括：
[0012]S21.
对图像特征
Z
s
进行重构，得到重构后的图像特征
Z
s
′
；
[0013]S22.
构建类内信息提取器；所述类内信息提取器包括3×3卷积层
、1
×1卷积层
、Transformer
层
、LeakyRelu
激活函数
、
最大池化函数以及平均池化函数；
[0014]将重构后的图像特征
Z
s
′
输入到类内信息提取器，进行如下操作：
[0015]进行3×3卷积，得到融合后的特征图；
[0016]将融合后的特征图通过
LeakyReLu
激活函数与最大池化操作后，特征图尺寸减小
为正常样本特征图的大小；
[0017]进行1×1卷积，得到第二融合后的特征图；利用
Transformer
层进行自注意力计算，将第二融合后的特征图进一步增强，得到增强后的特征；
[0018]通过
LeakyReLu
激活函数处理以及全局平均池化增强后的特征，输出类别描述信息；
[0019]S23.
将类别描述信息与初始特征原型的和作为特征原型
c
final
。
[0020]进一步，根据如下方法对图像特征
Z
s
进行重构，得到重构后的图像特征
Z
s
′
：
[0021]根据如下公式将图像特征
Z
s
变换为图像特征
Z
s
‑1：
[0022][0023]其中，
N
S
为支持集样本数量，大小为
N
×
K
，
N
表示支持集类别数量，
K
表示支持集类别中每个类别的样本个数；
C、H
和
W
分别为样本特征向量的通道数
、
高和宽；
→
为变换符号；为实数集；
[0024]根据如下公式将图像特征
Z
s
‑1变换为图像特征
Z
s
′
：
[0025][0026]其中，为向下取整符号
。
[0027]进一步，根据如下方法确定初始特征原型：
[0028]对支持集的图像特征
Z
s
进行全局平均池化，然后对每一类池化后的特征求均值，将求得的均值作为初始特征原型
。
[0029]进一步，对图像特征
Z
q
进行类间信息提取处理，得到新样本；
[0030]S31.
对图像特征
Z
q
进行重构，得到重构后的图像特征
Z
q
′
；
[0031]S32.
构建类间信息提取器；所述类间信息提取器包括5×1卷积层
、1
×1卷积层
、Transformer
层
、LeakyRelu
激活函数以及平均池化函数；
[0032]将重构后的图像特征
Z
q
′
输入到类间信息提取器，进行如下操作：
[0033]进行5×1卷积，得到融合后的特征图
Z
′
q
‑
f
；
[0034]将融合后的特征图
Z
′
q
‑
f
通过
LeakyReLu
激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于原型补足的小样本图像分类方法，其特征在于：包括如下步骤：
S1.
提取支持集的图像特征
Z
s
以及查询集的图像特征
Z
q
；
S2.
对图像特征
Z
s
进行类内信息提取处理，得到特征原型
c
final
；
S3.
对图像特征
Z
q
进行类间信息提取处理，得到新样本；对图像特征
Z
q
进行平均池化，得到池化后的特征图像；
S4.
将特征原型
c
final
与新样本输入第一分类器，计算得到损失函数
L
reg
；将特征原型
c
final
与池化后的特征图像输入第二分类器，计算得到损失函数
L
meta
；
S5.
利用损失函数
L
reg
以及损失函数
L
meta
，构建图像分类模型的损失函数
L
，将待测图像输入到图像分类模型，输出待测图像的分类结果
。2.
根据权利要求1所述的基于原型补足的小样本图像分类方法，其特征在于：对图像特征
Z
s
进行类内信息提取处理，得到特征原型
c
final
，具体包括：
S21.
对图像特征
Z
s
进行重构，得到重构后的图像特征
Z
s
′
；
S22.
构建类内信息提取器；所述类内信息提取器包括3×3卷积层
、1
×1卷积层
、Transformer
层
、LeakyRelu
激活函数
、
最大池化函数以及平均池化函数；将重构后的图像特征
z
s
′
输入到类内信息提取器，进行如下操作：进行3×3卷积，得到融合后的特征图；将融合后的特征图通过
LeakyReLu
激活函数与最大池化操作后，特征图尺寸减小为正常样本特征图的大小；进行1×1卷积，得到第二融合后的特征图；利用
Transformer
层进行自注意力计算，将第二融合后的特征图进一步增强，得到增强后的特征；通过
LeakyReLu
激活函数处理以及全局平均池化增强后的特征，输出类别描述信息；
S23.
将类别描述信息与初始特征原型的和作为特征原型
c
final
。3.
根据权利要求2所述的基于原型补足的小样本图像分类方法，其特征在于：根据如下方法对图像特征
Z
s
进行重构，得到重构后的图像特征
Z
s
′
：根据如下公式将图像特征
Z
s
变换为图像特征
Z
s
‑1：其中，
N
S
为支持集样本数量，大小为
N
×
K
，
N
表示支持集类别数量，
K
表示支持集类别中每个类别的样本个数；
C、H
和
W
分别为样本特征向量的通道数
、
高和宽；
→
为变换符号；为实数集；根据如下公式将图像特征
Z
s
‑1变换为图像特征
Z
s
′
：其中，为向下取整符号
。4.
根据权利要求2所述的基于原型补足的小样本图像分类方法，其特征在于：根据如下方法确定初始特征原型：对支持集的图像特征
Z
s
进行全局平均池化，然后对每一类池化后的特征求均值，将求得的均值作为初始特征原型
。5.
根据权利要求1所述的基于原型补足的小样本图像分类方法，其特征在于：对图像特
征
Z
q
进行类间信息提取处理，得到新样本；
S31.
对图像特征
Z
q
进行重构，得到重构后的图像特征
Z
q<...

【专利技术属性】
技术研发人员：吕佳，郑小琪，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：