小样本目标检测模型构建方法、装置、设备及存储介质制造方法及图纸

本申请涉及一种小样本目标检测模型构建方法、装置、设备及存储介质，涉及计算机视觉图像目标检测技术领域，包括获取基类数据集和新类数据集；基于基类训练集对预设的神经网络模型进行训练生成基础目标检测模型；根据基类数据集和新类数据集构建平衡训练集；基于平衡训练集对基础目标检测模型进行训练生成小样本目标检测模型；其中，神经网络模型包括背景衰减块和幻觉器，背景衰减块用于对图像进行前景加强和背景抑制的处理，幻觉器用于根据基类的共享类内特征变化为新类生成特征级训练实例，其基于特征级训练实例能够从新类别物体中提取出新的特征。本申请通过引入背景衰减块和幻觉器来提高模型小样本检测的准确度。觉器来提高模型小样本检测的准确度。觉器来提高模型小样本检测的准确度。

【技术实现步骤摘要】
小样本目标检测模型构建方法、装置、设备及存储介质


[0001]本申请涉及计算机视觉图像目标检测
，特别涉及一种小样本目标检测模型构建方法、装置、设备及存储介质。

技术介绍

[0002]目前基于深度学习的目标检测模型需要大量的标注样本进行训练，但在实际场景当中，往往很难获取到相应规模的高质量标注样本。而小样本学习可以在少量标签样本条件下实现对新类型目标的决速分类识别，降低了对大规模标签数据的依赖。受小样本学习启发，近年来，小样本图像目标检测技术研究逐渐引起广泛关注。相对于常规的监督式目标检测方法需要借助大星的待检测类别标注样本进行训练，小样本图像目标检测在具有充足标注数据的公开数据集基础上，只需要极少量待检测的新类别标注样本，通过精心设计训练方法、模型结构和损失函数，就可以获得具有一定泛化性能的检测摸型，极大提高模型开发的效率，也更具实用价值。由此可见，小样本图像目标检测是传统目标检测技术与小样本学习技术的融合，旨在通过少量的标注样本学习具有较好泛化性能的检测模型。
[0003]但是，由于传统的小样本目标检测模型对前景关注度不够且训练数据中缺乏变化，以致传统模型的检测准确度较低。

技术实现思路

[0004]本申请提供一种小样本目标检测模型构建方法、装置、设备及存储介质，以解决相关技术中由于传统的小样本目标检测模型对前景关注度不够且训练数据中缺乏变化而导致的检测准确度较低的问题。
[0005]第一方面，提供了一种小样本目标检测模型构建方法，包括以下步骤：
[0006]获取基类数据集和新类数据集；
[0007]基于所述基类训练集对预设的神经网络模型进行训练生成基础目标检测模型；
[0008]根据所述基类数据集和所述新类数据集构建平衡训练集；
[0009]基于所述平衡训练集对所述基础目标检测模型进行训练生成小样本目标检测模型；
[0010]其中，所述神经网络模型包括背景衰减块和幻觉器，所述背景衰减块用于对图像进行前景加强和背景抑制的处理，所述幻觉器用于根据基类的共享类内特征变化为新类生成特征级训练实例，所述幻觉器基于所述特征级训练实例能够从新类别物体中提取出新的特征。
[0011]一些实施例中，所述神经网络模型还包括骨干网络、区域建议网络RPN、池化层和预测层；
[0012]所述骨干网络用于对图像进行特征提取，得到初始特征图；
[0013]所述背景衰减块用于对初始特征图进行前景加强和背景抑制处理，得到注意力加强后的特征图；
[0014]所述RPN用于对注意力加强后的特征图进行锚框预测，得到多个推荐框；
[0015]所述池化层用于对注意力加强后的特征图和候选框进行池化处理，得到区域特征图；
[0016]所述预测层包括幻觉器、分类器和回归网络，所述幻觉器用于对区域特征图进行目标识别，得到目标对象；所述分类器用于对区域特征图和目标对象进行分类，得到分类结果；所述回归网络用于对区域特征图中的锚框进行边框回归处理，以修正锚框的位置。
[0017]一些实施例中，所述背景衰减块用于对初始特征图进行前景加强和背景抑制处理，得到注意力加强后的特征图，包括：
[0018]基于线性可学习矩阵和初始特征图中各个像素点的特征向量计算得到每个像素点的权重值；
[0019]根据所述权重值和各个像素点的特征向量计算得到每个像素点的权重特征图；
[0020]基于所述权重特征图对所述初始特征图进行前景加强和背景抑制处理，得到注意力加强后的特征图。
[0021]一些实施例中，所述权重值的计算公式为：
[0022][0023]所述权重特征图的计算公式为：
[0024][0025]基于以下公式得到注意力加强后的特征图：
[0026]Z＝Y+α
·
LeakyReLU(G)
[0027]其中，P
BA
(y
i
)表示初始特征图上的第i个像素点的权重值，y
i
表示初始特征图上的第i个像素点，W
e
表示线性可学习矩阵，Ω表示初始特征图的像素点集合，G表示权重特征图，Z表示注意力加强后的特征图，Y表示初始特征图，α为常数，LeakyReLU表示激活函数。
[0028]一些实施例中，所述基于所述基类训练集对预设的神经网络模型进行训练生成基础目标检测模型，包括：
[0029]通过基类训练集对骨干网络、背景衰减块、RPN、池化层、分类器和回归网络进行训练；
[0030]待训练完毕后，将骨干网络、背景衰减块、RPN、池化层、分类器和回归网络冻结，通过训练好的分类器和基类训练集对幻觉器进行训练，以生成基础目标检测模型。
[0031]一些实施例中，所述基于所述平衡训练集对所述基础目标检测模型进行训练生成小样本目标检测模型，包括：
[0032]将基础目标检测模型中的骨干网络、背景衰减块、RPN、池化层冻结，通过平衡训练集对基础目标检测模型中的幻觉器、分类器和回归网络进行微调训练，以生成小样本目标检测；
[0033]其中，在对幻觉器进行微调训练时，将分类器和回归网络冻结；在对分类器或回归网络进行微调训练时，将幻觉器冻结。
[0034]一些实施例中，所述幻觉器用于根据基类的共享类内特征变化为新类生成特征级
训练实例，包括：
[0035]幻觉器通过以下公式生成特征级训练实例：
[0036][0037]式中，表示新生成的特征图，H表示幻觉器，c
k
表示基类对应的预设类别实例，表示预设类别实例的平均值，表示预设类别实例对应的初始特征图，ε表示预设类别实例对应的噪声向量，表示损失参数。
[0038]第二方面，提供了一种小样本目标检测模型构建装置，包括：
[0039]数据获取单元，其用于获取基类数据集和新类数据集；
[0040]基础训练单元，其用于基于所述基类训练集对预设的神经网络模型进行训练生成基础目标检测模型；
[0041]数据构建单元，其用于根据所述基类数据集和所述新类数据集构建平衡训练集；
[0042]微调训练单元，其用于基于所述平衡训练集对所述基础目标检测模型进行训练生成小样本目标检测模型；
[0043]其中，所述神经网络模型包括背景衰减块和幻觉器，所述背景衰减块用于对图像进行前景加强和背景抑制的处理，所述幻觉器用于根据基类的共享类内特征变化为新类生成特征级训练实例，所述幻觉器基于所述特征级训练实例能够从新类别物体中提取出新的特征。
[0044]第三方面，提供了一种小样本目标检测模型构建设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的小样本目标检测模型构建方法。
[0045]第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的小样本目标检测模型构建方法。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本目标检测模型构建方法，其特征在于，包括以下步骤：获取基类数据集和新类数据集；基于所述基类训练集对预设的神经网络模型进行训练生成基础目标检测模型；根据所述基类数据集和所述新类数据集构建平衡训练集；基于所述平衡训练集对所述基础目标检测模型进行训练生成小样本目标检测模型；其中，所述神经网络模型包括背景衰减块和幻觉器，所述背景衰减块用于对图像进行前景加强和背景抑制的处理，所述幻觉器用于根据基类的共享类内特征变化为新类生成特征级训练实例，所述幻觉器基于所述特征级训练实例能够从新类别物体中提取出新的特征。2.如权利要求1所述的小样本目标检测模型构建方法，其特征在于：所述神经网络模型还包括骨干网络、区域建议网络RPN、池化层和预测层；所述骨干网络用于对图像进行特征提取，得到初始特征图；所述背景衰减块用于对初始特征图进行前景加强和背景抑制处理，得到注意力加强后的特征图；所述RPN用于对注意力加强后的特征图进行锚框预测，得到多个推荐框；所述池化层用于对注意力加强后的特征图和候选框进行池化处理，得到区域特征图；所述预测层包括幻觉器、分类器和回归网络，所述幻觉器用于对区域特征图进行目标识别，得到目标对象；所述分类器用于对区域特征图和目标对象进行分类，得到分类结果；所述回归网络用于对区域特征图中的锚框进行边框回归处理，以修正锚框的位置。3.如权利要求2所述的小样本目标检测模型构建方法，其特征在于，所述背景衰减块用于对初始特征图进行前景加强和背景抑制处理，得到注意力加强后的特征图，包括：基于线性可学习矩阵和初始特征图中各个像素点的特征向量计算得到每个像素点的权重值；根据所述权重值和各个像素点的特征向量计算得到每个像素点的权重特征图；基于所述权重特征图对所述初始特征图进行前景加强和背景抑制处理，得到注意力加强后的特征图。4.如权利要求3所述的小样本目标检测模型构建方法，其特征在于，所述权重值的计算公式为：所述权重特征图的计算公式为：基于以下公式得到注意力加强后的特征图：Z＝Y+α.LeakyReLU(G)其中，P
BA
(y
i
)表示初始特征图上的第i个像素点的权重值，y
i
表示初始特征图上的第i个像素点，W
e
表示线性可学习矩阵，Ω表示初始特征图的像素点集合，G表示权重特征图，Z表
示注意力加强后的特征图，Y表示初始特征图，α为常数，LeakyReLU表示激活函数。5.如权利要求...

【专利技术属性】
技术研发人员：汪鼎文，周莲，瞿涛，
申请(专利权)人：武汉大学，
类型：发明
国别省市：