一种小样本目标检测的方法、系统、设备和存储介质技术方案

本发明专利技术涉及一种小样本目标检测的方法，包括以下步骤：建立目标检测模型；利用公共数据集对目标检测模型进行初步训练，在初步训练完成后加入包含目标对象图像的小样本数据集对目标检测模型进行微调训练；在进行微调训练时，从整体数据集中采样若干支持图像和查询图像；随机选择一包含c类别目标对象的查询图像Qc，支持图像Sc，和不同于c类别的支持图像Sn，形成训练三元组；将训练三元组输入至目标检测模型中，获取目标框，计算目标框的边界框损失，并通过目标检测模型判断输入的查询图像与哪一支持图像匹配，根据目标检测模型输出的匹配结果计算匹配损失，对目标检测模型进行迭代训练；利用训练好的小样本目标检测模型进行目标检测。检测。检测。

【技术实现步骤摘要】
一种小样本目标检测的方法、系统、设备和存储介质


[0001]本专利技术涉及一种小样本目标检测的方法、系统、设备和存储介质，属于目标检测


技术介绍

[0002]众所周知，人类可以仅从一个动物实例中就推广到该动物其它实例，现有深度学习方法，多数仍以数据驱动，即需要成千上万的类别实例训练，使得模型能够“认识”类别的新实例。因此few shot learning,只从少数实例训练，使得模型即可认识新实例，成为目前的一个研究热点。
[0003]通过应用较少的标注数据的半监督方法或者利用不完全匹配的标注数据的弱监督方法，利用极少的标注数据学习具有一定泛化能力的模型显得较为重要，这是小样本学习的所需要解决的问题。
[0004]专利号为“CN113239980A”的专利技术专利公开了一种基于小样本机器学习与超参数优化的水下目标检测方法，基于Cascade
‑
RCNN的小样本目标检测模型；预训练数据集；利用预训练数据集对小样本目标检测模型进行预训练，获得小样本目标检测模型的预训练权重；构建待检测的目标数据集；将目标数据集划分为有标记的支持集和无标记的查询集；对目标数据集进行预处理；对小样本目标检测模型进行微调，得到最终训练完成的小样本目标检测模型；采用基于TPE的贝叶斯优化模型对训练完成的小样本目标检测模型进行超参数优化，得到优化后的小样本目标检测模型；输入预处理后的查询集至优化后的目标检测模型，得到目标检测结果。
[0005]上述现有技术仅是实现了少量样本情况下的目标检测，但是采用的方法还是现有的目标检测方案，并未针对小样本的特性进行优化。

技术实现思路

[0006]为了解决上述现有技术中存在的问题，本专利技术提出了一种小样本目标检测的方法、系统、设备和存储介质。
[0007]本专利技术的技术方案如下：
[0008]一方面，本专利技术提出一种小样本目标检测的方法，包括以下步骤：
[0009]建立目标检测模型；
[0010]利用公共数据集对目标检测模型进行初步训练，在初步训练完成后加入包含目标对象图像的小样本数据集对目标检测模型进行微调训练；其中，所述小样本训练集与公共数据集之间没有交叉部分；
[0011]在进行微调训练时，从加入小样本数据集后的整体数据集中采样若干支持图像和查询图像，生成支持样本集和查询样本集；
[0012]随机选择查询样本集中的一包含c类别目标对象的查询图像Qc，以及包含c类别目标对象的支持图像Sc，另取一包含不同于c类别目标对象的支持图像Sn，形成训练三元组，
在训练三元组中，将查询图像Qc中的c类别目标对象标记为前景，所有其他目标对象都标记为背景；
[0013]将训练三元组输入至目标检测模型中进行特征提取，获取训练三元组中每一图像的目标框，计算目标框的边界框损失，并通过目标检测模型判断输入的查询图像Qc与哪一支持图像匹配，根据目标检测模型输出的匹配结果计算匹配损失，结合边界框损失和匹配损失对目标检测模型进行迭代训练，得到训练好的小样本目标检测模型；
[0014]利用训练好的小样本目标检测模型进行目标检测。
[0015]作为优选实施方式，所述目标检测模型基于Faster
‑
RCNN网络建立，包括backbone网络、RPN网络以及Roi池化操作模块，并在backbone网络和RPN网络之间加入前景增强网络模块以及空间注意力模块；以及在Roi池化操作模块的后端加入一个空间注意力模块；
[0016]所述前景增强网络模块用于对输入图像进行前景注意力特征提取；所述空间注意力模块用于对输入图像进行空间注意力提取。
[0017]作为优选实施方式，所述将训练三元组输入至目标检测模型中进行特征提取的步骤具体为：
[0018]采用ResNet50预训练模型作为backbone网络，输入查询图像Qc、支持图像Sc和支持图像Sn，提取输入图像的基本特征，得到支持图像特征图和查询图像特征图；
[0019]将支持图像特征图输入至前景增强网络模块，提取前景注意力特征，获得第一特征图，再将第一特征图与输入的支持图像特征图进行广播像素相加得到第二特征图；
[0020]将查询图像特征图输入至空间注意力模块，提取空间注意力特征，得到一幅存在负数、零或正数的第三特征图；将第三特征图输入到sigmoid函数进行激活运算，得到第四特征图，将第四特征图与输入的查询图像特征图进行加权融合，得到第五特征图；
[0021]将第二特征图和第五特征图输入至RPN网络，生成目标候选框；
[0022]将目标候选框输入至Roi池化操作模块，得到Roi特征图；
[0023]将Roi特征图输入至空间注意力模块，提取空间注意力特征，得到最终特征图，对最终特征图进行分类和坐标回归，得到预测结果，预测结果包括目标框的位置信息以及匹配结果。
[0024]作为优选实施方式，在根据目标检测模型输出的匹配结果计算匹配损失，结合边界框损失和匹配损失对目标检测模型进行迭代训练的过程中：
[0025]将支持图像Sn作为负样本，支持图像Sc作为正样本，进行四种配对，分别是正样本和前景目标框形成的第一正支持对，正样本和背景目标框形成的第二正支持对，负样本和前景、背景目标框形成的负支持对；
[0026]在训练过程中，根据目标检测模型输出的匹配结果选择N对第一正支持对，2N对第二正支持对以及N对负支持对，并计算所选对的匹配损失。
[0027]另一方面，本专利技术还提出一种小样本目标检测的系统，包括：
[0028]模型建立模块，用于建立目标检测模型；
[0029]初步训练模块，用于利用公共数据集对目标检测模型进行初步训练，在初步训练完成后加入包含目标对象图像的小样本数据集对目标检测模型进行微调训练；其中，所述小样本训练集与公共数据集之间没有交叉部分；
[0030]样本生成模块，用于在进行微调训练时，从加入小样本数据集后的整体数据集中
采样若干支持图像和查询图像，生成支持样本集和查询样本集；
[0031]三元组生成模块，用于随机选择查询样本集中的一包含c类别目标对象的查询图像Qc，以及包含c类别目标对象的支持图像Sc，另取一包含不同于c类别目标对象的支持图像Sn，形成训练三元组，在训练三元组中，将查询图像Qc中的c类别目标对象标记为前景，所有其他目标对象都标记为背景；
[0032]微调训练模块，用于将训练三元组输入至目标检测模型中进行特征提取，获取训练三元组中每一图像的目标框，计算目标框的边界框损失，并通过目标检测模型判断输入的查询图像Qc与哪一支持图像匹配，根据目标检测模型输出的匹配结果计算匹配损失，结合边界框损失和匹配损失对目标检测模型进行迭代训练，得到训练好的小样本目标检测模型；
[0033]检测模块，用于利用训练好的小样本目标检测模型进行目标检测。
[0034]作为优选实施方式，所述目标检测模型基于Faster
‑
R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本目标检测的方法，其特征在于，包括以下步骤：建立目标检测模型；利用公共数据集对目标检测模型进行初步训练，在初步训练完成后加入包含目标对象图像的小样本数据集对目标检测模型进行微调训练；其中，所述小样本训练集与公共数据集之间没有交叉部分；在进行微调训练时，从加入小样本数据集后的整体数据集中采样若干支持图像和查询图像，生成支持样本集和查询样本集；随机选择查询样本集中的一包含c类别目标对象的查询图像Qc，以及包含c类别目标对象的支持图像Sc，另取一包含不同于c类别目标对象的支持图像Sn，形成训练三元组，在训练三元组中，将查询图像Qc中的c类别目标对象标记为前景，所有其他目标对象都标记为背景；将训练三元组输入至目标检测模型中进行特征提取，获取训练三元组中每一图像的目标框，计算目标框的边界框损失，并通过目标检测模型判断输入的查询图像Qc与哪一支持图像匹配，根据目标检测模型输出的匹配结果计算匹配损失，结合边界框损失和匹配损失对目标检测模型进行迭代训练，得到训练好的小样本目标检测模型；利用训练好的小样本目标检测模型进行目标检测。2.根据权利要求1所述的一种小样本目标检测的方法，其特征在于：所述目标检测模型基于Faster
‑
RCNN网络建立，包括backbone网络、RPN网络以及Roi池化操作模块，并在backbone网络和RPN网络之间加入前景增强网络模块以及空间注意力模块；以及在Roi池化操作模块的后端加入一个空间注意力模块；所述前景增强网络模块用于对输入图像进行前景注意力特征提取；所述空间注意力模块用于对输入图像进行空间注意力提取。3.根据权利要求2所述的一种小样本目标检测的方法，其特征在于，所述将训练三元组输入至目标检测模型中进行特征提取的步骤具体为：采用ResNet50预训练模型作为backbone网络，输入查询图像Qc、支持图像Sc和支持图像Sn，提取输入图像的基本特征，得到支持图像特征图和查询图像特征图；将支持图像特征图输入至前景增强网络模块，提取前景注意力特征，获得第一特征图，再将第一特征图与输入的支持图像特征图进行广播像素相加得到第二特征图；将查询图像特征图输入至空间注意力模块，提取空间注意力特征，得到一幅存在负数、零或正数的第三特征图；将第三特征图输入到sigmoid函数进行激活运算，得到第四特征图，将第四特征图与输入的查询图像特征图进行加权融合，得到第五特征图；将第二特征图和第五特征图输入至RPN网络，生成目标候选框；将目标候选框输入至Roi池化操作模块，得到Roi特征图；将Roi特征图输入至空间注意力模块，提取空间注意力特征，得到最终特征图，对最终特征图进行分类和坐标回归，得到预测结果，预测结果包括目标框的位置信息以及匹配结果。4.根据权利要求1所述的一种小样本目标检测的方法，其特征在于，在根据目标检测模型输出的匹配结果计算匹配损失，结合边界框损失和匹配损失对目标检测模型进行迭代训练的过程中：
将支持图像Sn作为负样本，支持图像Sc作为正样本，进行四种配对，分别是正样本和前景目标框形成的第一正支持对，正样本和背景目标框形成的第二正支持对，负样本和前景、背景目标框形成的负支持对；在训练过程中，根据目标检测模型输出的匹配结果选择N对第一正支持对，2N对第二正支持对以及N对负支持对，并计算所选对的匹配损失。5.一种小样本目标检测的系统，其特征在于，包括：模型建立模块，用于建立目标检测模型；初步训练模块，用于利用公共数据集对目标检测模型进行初步训练，在初步训练完成后加入包含目标对象图像的小样本数据集对目标检测模型进行微调训练；其中，所述小...

【专利技术属性】
技术研发人员：刘明，孙祥胜，任飞，
申请(专利权)人：福建万福信息技术有限公司，
类型：发明
国别省市：