一种基于元学习的增量小样本目标检测方法技术

本发明专利技术涉及一种基于元学习的增量小样本目标检测方法，包括以下步骤：1)构建增量小样本目标检测模型，该模型包括特征提取器、目标定位器以及元学习器；2)对增量小样本目标检测模型进行训练；3)根据训练好的增量小样本目标检测模型进行新目标定位和分类。与现有技术相比，本发明专利技术具有样本需求少、克服遗忘、保护数据隐私等优点。隐私等优点。隐私等优点。

【技术实现步骤摘要】
一种基于元学习的增量小样本目标检测方法


[0001]本专利技术涉及目标检测领域，尤其是涉及一种基于元学习的增量小样本目标检测方法。

技术介绍

[0002]目前，基于卷积神经网络的目标检测方法取得了重大进展，其中一个非常重要的原因在于拥有充足的经过人工标注的数据。但是，人类具备而传统目标检测器不具备的一个能力就是根据少量数据进行快速学习的能力，因此，需要一种采用元学习的训练方式，使得目标检测器能够从充足的基础类别的数据中学习到一种模式，使得该目标检测器能够根据少量的新类别的数据学习到识别新类别物体的能力。
[0003]现阶段有效的小样本目标检测方法可以分为以下两个类别：
[0004](1)基于度量学习的小样本目标检测方法：通过度量支持集(support set)中的图像与查询集(query set)中的图像之间的距离来识别检测框的类别；
[0005](2)基于权重生成的小样本目标检测方法：通过学习生成模型中某些层的权重，使得模型能够通过少量新类别的样本学习到对新类别的检测能力。
[0006]然而这些方法要求目标检测器在学习识别新的类别时，不仅要使用新类别的样本，还需要使用基础类别的样本，这造成了训练时间开销问题以及基础类别数据的存储和隐私问题。

技术实现思路

[0007]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于元学习的增量小样本目标检测方法。
[0008]本专利技术的目的可以通过以下技术方案来实现：
[0009]一种基于元学习的增量小样本目标检测方法，用以使得目标检测器增量地学习到在新类别上的检测能力，包括以下步骤：
[0010]1)构建增量小样本目标检测模型，该模型包括特征提取器、目标定位器以及元学习器；
[0011]2)对增量小样本目标检测模型进行训练；
[0012]3)根据训练好的增量小样本目标检测模型进行新目标定位和分类。
[0013]所述的步骤1)中，特征提取器用以将经过数据增强后的图像作为输入，提取该图像的抽象特征，所述的目标定位器以特征提取器的抽象特征为输入，包含三个并行的工作端，即热力图端、尺寸端和补偿端，并分别输出热力图、尺寸图和补偿图，所述的元学习器用以实现元学习。
[0014]所述的热力图为大小的张量，包含图像中可能包含物体的位置、物体的类别以及置信度信息，所述的尺寸图为大小的张量，包含抽象特征上每一个点对应目标的
尺寸信息，所述的补偿图为大小的张量，包含抽象特征上每一个点对应的目标中心的偏移值信息。
[0015]所述的增量小样本目标检测模型根据热力图、尺寸图和补偿图中的信息进行解码获得图像中的物体定位和分类信息，具体为：
[0016]若热力图中点的值不小于该点周围8个点的值，则判定其为热点，据此获取热力图中的所有热点，热点决定了预测目标框的中心在图像中的坐标和类别；
[0017]根据热点在热力图上的坐标分别对应其在尺寸图和补偿图中的相应位置，据此获取预测目标框的尺寸和预测目标框中心的偏移值；
[0018]解码得到目标的位置和大小，预测目标框用公式表示为：
[0019][0020]其中，和分别为热点的坐标，和分别为热点所对应的目标尺寸，和分别为热点所对应目标中心的偏移值。
[0021]所述的步骤2)包括基础训练阶段、元学习阶段和小样本微调阶段。
[0022]所述的基础训练阶段具体包括以下步骤：
[0023]201)对于每一张包含基础类别的图像，仅保留图像中基础类别目标框的标注；将图像经数据增强后，作为特征提取器的输入并输出抽象特征；
[0024]202)将抽象特征分别作为目标定位器中热力图端、尺寸端和补偿端的输入，输出热力图、尺寸图和补偿图，其中，热力图端采用Focal Loss作为损失函数，尺寸端和补偿端均使用L1损失函数作为损失函数，三个工作端的损失函数按照比例(超参数)进行加和作为整个模型的总检测损失并进行反向传播调整模型的参数；
[0025]203)在后续的元学习阶段和小样本微调阶段中，在基础训练阶段得到的特征提取器的参数以及目标定位器中的热力图端对应于基础类别的滤波器参数不再调整。
[0026]所述的元学习阶段具体包括以下步骤：
[0027]211)将包含基础类别的图像重新组织为多个不同的任务，每一个任务均包含一个支持集和一个测试集，其中，支持集和测试集中分别包含K个相同类别的物体图像，一个任务作为元学习器的一个样本，任务i中包含的2K张图像经过特征提取器得到K个支持特征f
is
＝{f
i,1
,f
i,2
,
…
,f
i,K
}以及K个查询特征f
iq
＝{f
i,K+1
,f
i,K+2
,
…
,f
i,2K
}，并将目标定位器的权重初始化为元学习器的权重；
[0028]212)将支持特征f
is
＝{f
i,1
,f
i,2
,
…
,f
i,K
}经过目标定位器输出对应的热力图尺寸图和补偿图后，计算总检测损失并反向传播对应的损失更新目标定位器的权重，获取目标定位器的一个中间状态；
[0029]213)将查询特征f
iq
＝{f
i,K+1
,f
i,K+2
,
…
,f
i,2K
}输入到处于中间状态的目标定位器中，输出对应的热力图、尺寸图和补偿图，计算总检测损失并反向传播更新元学习器的参
数。
[0030]所述的步骤212)中，获取目标定位器的一个中间状态，具体表示为：
[0031][0032]其中，w为目标定位器的参数，w
′
为目标定位器中间状态的参数，δ为学习率，为目标定位器的总损失函数，为以支持特征作为目标定位器的输入所产生的总损失对目标定位器参数w的梯度。
[0033]所述的步骤213)中，元学习器的目标函数表达式为：
[0034][0035]其中，表示第i个任务，为任务的分布，为在经过支持特征作为输入并更新目标定位器参数后，再由查询特征作为更新后的目标定位器的输入所产生的总损失。
[0036]所述的小样本微调阶段具体为：
[0037]在基础训练阶段和元学习阶段结束后，此时，增量小样本目标检测模型处于一个能够快速拟合少量新类别样本的状态，当少量新类别样本出现时，该模型在不使用任何基础类别样本进行平衡的情况下快速拟合新类别的样本，拟合得到的模型保持在基础类别上的检测性能，同时在新类别的物体上也具备检测能力。
[0038]与现有技术相比，本专利技术具有以下优点：
[0039]一、样本需求少：本专利技术提出采用基础样本训练模型，使模型处于能够快速拟合少量样本的初始状态，在提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习的增量小样本目标检测方法，用以使得目标检测器增量地学习到在新类别上的检测能力，其特征在于，包括以下步骤：1)构建增量小样本目标检测模型，该模型包括特征提取器、目标定位器以及元学习器；2)对增量小样本目标检测模型进行训练；3)根据训练好的增量小样本目标检测模型进行新目标定位和分类。2.根据权利要求1所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的步骤1)中，特征提取器用以将经过数据增强后的图像作为输入，提取该图像的抽象特征，所述的目标定位器以特征提取器的抽象特征为输入，包含三个并行的工作端，即热力图端、尺寸端和补偿端，并分别输出热力图、尺寸图和补偿图，所述的元学习器用以实现元学习。3.根据权利要求2所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的热力图为大小的张量，包含图像中可能包含物体的位置、物体的类别以及置信度信息，所述的尺寸图为大小的张量，包含抽象特征上每一个点对应目标的尺寸信息，所述的补偿图为大小的张量，包含抽象特征上每一个点对应的目标中心的偏移值信息。4.根据权利要求3所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的增量小样本目标检测模型根据热力图、尺寸图和补偿图中的信息进行解码获得图像中的物体定位和分类信息，具体为：若热力图中点的值不小于该点周围8个点的值，则判定其为热点，据此获取热力图中的所有热点，热点决定了预测目标框的中心在图像中的坐标和类别；根据热点在热力图上的坐标分别对应其在尺寸图和补偿图中的相应位置，据此获取预测目标框的尺寸和预测目标框中心的偏移值；解码得到目标的位置和大小，预测目标框用公式表示为：其中，和分别为热点的坐标，和分别为热点所对应的目标尺寸，和分别为热点所对应目标中心的偏移值。5.根据权利要求1所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的步骤2)包括基础训练阶段、元学习阶段和小样本微调阶段。6.根据权利要求5所述的一种基于元学习的增量小样本目标检测方法，其特征在于，所述的基础训练阶段具体包括以下步骤：201)对于每一张包含基础类别的图像，仅保留图像中基础类别目标框的标注；将图像经数据增强后，作为特征提取器的输入并输出抽象特征；202)将抽象特征分别作为目标定位器中热力图端、尺寸端和补偿端的输入，输出热力
图、尺寸图和补偿图，其中，热力图端采用FocalLoss作为损失函数，尺寸端和补偿端均使用L1损失函数作为损失函数，三个工作端的损失函数按照比例进行加和作为整个模型的总检测损失并进行反向传播调整模型的参数；203)在后续的元学习阶段和小样本微调阶段中，在基础训练阶段得到的特征提取器的参数以及目标定位器中的热力图端对应于基础类别的滤波器参数不再调整。7.根据权利要求5所述的一种基于元学习的增量小样本目标检测方法...

【专利技术属性】
技术研发人员：王瀚漓，程孟，
申请(专利权)人：同济大学，
类型：发明
国别省市：