【技术实现步骤摘要】
本专利技术涉及一种基于迁移学习微调的ddetr小样本目标检测方法，属于计算机视觉。
技术介绍
1、目标检测是众多视觉任务，例如实例分割、目标跟踪、图像描述、行为识别等的基础，在视频监控、自动驾驶和机器人视觉导航等现实场景中也已经被应用。作为计算机视觉中最基础、也最具有挑战性的工作之一，目标检测近年来受到了广泛的关注，并取得了许多实质性进展。归功于大数据和计算机硬件的快速发展，基于深度学习的目标检测算法占据了主导地位。例如，2015年提出的fast r-cnn使用深度卷积网络对目标区域进行检测(rossgirshick.fast r-cnn.cvpr 2015),2020年提出的基于transformer的端到端目标检测网络detection transformer(detr，carion n,massa f,synnaeve g,et al.end-to-endobject detection with transformers.european conference on computer vision，2020:213-229)，以及随后提出的deformable detr网络，简称为ddetr(zhu x,su w,lu l,et al.deformabledetr:deformable transformers for end-to-end objectdetection.arxiv preprint arxiv:2010.04159,2020)，通过可变形注意力解决标准transformer中的注意力问题，加快了模型的
2、一般来说，深度神经网络需要大量的标签数据进行训练，才能使得模型能够比较完整地掌握数据的分布，从而收敛到满意的结果。因此，在基于深度神经网络进行目标检测的任务中，往往需要充足的、带有结构化标签的样本来有监督地训练检测器，其中结构化标签包括图像中目标的位置以及目标的类别。但是，在实际应用场景中，获取标签化样本需要大量的人力进行标注，耗时且花费巨大。虽然也存在自监督目标检测算法，这些算法只需要足够的样本而不需要这些样本带有结构化标签，但是在当前阶段，完全自监督的目标检测算法还无法与有监督目标检测算法相媲美。此外，抛开所需的标注资源不谈，在部分场景中仅仅是获得充足的图像也是困难的，例如濒危物种或者医学影像等应用场景。样本少、标注难等特点在很大程度上限制了目标检测器的性能提升，而不同场景的差异也导致了目标检测器迁移困难，这意味着当在新的应用场景中执行目标检测任务时，要重新获得大量的标注数据，进而用新数据训练新模型，这无疑增加了成本。
3、然而，即使是人类的幼童，也能够通过少量样本快速分辨出新的事物。与此类似，小样本目标检测任务试图仅使用极少量的标签样本，就能够检测出新类，因此，小样本目标检测能够缓解传统目标检测器对大量标签数据的依赖，有着重要的应用价值，近年来受到了广大研究者的广泛关注。
4、但是，仅使用极少量标签样本训练高性能目标检测器存在着诸多挑战。首先，作为多任务学习模型，目标检测需要同时回归目标的位置和预测目标的类别，任务本身难度高。其次，在样本数极少的情况下，模型容易出现过拟合严重、泛化性能差、方差大、难以充分掌握数据分布等问题，导致模型性能下降。除此之外，现有的小样本目标检测算法常采用双阶段训练策略，两个训练阶段涉及到不同的网络结构，包含不同的评估方式，现有的网络模型训练框架不能同时满足以上的特殊训练需求。
技术实现思路
1、本专利技术的目的是提供一种基于迁移学习微调的ddetr(deformable detr)小样本目标检测方法，下文称为fs_ddetr(few-shot ddetr)。该方法以ddetr目标检测网络框架为基础，设计针对小样本目标检测的网络框架，在原ddetr网络的基础上添加类别过滤模块(class fi lter)、类别重映射模块(class reid)、分类结果映射模块(classresreid)，以及分类头部可调节的ddetr网络模块，将不同阶段、不同评估指标下模型的训练和推理整合进该框架。进一步在该框架下设计了一种基于ddetr网络的迁移学习微调策略，使得fs_ddetr在小样本目标检测任务中达到了相当有竞争力的性能。
2、为实现上述目的，本专利技术采用的技术方案流程如下：
3、一种基于迁移学习微调的ddetr小样本目标检测方法，其特征在于：
4、以ddetr目标检测网络为基本网络框架、实现基于迁移学习微调的小样本目标检测，训练过程分为两个阶段：基础训练阶段和微调阶段；在基础训练阶段使用基类数据进行训练；在微调训练阶段根据评估指标的不同，选择使用不同的m-way-k-shot小样本数据集：当使用fsod作为评估指标时，只使用新类构成的小样本数据集进行训练；当使用g-fsod作为评估指标时，使用包含基类和新类的小样本数据集进行训练。
5、如上所述的方法，其特征在于所述以ddetr目标检测网络为基本网络框架、实现基于迁移学习微调的小样本目标检测，包括如下步骤：
6、(1)过滤目标类别：对于输入数据，使用类别过滤模块(classfilter)过滤掉当前设定下不属于目标类别的标注，即在基础训练阶段，模型只需要使用基类的标注，而不需另外的属于新类的标注，因此将新类的标注过滤掉；在微调阶段，根据评估指标来确定是否过滤掉属于基类的标注，防止模型在训练的过程中“看到”不符合当前设定的标签；
7、(2)类别重映射：对于过滤类别后的数据集，使用类别重映射模块(class reid)将不连续的类别标签映射为连续的类别标签，供模型训练和评估，并保存映射关系表供后续模块使用；
8、(3)分类头部可调节的ddetr检测网络：训练时根据不同阶段、不同评估指标，采用不同分类头部的ddetr检测网络；提出的分类头部可调节的ddetr检测网络共包含三种分类头部：base、novel fsod和novel g-fsod。基础训练阶段使用base分类头部，该头部需要对基类所有类别完成分类；微调阶段根据不同的评估指标，有novel fsod和novel g-fsod两种可选的分类头部：若使用fsod作为评估指标，则使用novel fsod分类头部，只需要对新类所有类别完成分类；若使用g-fsod作为评估指标，则使用novel g-fsod分类头部，此时需要对基类和新类所有类别完成分类；
9、(4)基于ddetr网络的迁移学习微调策略：基础训练阶段的训练步骤与传统ddetr检测网络模型的训练步骤相同，微调阶段使用基于ddetr网络的迁移学习微调策略；模型推理时则直接输出检测结果供下一步使用；
10、(5)映射分类结果：模型推理时，分类结果映射模块(classresreid)将模型输出的推理结果重新映射回原标签，实现对ms coco官方评估api的支持。
11、如上所述的方法本文档来自技高网...
【技术保护点】
1.一种基于迁移学习微调的DDETR小样本目标检测方法，其特征在于：
2.如权利要求1所述的以DDETR目标检测网络为基本网络框架实现基于迁移学习微调的小样本目标检测，其特征在于包括如下步骤：
3.如权利要求2所述的一种基于迁移学习微调的DDETR小样本目标检测方法，其特征在于步骤(2.4)中DDETR检测网络模型的训练步骤如下：
4.如权利要求2所述的一种基于迁移学习微调的DDETR小样本目标检测方法，其特征在于步骤(2.4)中基于DDETR网络的迁移学习微调策略包括：
【技术特征摘要】
1.一种基于迁移学习微调的ddetr小样本目标检测方法，其特征在于：
2.如权利要求1所述的以ddetr目标检测网络为基本网络框架实现基于迁移学习微调的小样本目标检测，其特征在于包括如下步骤：
3.如权利要求2所述的一种基于迁移学习...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。