少样本目标检测方法、装置和电子设备制造方法及图纸

本发明专利技术提供一种少样本目标检测方法、装置和电子设备；涉及机器视觉技术领域。该方法包括：采用包括基础类别的第一样本数据训练得到第一模型，第一模型包括支持分支、查询分支，第一模型的支持分支用于提取基础类别的类别特征；采用包括新类别的第二样本数据对第一模型进行微调，得到第二模型，第二模型的支持分支用于提取基础类别和新类别的类别特征，第二样本的数量远小于第一样本的数量；将待检测样本输入第二模型的查询分支，提取待检测样本的第一特征；将第一特征与第二模型的类别特征进行特征重加权处理，得到处理后的第二特征，利用第二特征确定待检测样本的检测结果。本发明专利技术能够提高少样本检测器的性能。够提高少样本检测器的性能。够提高少样本检测器的性能。

【技术实现步骤摘要】
少样本目标检测方法、装置和电子设备


[0001]本专利技术涉及机器视觉
，尤其涉及一种少样本目标检测方法、装置和电子设备。

技术介绍

[0002]近年来，基于深度学习的目标检测方法获得了极大的发展。训练深度学习模型需要大量的标注数据，并且标准数据集的类别与真实世界相比较少，因此在标准数据集上训练好的检测模型很难直接应用于真实场景。
[0003]少样本目标检测（Few
‑
Shot Object Detection，FSOD）是使用极少量的样本训练模型，使模型能够进行目标检测的方法。数据量充足的数据称为源域，实例标注稀缺的数据称为目标域。少样本目标检测方法极大地减轻了目标域标注工作的负担。

技术实现思路

[0004]本专利技术提供一种少样本目标检测方法、装置和电子设备，用以解决现有技术中样本标注困难的问题，提高模型训练的效率。
[0005]本专利技术提供一种少样本目标检测方法，包括：采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取所述基础类别的类别特征；采用包括新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，第二样本的数量远小于所述第一样本的数量；将待检测样本输入所述第二模型的查询分支，提取待检测样本的第一特征；将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本的检测结果。
[0006]根据本专利技术提供的一种实施方式，所述将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，包括：将所述第二模型的所述类别特征作为卷积核，对所述第一特征进行卷积运算，得到第二特征，所述第二特征与所述第一特征的大小一致。
[0007]根据本专利技术提供的一种实施方式，所述将所述第二模型的所述类别特征作为卷积核，对所述第一特征进行卷积运算，得到第二特征，包括：将所述第二模型的所述类别特征作为第一卷积核对所述第一特征进行卷积运算，得到第一融合特征；将所述类别特征的第一个维度与第二个维度进行转置，将转置后的类别特征作为第二卷积核，采用第二卷积核对所述第一融合特征再次进行卷积运算；将卷积运算的结果与所述第一特征相加，得到第二特征；其中，所述类别特征的所述第一个维度为类别数，所述第二个维度为通道数。
[0008]根据本专利技术提供的一种实施方式，所述查询分支包括检测层；利用第二特征确定待检测样本的检测结果，包括：将所述第二特征输入检测层，获得待检测样本的目标类别，以及对应的目标边界框。
[0009]根据本专利技术提供的一种实施方式，所述查询分支还包括特征重加权网络，通过包括基础类别的第一样本数据训练得到第一模型，包括：将所述第一样本数据划分为支持集和查询集，所述支持集与所述查询集中均包括所述基础类别；将支持集输入支持分支，对每个基础类别提取类别特征；将所述查询集中的第一样本输入查询分支，提取第一样本的样本特征；将所述类别特征与样本特征输入特征重加权网络进行融合，利用融合后的特征确定第一样本的第一检测结果，以训练第一模型。根据本专利技术提供的一种实施方式，通过损失函数计算第一检测结果与第一样本的标签之间的差异度，基于所述差异度使用反向传播算法调整第一模型的参数。
[0010]本专利技术还提供一种少样本目标检测装置，包括：第一训练模块，用于采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取基础类别的类别特征；第二训练模块，用于采用包括基础类别和新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，所述第二样本的数量远小于第一样本的数量；数据输入模块，用于将待检测样本输入所述第二模型的查询分支，提取所述待检测样本的第一特征；结果确定模块，用于将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本的检测结果。
[0011]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述少样本目标检测方法。
[0012]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种少样本目标检测方法。
[0013]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述少样本目标检测方法。
[0014]本专利技术提供的少样本目标检测方法、装置和电子设备，通过大量基础类别样本先对模型进行预训练，使得模型具备识别基础类别目标的能力。然后再用少量样本的新类别对模型进行微调，使得模型可以快速具备识别新类别样本的能力，提高模型的训练效率。微调后的模型能够准确地检测到新类别和基础类别的目标，可以扩大模型的应用场景，缩短训练周期。并且，基础类别的样本通常有公开的数据集，无需再进行标注。待检测类别只需要较少数量的样本，可以减少标注工作量。
附图说明
[0015]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本专利技术提供的少样本目标检测方法的流程示意图；图2是本专利技术提供的少样本目标检测方法中的模型结构示意图；图3是本专利技术提供的少样本目标检测装置的结构示意图；图4是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0017]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0019]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0020]本说明书中，用语“第一”、“第二”、“第三”等仅作为标记使用，不是对其对象的数量或顺序限制。
[0021]下面结合附图描述本专利技术的少样本目标检测方法、装置和电子设备。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种少样本目标检测方法，其特征在于，包括：采用包括基础类别的第一样本数据训练得到第一模型，所述第一模型包括支持分支、查询分支，所述第一模型的支持分支用于提取所述基础类别的类别特征；采用包括新类别的第二样本数据对所述第一模型进行微调，得到第二模型，所述第二模型的支持分支用于提取所述基础类别和所述新类别的类别特征，第二样本的数量远小于所述第一样本的数量；将待检测样本输入所述第二模型的查询分支，提取待检测样本的第一特征；将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，利用所述第二特征确定所述待检测样本的检测结果。2.根据权利要求1所述的少样本目标检测方法，其特征在于，所述将所述第一特征与所述第二模型的所述类别特征进行特征重加权处理，得到处理后的第二特征，包括：将所述第二模型的所述类别特征作为卷积核，对所述第一特征进行卷积运算，得到第二特征，所述第二特征与所述第一特征的大小一致。3.根据权利要求2所述的少样本目标检测方法，其特征在于，所述将所述第二模型的所述类别特征作为卷积核，对所述第一特征进行卷积运算，得到第二特征，包括：将所述第二模型的所述类别特征作为第一卷积核对所述第一特征进行卷积运算，得到第一融合特征；将所述类别特征的第一个维度与第二个维度进行转置，将转置后的类别特征作为第二卷积核，采用第二卷积核对所述第一融合特征再次进行卷积运算；将卷积运算的结果与所述第一特征相加，得到第二特征；其中，所述类别特征的所述第一个维度为类别数，所述第二个维度为通道数。4.根据权利要求1所述的少样本目标检测方法，其特征在于，所述查询分支包括检测层；所述利用所述第二特征确定所述待检测样本的检测结果，包括：将所述第二特征输入所述检测层，获得所述待检测样本的目标类别，以及对应的目标边界框。5.根据权利要求1所述的少样本目标检测方法，其特征在于，所述查询分支还包括特征重加权网络，采用包括基础类别的第一样本数据训练得到第一模型，...

【专利技术属性】
技术研发人员：朱贵波，李宗树，葛国敬，赵旭，王金桥，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：