跨模态知识引导的小样本神经网络目标检测方法技术

本发明专利技术提供了一种跨模态知识引导的小样本神经网络目标检测方法，包括：构建目标检测模型；获取已标注的样本图像集；将所述样本图像集输入到所述目标检测模型中进行训练，得到训练好的目标检测模型，作为小样本目标检测模型；利用所述小样本目标检测模型对目标图像中的目标的类别和位置进行检测。本发明专利技术在现有的神经网络小样本目标检测方法的基础上，引入文本模态知识，通过文本知识提取网络和跨模态知识融合网络将从每个类别的文本描述中提取的高级语义信息与图像特征融合，进而送入检测头部网络实现新类别目标的预测，解决小样本图像数据中类别泛化信息不足的问题，能够提升神经网络小样本目标检测的性能。网络小样本目标检测的性能。网络小样本目标检测的性能。

【技术实现步骤摘要】
跨模态知识引导的小样本神经网络目标检测方法


[0001]本专利技术涉及深度神经网络以及计算机视觉领域，特别是涉及一种跨模态知识引导的小样本神经网络目标检测方法。

技术介绍

[0002]基于深度学习的目标检测模型都需要大量的数据投喂才能获得较好的泛化性能，然而标注大量的数据是十分耗费人力和时间的过程。相反，人类则可以根据新事物的极少样例学会识别新的物体。因此，小样本目标检测被提出。小样本目标检测将在数据量充足的基类数据集上学习的知识迁移到数据量极少的新类数据集上，以提升新类别的检测效果。
[0003]神经网络小样本目标检测方法可以分为基于元学习的方法和基于微调的方法。基于元学习的方法受小样本学习的启发，构建包含支撑集和查询集的小样本任务。支撑集由每个类别的k个目标实例构成，查询集是需要检测目标的图片。基于元学习的小样本目标检测方法从支撑集中提取每个类别的原型特征，以用于检测出查询集图像中对应类别的目标。基于微调的小样本目标检测方法则首先在数据丰富的包含基类的数据上训练模型，然后在数据有限的包含新类别的数据集上进行微调，使模型可以检测出新类别的实例。然而，当前的小样本目标检测方法都只在少量的图片中提取信息，当每个类别的图片数量很少时，图片中包含的信息不具有泛化性，模型无法学习到该类别真正的特性。

技术实现思路

[0004]针对上述技术问题，本专利技术采用的技术方案为：
[0005]本专利技术实施例提供一种跨模态知识引导的小样本神经网络目标检测方法，所述方法包括如下步骤：
[0006]S100，构建目标检测模型；所述目标检测模型用于基于m个设定类别的文本描述对待检测图像中的目标的所属类别和位置进行检测，所述小样本目标神经网络模型包括特征提取器、候选区域生成网络、文本知识提取网络、跨模态知识融合网络和检测头部网络；其中，每个设定类别的文本描述用于描述对应设定类别的固有属性，并且，任意两个设定类别的文本描述之间的相似度小于设定相似度阈值；
[0007]S200，获取已标注的样本图像集；所述样本图像集包括m个设定类别的样本图像，并且属于同一设定类别的样本图像的数量小于设定数量阈值；
[0008]S300，将所述样本图像集输入到所述目标检测模型中进行训练，得到训练好的目标检测模型，作为小样本目标检测模型；
[0009]S400，利用所述小样本目标检测模型对目标图像中的目标的类别和位置进行检测；
[0010]其中，S300具体包括：
[0011]S301，将任一样本图像IMG
i
输入到所述特征提取器中进行特征提取，得到对应的特征图IF
i
；i的取值为1到n，n为样本图像集中的样本图像数量；
[0012]S302，将IF
i
输入到所述候选区域生成网络中进行候选区域特征提取，得到对应的f(i)个候选区域特征向量；
[0013]S303，将第j个设定类别的文本描述输入到所述文本知识提取网络中进文本语义特征提取，得到对应的文本语义特征向量TF
j
；j的取值为1到m；
[0014]S304，将IF
i
对应的第k个候选区域特征向量IF
ik
和TF
j
输入到跨模态知识融合网络中进行融合，得到对应的融合特征向量ITF
jik
；k的取值为1到f(i)；
[0015]S305，将ITF
jik
输入到检测头部网络中进行检测，得到对应的检测结果；
[0016]S306，基于每个样本图像对应的检测结果和设定损失函数获取当前检测模型对应的损失，所述损失包括类别损失和位置损失；
[0017]S307，设置C＝C+1；如果当前检测模型对应的损失小于设定损失阈值，或者，C＞C0，则将当前检测模型作为所述小样本目标检测模型，否则，执行S301；C的初始值为0，C0为设定迭代次数。
[0018]本专利技术至少具有以下有益效果：
[0019]本专利技术在现有的神经网络小样本目标检测方法的基础上，引入文本模态知识，通过文本知识提取网络和跨模态知识融合网络将从每个类别的文本描述中提取的高级语义信息与图像特征融合，进而送入检测头部网络实现新类别目标的预测，解决小样本图像数据中类别泛化信息不足的问题，能够提升神经网络小样本目标检测的性能。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术实施例提供的跨模态知识引导的小样本神经网络目标检测方法的流程图。
[0022]图2为示出文本语义特征的示意图。
[0023]图3为示出融合特征提取的示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]图1为本专利技术实施例提供的跨模态知识引导的小样本神经网络目标检测方法的流程图。
[0026]本专利技术实施例提供一种跨模态知识引导的小样本神经网络目标检测方法，如图1所示，所述方法可包括如下步骤：
[0027]S100，构建目标检测模型；所述目标检测模型用于基于m个设定类别的文本描述对待检测图像中的目标的所属类别和位置进行检测，所述小样本目标神经网络模型包括特征
提取器、候选区域生成网络、文本知识提取网络、跨模态知识融合网络和检测头部网络；其中，每个设定类别的文本描述用于描述对应设定类别的固有属性，并且，任意两个设定类别的文本描述之间的相似度小于设定相似度阈值。
[0028]在本专利技术实施例中，目标检测模型可为神经网络模型，例如，Faster RCNN网络结构。本领域技术人员知晓，构建目标检测模型可包括设置模型的初始信息，包括网络参数的初始值、迭代次数C0、损失函数等。
[0029]其中，特征提取器可为残差网络。在一个示意性实施例中，可为50层的残差网络。优选，在另一个示意性实施例中，特征提取器可为101层的残差网络，以提取到更多的特征信息。
[0030]候选区域生成网络可由三个卷积层依次串联构成，每个卷积层卷积核可为1
×
1卷积核，每个卷积层的网络参数不同。文本知识提取网络可为门控循环神经网络，如图2所示。
[0031]跨模态知识融合网络可由三个卷积层构成，分别为第一卷积层、第二卷积层和第三卷积层，如图3所示。跨模态知识融合网络的每个卷积层卷积核可为1
×
1卷积核，每个卷积层的网络参数不同。
[0032]在本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态知识引导的小样本神经网络目标检测方法，其特征在于，所述方法包括如下步骤：S100，构建目标检测模型；所述目标检测模型用于基于m个设定类别的文本描述对待检测图像中的目标的所属类别和位置进行检测，所述小样本目标神经网络模型包括特征提取器、候选区域生成网络、文本知识提取网络、跨模态知识融合网络和检测头部网络；其中，每个设定类别的文本描述用于描述对应设定类别的固有属性，并且，任意两个设定类别的文本描述之间的相似度小于设定相似度阈值；S200，获取已标注的样本图像集；所述样本图像集包括m个设定类别的样本图像，并且属于同一设定类别的样本图像的数量小于设定数量阈值；S300，将所述样本图像集输入到所述目标检测模型中进行训练，得到训练好的目标检测模型，作为小样本目标检测模型；S400，利用所述小样本目标检测模型对目标图像中的目标的类别和位置进行检测；其中，S300具体包括：S301，将任一样本图像IMG
i
输入到所述特征提取器中进行特征提取，得到对应的特征图IF
i
；i的取值为1到n，n为样本图像集中的样本图像数量；S302，将IF
i
输入到所述候选区域生成网络中进行候选区域特征提取，得到对应的f(i)个候选区域特征向量；S303，将第j个设定类别的文本描述输入到所述文本知识提取网络中进文本语义特征提取，得到对应的文本语义特征向量TF
j
；j的取值为1到m；S304，将IF
i
对应的第k个候选区域特征向量IF
ik
和TF
j
输入到跨模态知识融合网络中进行融合，得到对应的融合特征向量ITF
jik
；k的取值为1到f(i)；S305，将ITF
jik
输入到检测头部网络中进行检测，得到对应的检测结果；S306，基于每个样本图像对应的检测结果和设定损失函数获取当前检测模型对应的...

【专利技术属性】
技术研发人员：刁文辉，路晓男，冯瑛超，张强，闫志远，李俊希，申志平，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：