【技术实现步骤摘要】
基于支持与查询样本的小样本目标检测方法与系统
本专利技术涉及机器学习
,尤其是涉及基于支持与查询样本的小样本目标检测方法与系统。
技术介绍
目标检测技术是计算机视觉任务中一个基础的任务,该任务旨在从图像中定位并分类出目标类别物体。目标检测技术的应用范围广泛,它为一些下游任务,例如实例分割,场景理解,姿态估计等任务,提供了基础的支持。已有深度目标检测模型在一些类别上取得了较好的准确率,但严重依赖于在大规模带标定数据集。然而在现实场景中,却面临着数据样本分布不均衡、以及样本无监督等问题,因此如何在样本量不足的情况下,进行有效的目标检测,成为了计算机视觉领域的开放式问题。小样本学习为解决这一类问题提供了一套系统的框架,即利用大量的基类(可见类)数据进行训练,即可在拥有少量数据的新类(未见类)上面进行预测。类似于小样本图像分类,小样本目标检测也将检测过程建模为一个个的轮次(episode),在每个轮次中,提供K张某个类别的支持样本的照片以及对应的标定框,要求在另一张不同的查询照片中定位出所有该类别的物体的位置,该设置被称为K- ...
【技术保护点】
1.基于支持与查询样本的小样本目标检测方法,其特征在于包括如下步骤:/nS1,采样图像数据,在包含c类别的标定框的图像中,采样一组支持样本S和一张查询样本Q;/nS2,支持样本和查询样本特征提取,分别得到支持样本、查询样本中,c类别标定框对应区域的特征,作为支持样本区域特征
【技术特征摘要】
1.基于支持与查询样本的小样本目标检测方法,其特征在于包括如下步骤:
S1,采样图像数据,在包含c类别的标定框的图像中,采样一组支持样本S和一张查询样本Q;
S2,支持样本和查询样本特征提取,分别得到支持样本、查询样本中,c类别标定框对应区域的特征,作为支持样本区域特征和查询样本区域特征;
S3,基于查询样本引导的支持样本加权,通过度量每个支持样本区域特征对于查询样本区域特征的贡献度,构建权重,对每个支持样本区域特征进行加权求和,得到加权后的支持样本区域特征;
S4,支持样本引导的查询样本特征增强,根据加权后的支持样本区域特征,对查询样本特征进行增强,并通过增强后的查询样本特征,生成与类别c相关的候选框,并进行微调;
S5,候选框的打分与筛选,通过度量加权后的支持样本区域特征和候选框特征的相似度,进行打分,通过分数阈值,筛选候选框;
S6,将筛选后的候选框与真实标定框,通过整体损失函数进行比较,使得候选框与真
实标定框更接近,从而训练模型;
其中,表示生成候选框的分类损失函数,表示生成候选框的回归损失
函数,表示微调候选框的损失函数,λ1表示超参数,用于平衡不同的损失函数;
然后,向训练好的模型中输入查询样本,根据支持样本,得到查询样本中的目标的位置及类别。
2.根据权利要求1所述的基于支持与查询样本的小样本目标检测方法,其特征在于所述S2中的特征提取如下:
其中,RA是区域特征聚集操作,表示第i层的支持样本特征,表示支持样本中
c类别物体的标定框,表示支持样本中c类别标定框对应区域的特征;表示第i
层的查询样本特征,表示查询样本中c类别物体的标定框,表示查询样本中c类
别标定框对应区域的特征。
3.根据权利要求1所述的基于支持与查询样本的小样本目标检测方法,其特征在于所述S3中权重计算如下:
其中,表示度量器,为卷积操作,在i层特征下,对于k个不同的支持样
本,构成支持样本区域特征集合,不同的支持样本的权重,构成支持样本权
重集合,支持样本区域特征集合根据支持样本权重集合
,进行加权求和,生成加权后的支持样本区域特征。
4.根据权利要求3所述的基于支持与查询样本的小样本目标检测方法,其特征在于所述卷积操作能够进一步提取语义信息,并将查询样本区域特征压缩到与候选框特征同一个语义空间。
5.根据权利要求1所述的基于支持与查询样本的小样本目标检测方法,其特征在于所述S4包括如下步骤:
S41,根据加权后的支持样本区域特征生成对应的动态卷积核:
其中,为生成的动态卷积核,表示动态卷积核生成器,i为层次下标,每层都独立进行;
使用生成的动态卷积核对查询样本特征进行增强:
其中,为卷积操作,表示增强后的查询样本特征;
S42,候选框生成,通过增强后的查询样本特征,生成与类别c相关的候选框。
6.根据权...
【专利技术属性】
技术研发人员:周水庚,张路,张吉,
申请(专利权)人:之江实验室,复旦大学,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。