一种隐式新类实例的挖掘方法、装置及电子设备制造方法及图纸

本申请提供一种隐式新类实例的挖掘方法、装置及电子设备，该方法包括：初始化少样本物体检测器；利用少样本物体检测器预测基类数据集中每张图片潜在的新类实例，得到潜在新类实例；通过自监督判别模型修复潜在新类实例的分类分数，确定离线新类实例。该方案挖掘的隐式新类实例可以作为原来新类样本的补充来增强其多样性，从而大大增强模型的表征能力，及可以有效的缓解新类和背景类的混淆。以有效的缓解新类和背景类的混淆。以有效的缓解新类和背景类的混淆。

【技术实现步骤摘要】
一种隐式新类实例的挖掘方法、装置及电子设备


[0001]本专利技术属于计算机视觉
，特别涉及一种隐式新类实例的挖掘方法、装置及电子设备。

技术介绍

[0002]少样本物体检测主要研究训练样本不足场景下的物体检测。少样本物体检测任务中有两个数据集，一个是有充分标注的基类数据集，另一个是只有少量标注的新类数据集。少样本物体检测旨在借助大量已标注的基类数据集来提高检测器在新类上的性能。
[0003]Pretrain
‑
Transfer(预训练
‑
转移)是少样本物体检测的一个常用范式。其中模型会先在基类数据集上进行预训练，以获得通用的表征能力。然后再在另外一个只包含少量有标注样本的新类数据集上进行微调来转移到新类别上。TFA(two
‑
stage fine
‑
tuning approach，两阶段微调方法)是Pretrain
‑
Transfer范式的一个典型模型。TFA采用了Faster R
‑
CNN作为基本模型。在预训练阶段，整个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种隐式新类实例的挖掘方法，其特征在于，所述方法包括：初始化少样本物体检测器；利用所述少样本物体检测器预测基类数据集中每张图片潜在的新类实例，得到潜在新类实例；通过自监督判别模型修复所述潜在新类实例的分类分数，确定离线新类实例。2.根据权利要求1所述的方法，其特征在于，所述少样本物体检测器包括RPN部分；所述利用所述少样本物体检测器预测基类数据集中每张图片潜在的新类实例，得到潜在新类实例，包括：所述RPN部分对所述基类数据集中每张图片预测一组提议框，所述一组提议框中包括若干提议框；所述每个提议框对应一个所述潜在新类实例。3.根据权利要求2所述的方法，其特征在于，所述通过自监督判别模型修复所述潜在新类实例的分类分数，确定离线新类实例，包括：利用所述自监督判别模型提取所述基类数据集中有标注新类实例对应图片的特征图，得到标注特征图；提取所述有标注新类实例的标注框对应区域的特征作为原型；利用所述自监督判别模型提取潜在新类实例对应图片的特征图，得到潜在特征图；提取所述潜在新类实例的提议框对应区域的特征，得到提议框特征；计算所述原型和每个所述提议框特征之间的相似度系数；根据所述相似度系数，修正每个所述提议框的分类分数，得到修正后分类分数；根据所述修正后分类分数及对应类别的自适应阈值，确定所述离线新类实例。4.根据权利要求3所述的方法，其特征在于，所述少样本物体检测器还包括RCNN部分；采用所述RCNN部分的RCNN
‑
Head对每个所述提议框预测分类分数，得到预测分类分数；所述根据所述相似度系数，修正每个所述提议框的分类分数，得到修正后分类分数，包括：...

【专利技术属性】
技术研发人员：曹钰杭，王佳琦，林逸淇，林达华，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：