本发明专利技术提供一种基于伪目标重放与挖掘的增量目标检测方法及装置，所述方法包括：获取一已训练完成的旧模型和若干新训练数据，并用已训练完成的旧模型初始化新模型，以得到原始新模型；结合随机生成的噪声向量、旧类标签与边界框对新训练数据进行增广，得到增广后的新数据；将增广后的新数据输入到原始新模型和旧模型中，通过原始新模型和旧模型分别得到图像级特征、实例级特征和检测结果进行原始新模型的参数更新，以得到新模型；基于新模型，得到待检测数据的目标检测结果。本发明专利技术可以减少增量模型在共现和非共现场景下的性能差距。
1、由于基于深度学习的目标检测模型在新数据上微调时会产生“灾难性遗忘”现象，因此很多增量目标检测方法被提出用于解决该问题。目前的增量目标检测方法通常采用基于正则化的方法，其通常的实验设置是将现有目标检测数据集根据图像是否包含旧类或者新类目标划分成旧类数据和新类数据，然而目标检测数据中新类和旧类目标经常出现在同一图像中，该划分方式会导致新类数据中存在未标注的旧类目标。因此，现有的增量目标检测方法无需存储额外的旧类数据就能达到较好的性能。然而，实际应用中很多类别是罕见的，新数据中无法出现新旧类共现的情况，并且也无法从无标注的外部数据中获得旧类目标，这种情况会导致现有方法的性能下降。也就是说，目前的增量目标检测方法的性能依赖于新数据中存在未标注的旧类目标，旧类目标缺失会导致现有方法在旧类上的精度下降，或者，某些罕见类很少甚至不会出现在新数据或外部数据中，导致现有方法失效。
1、本专利技术的目的在于针对非共现场景(旧类目标不出现在新数据中)下的增量目标检测任务，设计的一种基于伪目标重放与挖掘的增量目标检测方法及装置，该方法通过训练一个无需旧数据的目标生成器来生成与旧数据中的目标分布相似的伪目标，并将伪目标与新数据合成从而实现新旧类目标共现，最后用合成数据训练增量模型，并在增量训练过程中挖掘假阳性旧类目标，并蒸馏其特征，从而达到减少增量模型在共现和非共现场景下的性能差距的目的。
>2、本专利技术的技术方案，包括：3、一种基于伪目标重放与挖掘的增量目标检测方法，包括：
4、获取一已训练完成的旧模型和若干新训练数据，并用已训练完成的旧模型初始化新模型，以得到原始新模型；
5、结合随机生成的噪声向量、旧类标签与边界框对新训练数据进行增广，得到增广后的新数据；
6、将所述增广后的新数据输入到所述原始新模型和所述旧模型中，通过所述原始新模型和所述旧模型分别得到图像级特征、实例级特征和检测结果进行所述原始新模型的参数更新，以得到新模型；
7、基于所述新模型，得到待检测数据的目标检测结果。
8、进一步地，所述结合随机生成的噪声向量、旧类标签与边界框对新训练数据进行增广，得到增广后的新数据，包括：
9、从新训练数据中随机选择真实背景图像；
10、将所述真实背景图像输入到旧模型中后，对旧模型的主干提取的特征展平，以得到所述新训练数据的背景信息bg；
11、从高斯分布中随机采样n个噪声向量z，随机生成n个旧类标签y，并在每个生成区域中随机采样一个边界框box；
12、将所述噪声向量z、旧类标签y、边界框box和背景信息bg输入到生成器中，得到目标
13、将所述目标粘贴到所述新训练数据中，得到增广后的新数据；其中，所述粘贴的生成区域不能覆盖所述新训练数据中的原目标。
14、进一步地，训练所述生成器的损失函数其中，表示基于所述增广后的新数据的第一预测结果和生成目标的真值标签之间的差异得到的检测损失，表示ciou损失，表示粘贴之后的生成区域和粘贴之前的生成区域之间的l1损失，所述增广后的新数据的第一预测结果基于所述旧模型获取，所述生成目标的真值标签包括：旧类标签y和边界框box。
15、进一步地，将所述增广后的新数据输入到所述原始新模型和所述旧模型中，通过所述原始新模型和所述旧模型分别得到图像级特征、实例级特征和检测结果进行所述原始新模型的参数更新，以得到新模型，包括：
16、将所述增广后的新数据输入到所述原始新模型中，得到所述增广后的新数据的实例级特征图像级特征f和第二预测结果；
17、将所述增广后的新数据输入到所述旧模型，得到所述增广后的新数据的实例级特征和每一通道的图像级特征f′i；
18、根据所述第二预测结果和监督信息之间的差异，得到检测损失所述监督信息包括：旧类伪标签、新训练数据的真值标签和生成目标的真值标签，所述旧类伪标签是指新训练数据输入到旧模型中得到的预测结果的置信度大于设定值的结果；
19、根据所述实例级特征和所述实例级特征的均方误差，得到旧类目标和假阳性旧类目标的实例级特征蒸馏损失
20、根据所述图像级特征f和图像级特征f′的均方误差，得到图像级的特征蒸馏损失其中，所述图像级特征f′通过聚合所有通道的图像级特征f′i得到；
21、基于检测损失图像级特征蒸馏损失旧类目标和假阳性旧类目标的特征蒸馏损失以及分类和回归层的蒸馏损失对所述原始新模型进行参数更新，以得到新模型。
22、进一步地，所述根据所述图像级特征f和图像级特征f′的均方误差，得到图像级的特征蒸馏损失包括：
23、获取原始新模型的生成层输出
24、计算旧模型的图像级特征的归一化特征图c是旧模型的图像级特征的通道数；
25、计算图像级特征蒸馏损失t表示阈值。
26、进一步地，所述旧模型的网络结构包括：基于faster r-cnn构建的神经网络。
27、一种基于伪目标重放与挖掘的增量目标检测装置，包括：
28、数据获取模块，用于获取一已训练完成的旧模型和若干新训练数据，并用已训练完成的旧模型初始化新模型，以得到原始新模型；
29、伪目标重放模块，用于结合随机生成的噪声向量、旧类标签与边界框对新训练数据进行增广，得到增广后的新数据；
30、伪目标挖掘模块，将所述增广后的新数据输入到所述原始新模型和所述旧模型中，通过所述原始新模型和所述旧模型分别得到图像级特征、实例级特征和检测结果进行所述原始新模型的参数更新，以得到新模型；
31、目标检测模块，用于基于所述新模型，得到待检测数据的目标检测结果。
32、一种计算机设备，其特征在于，所述计算机设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现上述任一项所述的基于伪目标重放与挖掘的增量目标检测方法。
33、一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时，以实现上述任一项所述的基于伪目标重放与挖掘的增量目标检测方法。
34、与现有的方法相比，本专利技术利用冻结的旧模型的响应训练伪目标生成器，并在增量训练过程中，将伪目标和新数据进行合并，用合成数据训练增量模型，从而能够保持训练数据量不变。在增量训练过程中，通过挖掘假阳性旧类目标，将其从旧模型中提取的特征迁移到增量模型，进一步弥补了旧类目标不足的问题。实验证明，本专利技术在现有目标检测数据集上能够显著减小共现和非共现设置上的性能差距。
本文档来自技高网...
【技术保护点】
1.一种基于伪目标重放与挖掘的增量目标检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述结合随机生成的噪声向量、旧类标签与边界框对新训练数据进行增广，得到增广后的新数据，包括：
3.如权利要求2所述的方法，其特征在于，训练所述生成器的损失函数其中，表示基于所述增广后的新数据的第一预测结果和生成目标的真值标签之间的差异得到的检测损失，表示CIoU损失，表示粘贴之后的生成区域和粘贴之前的生成区域之间的L1损失，所述增广后的新数据的第一预测结果基于所述旧模型获取，所述生成目标的真值标签包括：旧类标签y和边界框box。
4.如权利要求2所述的方法，其特征在于，将所述增广后的新数据输入到所述原始新模型和所述旧模型中，通过所述原始新模型和所述旧模型分别得到图像级特征、实例级特征和检测结果进行所述原始新模型的参数更新，以得到新模型，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述图像级特征F和图像级特征F′的均方误差，得到图像级特征蒸馏损失包括：
6.如权利要求1至5任一项所述的方法，其特征在于，所述旧模型的网络结构包括：基于Faster R-CNN构建的神经网络。
7.一种基于伪目标重放与挖掘的增量目标检测装置，其特征在于，所述装置包括：
8.一种计算机设备，其特征在于，所述计算机设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1至6任一项所述的基于伪目标重放与挖掘的增量目标检测方法。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时，以实现权利要求1至6任一项所述的基于伪目标重放与挖掘的增量目标检测方法。
...
【技术特征摘要】
1.一种基于伪目标重放与挖掘的增量目标检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述结合随机生成的噪声向量、旧类标签与边界框对新训练数据进行增广，得到增广后的新数据，包括：
3.如权利要求2所述的方法，其特征在于，训练所述生成器的损失函数其中，表示基于所述增广后的新数据的第一预测结果和生成目标的真值标签之间的差异得到的检测损失，表示ciou损失，表示粘贴之后的生成区域和粘贴之前的生成区域之间的l1损失，所述增广后的新数据的第一预测结果基于所述旧模型获取，所述生成目标的真值标签包括：旧类标签y和边界框box。
4.如权利要求2所述的方法，其特征在于，将所述增广后的新数据输入到所述原始新模型和所述旧模型中，通过所述原始新模型和所述旧模型分别得到图像级特征、实例级特征和检测结果进行所述原始新模型的参...
【专利技术属性】
技术研发人员：杨东宝，周宇，王伟平，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。