一种基于旧数据增量检测新数据的方法技术

本发明专利技术揭示了一种基于旧数据增量检测新数据的方法，先以旧数据作为输入，通过提取有效特征并送入检测器中，得到能检测旧数据的模型并定义为旧模型；而后将旧模型进行备份，其一冻结模型参数仍作为旧模型，且备份所得未冻结模型参数的定义为新模型；对两个模型都输入新数据，提取得到包含旧数据特性的特征和新数据的特征，再利用相关特征转移模块计算两个模型所提取特征的亲和矩阵，比较旧数据和新数据之间的相关特征，并将相关特征融合到新模型所学习到的特征中；最后将融合后的特征送入检测器中，并在蒸馏损失的约束下，同时检测新数据、旧数据。应用本发明专利技术该方法，既能辅助模型学习新数据，又保留模型对旧数据的学习能力，性能表现好。表现好。表现好。

【技术实现步骤摘要】
一种基于旧数据增量检测新数据的方法


[0001]本专利技术涉及一种计算机视觉应用领域，尤其涉及一种基于旧数据增量检测新数据的目标检测模型方法。

技术介绍

[0002]目前主流的增量目标检测方法主要通过知识蒸馏约束和弹性权重巩固等方法进行研究。作为一种典型的知识蒸馏方法，Shmelkov等人不仅设计了一个损失函数来平衡旧模型和新模型对新数据的预测之间的相互作用，还设计了一个知识蒸馏损失，以最大限度地减少对旧模型和新模型在输出响应上的差异。受此方法启发，涌现了大量基于知识蒸馏方法的增量目标检测的工作。
[0003]根据选择不同目标检测框架，这些方法可以分为一阶段增量目标检测方法和两阶段增量目标检测方法。作为典型的两阶段增量目标检测方法，Shmelkov等人提出的方法能够增量检测新数据，但是此方法生成的推荐区域不够准确，影响网络的最终性能。为了克服这个问题，Hao等人提出使用区域建议网络来生成准确的前景边界框。然后，通过扩大分类器中全连接层的神经元数量对新数据的推荐区域进行分类，在蒸馏损失的约束下，分类器保留了学习到的旧数据知识。Peng等人也使用区域推荐网络来生成更有效的推荐区域，并且在增量训练期间只添加未在旧数据集中出现或标记的新数据。Peng等人使用与Shmelkov等人相同的训练策略。Peng等人发现此方法的性能在缺少旧数据注释的设置下并没有下降太多，这说明区域推荐网络是鲁棒的。然后，引入多网络自适应蒸馏以在模型针对新数据进行微调时正确保留旧数据的知识。在VOC数据集上进行类增量实验的结果表明，Peng等人提出的方法分别提高了1.29%mAP（一次添加1个新类别）、5.22%mAP（一次添加5个新类别）和1.13%mAP（一次添加10个新类别），均超过Shmelkov等人提出的方法。此外，Yang等人为了更好地转移从旧数据中学到的知识并保持学习新数据的能力，探索两级目标检测器（Faster R
‑
CNN）的特征空间中的相关性，设计了来自通道、点和实例视图的相关蒸馏损失。同时，Yang等人还提出了一个新的度量标准Stability
‑
Plasticity
‑
mAP，以更好地评估增量目标检测中旧数据的稳定性和新数据的可塑性。上述这些方法仅使用新数据来训练网络，而Acharya等人在训练新数据时会检查模型的旧数据以保持所学知识。具体来说，特征提取器在学习完旧数据后被冻结，学习到的旧数据特征图用于训练乘积量化模型，该模型用于压缩每个特征图张量，压缩后的特征图张量被添加到内存重放缓冲区。在每次增量训练中，将新的类依次输入到训练好的旧模型中，将乘积量化模型压缩的新数据特征图张量也放入内存重放缓冲区，然后从样本中重构出一个随机子集用于增量检测新数据的内存重放缓冲区。当内存重放缓冲区已满时，根据图像中物体数量的优先级和不同类别物体的数量从内存重放缓冲区中取出数据。但是，当类的数量不断增加时，训练成本会相应地变大，或者特征图张量的代表性会相应降低。为了使增量目标检测任务简单、快速和灵活，一些研究人员探索了单阶段增量目标检测方法。在无锚目标检测的背景下，Li等人使用RetainNet作为目标检测器。为了避免灾难性遗忘的问题，Li等人提出的方法从旧模型中提取三类知识，分别
模拟旧模型在目标分类、边界框回归和特征提取方面的行为。但是此方法并未验证模型在常见基准数据集上的有效性。与Li等人提出的方法不同，Peng等人相信由于不同检测器网络结构的独特性，在适当的位置进行蒸馏对于提取无噪声旧模型的知识至关重要。所以Peng等人选择性地提取非回归输出和一些中间层，而不是从旧模型输出中提取。在两个常见的基准数据集上使用两个检测器（FCOS和CenterNet）进行的实验表明，Peng等人所提的方法可以在新模型中保留更多的旧数据知识。
[0004]作为弹性权重巩固的典型方法，Liu等人成功地将弹性权重巩固算法应用于增量目标检测任务。具体来说，Liu等人首先用旧数据训练一个空模型，得到旧模型。经过训练的旧模型对为新数据集收集的图像进行预测。然后，聚合来自旧模型的新数据的预测和旧数据的手动注释。最后，旧模型在来自新数据集的图像上进行增量微调，增量微调过程用到了部分标记的新数据框和部分预测的旧数据伪注释。在对新数据进行微调期间，确保新模型的每个参数与旧模型中的相应参数没有太大差异以此来保留学到的旧数据知识。
[0005]还有一些学者提出了其他方法，例如Wei等人提出了基于增量学习的目标检测的多域自适应方法。该模型通过保存多个领域的知识，可以在训练过程中有效地整合不同领域的知识。目前，性能最好的方法是Joseph等人提出的元学习方法，元学习方法通过重塑模型梯度来优化增量任务的共享信息。该方法通过元学习梯度预处理无缝传递信息，最大限度地减少参数遗忘的可能性并最大化信息传递。
[0006]尽管当前已有的增量目标检测方法表现良好，但是这些方法都致力于保留模型通过约束或共享参数处理旧数据的能力，并没有考虑如何使用从旧数据中学到的知识来帮助模型学习新数据。
[0007]首先，基于知识蒸馏的方法主要通过设计损失函数来平衡旧模型和新模型对新数据的预测之间的相互作用，并且在输出层面或者输出层面和特征层面使用蒸馏损失来约束预测结果的一致性，此类方法只考虑如何平衡模型对新数据和旧数据的预测结果，即如何保留新模型对旧数据的检测能力，因此导致性能不佳。
[0008]其次，基于弹性权重巩固的方法，虽然不依赖于蒸馏损失的约束作用，但是这类方法会标记一些新数据以用来与预测的旧数据联合训练，这无疑增加了人工成本。
[0009]最后，当前性能最好的方法是通过重塑模型梯度来优化增量任务中的共享信息，以实现信息的无缝传递。但是此方法依旧是从保留新模型对旧数据的检测能力出发的，没有考虑到如何将旧数据的信息作为先验条件指导模型去学习新数据。

技术实现思路

[0010]本专利技术的目的旨在提出一种基于旧数据增量检测新数据的方法，为了能够将旧数据的信息作为先验条件指导模型学习新数据。
[0011]本专利技术实现上述目的的技术解决方案为：一种基于旧数据增量检测新数据的方法，其特征在于包括步骤：S1、以旧数据作为输入，通过有效特征提取器对旧数据提取特征，并将有效特征送入检测器中，得到能检测旧数据的模型并定义为旧模型；S2、将旧模型进行备份，并对其中一个旧模型冻结模型参数，仍作为旧模型，且备份所得未冻结模型参数的定义为新模型；
S3、对S2所得旧模型输入新数据，提取得到特征包含旧数据特性的特征，对S2所得新模型输入新数据，对旧模型基础进行调整，提取得到新数据的特征；S4、利用相关特征转移模块计算两个模型所提取特征的亲和矩阵，比较旧数据和新数据之间的相关特征，并将相关特征融合到新模型所学习到的特征中；S5、将融合后的特征送入检测器中，并在蒸馏损失的约束下，同时检测新数据、旧数据。
[0012]进一步地，所述有效特征提取器以Resnet50作为骨干网络，并在第二阶段至第五阶段中插入特征聚合模块，分别捕本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于旧数据增量检测新数据的方法，其特征在于包括步骤：S1、以旧数据作为输入，通过有效特征提取器对旧数据提取特征，并将有效特征送入检测器中，得到能检测旧数据的模型并定义为旧模型；S2、将旧模型进行备份，并对其中一个旧模型冻结模型参数，仍作为旧模型，且备份所得未冻结模型参数的定义为新模型；S3、对S2所得旧模型输入新数据，提取得到特征包含旧数据特性的特征，对S2所得新模型输入新数据，对旧模型基础进行调整，提取得到新数据的特征；S4、利用相关特征转移模块计算两个模型所提取特征的亲和矩阵，比较旧数据和新数据之间的相关特征，并将相关特征融合到新模型所学习到的特征中；S5、将融合后的特征送入检测器中，并在蒸馏损失的约束下，同时检测新数据、旧数据。2.根据权利要求1所述基于旧数据增量检测新数据的方法，其特征在于：所述有效特征提取器以Resnet50作为骨干网络，并在第二阶段至第五阶段中插入特征聚合模块，分别捕获输入数据的全局特征和局部特征，并将各特征聚合模块的输出在卷积的作用下进行拼接...

【专利技术属性】
技术研发人员：靳雨桐，张杰，陈扬，
申请(专利权)人：中科苏州智能计算技术研究院，
类型：发明
国别省市：