向后兼容表示的邻域一致性对比学习方法、系统及介质技术方案

本申请涉及深度学习技术领域，更为具体来说，本申请涉及向后兼容表示的邻域一致性对比学习方法、系统及介质。所述方法包括：获取训练样本；将所述训练样本输入到第一神经网络模型中进行特征提取，得到第一特征；采用高斯核函数计算所述第一特征的熵；基于熵值过滤掉所述第一特征中位于类边缘区域的模糊特征，得到第二特征；将训练样本输入到第二神经网络模型中进行特征提取得到第三特征，利用所述第二特征和所述第三特征进行对比学习；基于对比学习的损失函数优化所述第二神经网络模型。本申请所述方法实现了模型的平滑部署，方便应用，后续在图像检索应用及其它应用场景时可自动更新模型。模型。模型。

【技术实现步骤摘要】
向后兼容表示的邻域一致性对比学习方法、系统及介质


[0001]本申请涉及深度学习
，更为具体来说，本申请涉及向后兼容表示的邻域一致性对比学习方法、系统及介质。

技术介绍

[0002]近些年来，深度学习在很多图像识别及分类任务上实现了超越人类的性能表现，大规模图像检索应用(如行人重识别、车辆重识别)已在城市安防中发挥了重要的作用，其检索涉及的图像数量级可达数十亿乃至上百亿。在如此大的数量级下，新模型的部署更新成本极高。我们需要重新提取数据库中所有图像的新特征，并对新特征构建新的索引。在重提取和重索引期间，我们需要耗费大量的计算资源和储存资源，整个系统可能被挂起。因此，亟待一种更优的神经网络模型部署技术。
[0003]现有的向后兼容表示方法采用类似于蒸馏的损失函数约束新模型，可以在一定程度上获得向后兼容性。然而，蒸馏方法通常假定教师模型的性能优于学生模型，我们的旧模型性能却比新模型差。该方法没有考虑如何从旧模型中选择、过滤出正确的知识，因此，这种方法将在一定程度上损失新特征的判别性。此外，该方法还假设新模型的训练数据与旧模型的训练数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种向后兼容表示的邻域一致性对比学习方法，其特征在于，包括以下步骤：获取训练样本；将所述训练样本输入到第一神经网络模型中进行特征提取，得到第一特征；采用高斯核函数计算所述第一特征的熵；基于熵值过滤掉所述第一特征中位于类边缘区域的模糊特征，得到第二特征；将训练样本输入到第二神经网络模型中进行特征提取得到第三特征，利用所述第二特征和所述第三特征进行对比学习；基于对比学习的损失函数优化所述第二神经网络模型。2.根据权利要求1所述的向后兼容表示的邻域一致性对比学习方法，其特征在于，所述采用高斯核函数计算所述第一特征的熵的方法为：获取所述第一神经网络模型所对应的映射函数；基于所述映射函数采用高斯核函数计算所述训练样本中每一个样本与其在所述第一神经网络模型中被识别出的样本之间的相似度；利用所述相似度求所述第一特征的熵。3.根据权利要求2所述的向后兼容表示的邻域一致性对比学习方法，其特征在于，所述相似度为x
i
表示训练样本中第i个样本，σ表示方差，和表示第一特征中k类特征和j类特征和的平均值，φ
old
表示第一神经网络模型所对应的映射函数，所述第一特征的熵为其中，p为概率，K
new
表示所述训练样本中类的个数。4.根据权利要求1所述的向后兼容表示的邻域一致性对比学习方法，其特征在于，所述对比学习的损失函数为：其中，w
ip
表示聚簇权重，s
ip
代表正样本p与锚点i的相似度，为训练样本集合，A(i)表示和i相同标签的样本构成的集合。5.根据权利要求4所述的向后兼容表示的邻域一...

【专利技术属性】
技术研发人员：段凌宇，吴生森，白燕，
申请(专利权)人：北京大学，
类型：发明
国别省市：