基于样本间和特征间关系的数据集蒸馏方法、装置及介质制造方法及图纸

本发明专利技术公开了一种基于样本间和特征间关系的数据集蒸馏方法、装置及介质，所述方法包括：按照数据集蒸馏范式，选择真实数据集，从真实数据集中随机抽取小部分作为初始化合成数据集，为实现公平对比，将数据集中的图片进行缩放；每次迭代在真实数据集中采样一个批次的样本；在训练过程中，采用类中心化约束旨在通过更紧密地聚类类别内的样本来增强类别区分度，并提出协方差匹配约束旨在通过局部特征协方差矩阵在真实数据集和合成数据集之间实现更准确的特征分布匹配；根据损失反向传播梯度优化合成数据集。本发明专利技术和传统的数据集蒸馏方法进行对比，极大程度的促进了数据集蒸馏效果的提升。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，具体涉及一种基于样本间和特征间关系的数据集蒸馏方法、装置及介质。

技术介绍

1、近年来深度学习发展迅速，在各个领域取得了令人瞩目的成果。数据集蒸馏是将知识从大型真实数据集提炼到较小的合成数据集的过程，已成为高效深度学习训练的关键技术。它也被广泛应用于神经架构搜索、持续学习和隐私保护等领域。

2、数据集蒸馏，也称为数据集压缩，最初依赖于核心集选择方法，其中涉及从数据集中选择代表性样本。然而这些方法在性能和可扩展性方面存在局限性，特别是对于大型数据集。目前，数据集蒸馏方法主要分为三类：基于梯度匹配的方法、基于轨迹匹配的方法和基于分布匹配的方法。前两种方法尽管有效，但由于依赖二阶梯度优化，计算成本较高。相比之下，有研究者提出的基于分布匹配方法通过匹配嵌入空间中的特征分布来解决这一挑战，从而降低计算成本。

3、核心集选择是一种早期的数据集蒸馏方法，涉及从数据集中选择代表性样本，并应用于各种环境中。简单的方法包括随机选择，而像herding这样更复杂的技术则侧重于类中心，而k-center方法选择多个质心。遗忘方本文档来自技高网...

【技术保护点】

1.一种基于样本间和特征间关系的数据集蒸馏方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(2)所述统一分辨率为84×84。

3.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(3)所述一个批次样本量为256。

4.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(4)所述的神经网络采用ConvNet神经网络。

5.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(4)所...

【技术特征摘要】

1.一种基于样本间和特征间关系的数据集蒸馏方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(2)所述统一分辨率为84×84。

3.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(3)所述一个批次样本量为256。

4.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(4)所述的神经网络采用convnet神经网络。

5.根据权利要求1所述的一个基于样本间和特征间关系的数据集蒸馏方法，其特征在于，步骤(4)所述的特征均值平方损失如下：

6.根据权利要求1所述的一个基于样本间和特征间关系的...

【专利技术属性】
技术研发人员：李文斌，邓文骁，孙梦颖，霍静，高阳，
申请(专利权)人：南京大学，
类型：发明
国别省市：