【技术实现步骤摘要】
数据集蒸馏方法、装置、电子设备及存储介质
本申请涉及计算机应用技术，特别涉及深度学习领域的数据集蒸馏方法、装置、电子设备及存储介质。
技术介绍
随着计算能力的不断提升，深度学习技术得到了迅速发展。通常来说，需要采用大规模的数据集作为训练集，进行深度学习模型的训练。数据量增大的同时，也会伴随着一系列问题的出现，如大规模的数据集中通常存在大量的冗余信息，过多的冗余信息会造成模型的学习结果与期望结果发生偏差，另外也会使模型的训练时长大幅增长等。为此，可进行数据集的蒸馏，但目前还没有较好的实现方式，如目前多采用主动学习的方式，每个周期从未标注的原始数据集中筛选出一部分对于模型提升最大的数据子集送给标注专家进行标注，从而能够在尽量少的数据的基础上得到尽量好的模型效果，间接实现数据压缩的目的，但这种方式的周期较长，需要耗费较大的人力和时间成本等。
技术实现思路
本申请提供了数据集蒸馏方法、装置、电子设备及存储介质。一种数据集蒸馏方法，包括：针对待处理的原始数据集，随机初始化N个蒸馏数据...
【技术保护点】
1.一种数据集蒸馏方法，包括：/n针对待处理的原始数据集，随机初始化N个蒸馏数据，N为大于一的正整数，并执行以下预定处理：/n利用所述原始数据集及N个蒸馏数据训练数据真实性判别模型，根据所述数据真实性判别模型对N个蒸馏数据进行更新；/n利用N个蒸馏数据训练分类模型，所述分类模型为对应于所述原始数据集对应的分类任务的分类模型，根据所述原始数据集及所述分类模型对N个蒸馏数据进行更新；/n若确定符合终止条件，则将最新得到的N个蒸馏数据作为所需的数据集蒸馏结果，否则，重复执行所述预定处理。/n
【技术特征摘要】
1.一种数据集蒸馏方法，包括：
针对待处理的原始数据集，随机初始化N个蒸馏数据，N为大于一的正整数，并执行以下预定处理：
利用所述原始数据集及N个蒸馏数据训练数据真实性判别模型，根据所述数据真实性判别模型对N个蒸馏数据进行更新；
利用N个蒸馏数据训练分类模型，所述分类模型为对应于所述原始数据集对应的分类任务的分类模型，根据所述原始数据集及所述分类模型对N个蒸馏数据进行更新；
若确定符合终止条件，则将最新得到的N个蒸馏数据作为所需的数据集蒸馏结果，否则，重复执行所述预定处理。
2.根据权利要求1所述的方法，其中，所述随机初始化N个蒸馏数据包括：所述蒸馏数据为矩形形式，对所述矩阵中的元素值进行随机初始化。
3.根据权利要求1所述的方法，其中，所述利用所述原始数据集及N个蒸馏数据训练数据真实性判别模型包括：
分别为所述原始数据集中的各原始数据分配一个第一标签，所述第一标签用于标识对应的数据为原始数据；分别为各蒸馏数据分配一个第二标签，所述第二标签用于标识对应的数据为蒸馏数据；根据各原始数据、各蒸馏数据及对应的标签，训练所述数据真实性判别模型。
4.根据权利要求1所述的方法，其中，所述根据所述数据真实性判别模型对N个蒸馏数据进行更新包括：
针对任一蒸馏数据，分别进行以下处理：将所述蒸馏数据输入所述数据真实性判别模型，根据输出的损失值，对所述蒸馏数据进行梯度更新。
5.根据权利要求1所述的方法，其中，所述利用N个蒸馏数据训练分类模型包括：
分别为各蒸馏数据分配一个分类标签，所述分类标签用于标识对应的蒸馏数据所属的分类；根据各蒸馏数据及对应的分类标签训练所述分类模型。
6.根据权利要求1所述的方法，其中，所述根据所述原始数据集及所述分类模型对N个蒸馏数据进行更新包括：
分别将所述原始数据集中的各原始数据输入所述分类模型，根据输出的各损失值，对N个蒸馏数据进行梯度更新。
7.根据权利要求1所述的方法，还包括：所述根据所述原始数据集及所述分类模型对N个蒸馏数据进行更新之后，将所设置的计数参数的取值加一；
所述确定符合终止条件包括：若加一后所述计数参数的取值等于预定阈值，则确定符合终止条件，所述计数参数的初始取值为0。
8.一种数据集蒸馏装置，包括：初始化模块以及蒸馏模块；
所述初始化模块，用于针对待处理的原始数据集，随机初始...
【专利技术属性】
技术研发人员：彭启明，路华，曾凯，罗斌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。