【技术实现步骤摘要】
本专利技术涉及模型量化领域，具体为一种基于自熵过滤与伪标签生成的无数据网络量化方法。
技术介绍
1、模型量化是一种有效的深度学习网络压缩方法，它通过映射的方法将模型的全精度浮点值转换为定点值，从而减少内存的占用。通常会使用部分或全部的原始数据对量化模型进行训练优化，以弥补模型位数降低所带来的精度下降。然而，在现实世界中，因为数据隐私等问题，我们可能无法直接获取原始的数据集，仅仅只有预训练的全精度模型，我们称为无数据量化问题。解决该问题的方法通常会使用特定的生成器，利用预训练模型中批归一化层的信息对生成器进行训练，从而合成近似原始数据分布的合成数据，利用这些合成数据，可以帮助量化模型进行训练，提升模型精度。
2、然而过去的这些方法缺乏对于生成数据质量的有效评估，低质量的数据反而可能会对量化模型的训练起到负面的作用，基于这个问题，本专利技术引入自熵这一概念。在信息论中，熵代表了随机变量的不确定性，我们使用预训练模型计算合成数据集的自熵，用于评估数据的不确定性从而判断其质量。通过自熵这一指标，我们将合成数据集划分为高质量和低质量数...
【技术保护点】
1.一种基于自熵过滤与伪标签生成的无数据网络量化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于自熵过滤与伪标签生成的无数据网络量化方法，其特征在于，所述步骤二中使用自熵作为指标去评估生成数据相对于预训练模型的可靠性，通过计算输入的生成样本在预训练模型中的输出结果确定该样本的自熵。
3.根据权利要求1所述的一种基于自熵过滤与伪标签生成的无数据网络量化方法，其特征在于，所述步骤三中将其在预训练模型中输出置信度最高的那一类作为该样本的伪标签，即主标签，而低可靠的样本，因为其自身的不确定性，同时将预测值第一高和第二高的类别分别作为一...
【技术特征摘要】
1.一种基于自熵过滤与伪标签生成的无数据网络量化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于自熵过滤与伪标签生成的无数据网络量化方法，其特征在于，所述步骤二中使用自熵作为指标去评估生成数据相对于预训练模型的可靠性，通过计算输入的生成样本在预训练模型中的输出结果确定该样本的自熵。
3.根据权利要求1所述的一种基于自熵过滤与伪标签生成的无数据网络量化方法，其特征在于，所述步骤三中将其在预训练模型中输出置信度最高的那一类作为该样本的伪标签，即主标签，而低可靠的样本，因为其自身的不确定性，同时将预测值第一高和第二高的类别分别...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。