【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种模型的量化感知训练方法及装置。
技术介绍
1、随着人工智能技术的发展，神经网络的应用日益广泛，但神经网络所需要的巨大计算和存储开销问题也日益凸显。为了实现模型压缩和推理加速，有一种量化模型的方法，即通过减少神经网络中权重和激活值的位宽，来降低模型大小和推理延迟。量化方法包括训练后量化、量化感知训练。训练后量化是在训练完成后进行的，不需要训练模型参数，但是精度会有一定的损失。因此，量化感知训练的微调是必要的。
2、在量化感知训练方法中，量化感知训练需要使用全部的训练数据，并且至少需要原始训练轮数的三分之一训练轮数，因此造成量化感知训练需要占用大量的计算资源，成本高。
技术实现思路
1、为了解决上述的问题，本申请的实施例中提供了一种模型的量化感知训练方法及装置，通过选择与模型的梯度信息或者分布信息匹配的数据子集进行量化感知训练，数据子集的训练样本数量少，因此量化感知训练过程占用的计算资源少，成本低。
2、为此，本申请的实施例中采用如下技术
本文档来自技高网...
【技术保护点】
1.一种模型的量化感知训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取模型的第一梯度信息包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第二梯度信息，从所述第一训练数据集或者全量训练数据集中确定目标训练数据子集，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二梯度信息、多个所述第三梯度信息，从所述多个数据子集中确定目标训练数据子集包括：
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述基于所述第一梯度信息和所述模型的梯度敏感度，确定第二梯度信息
【技术特征摘要】
1.一种模型的量化感知训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取模型的第一梯度信息包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第二梯度信息，从所述第一训练数据集或者全量训练数据集中确定目标训练数据子集，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二梯度信息、多个所述第三梯度信息，从所述多个数据子集中确定目标训练数据子集包括：
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述基于所述第一梯度信息和所述模型的梯度敏感度，确定第二梯度信息，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述梯度敏感度，确定目标权重参数，包括：
7.根据权利要求5或6所述的方法，其特征在于，基于所述模型的二阶参数信息，确定所述模型的梯度敏感度，包括：
8.一种模型的量化感知训练方法，其特征在于，包括：
9.一种模型的量化感知训练装置，其特征在于，包括：
10.根据权利要求9所述的装置，其特征在于，所述数据选择模块，具体用于：当所述第一训练过程的训练轮次达到预设轮数时，获取经过预设训练轮数训练的所述模型对应的第一梯度信息。
11.根据权利要求...
【专利技术属性】
技术研发人员：蔡玲玲，韩凯，刘振华，王云鹤，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。