【技术实现步骤摘要】
本公开涉及神经网络，特别涉及一种训练后量化的方法、装置、设备和存储介质。
技术介绍
1、训练后量化是在模型训练后将模型中浮点的参数转换为定点的参数，是一种常用的深度学习模型压缩方法。在推理时，量化后的模型能够减少模型的计算量，有效提高推理性能。
2、相关技术中，在对浮点模型中的模型参数进行量化时，仅针对量化参数进行优化，有可能使得量化后的模型通常会存在较大的性能损失，从而影响推理性能。
技术实现思路
1、本公开提供了一种训练后量化的方法、装置、设备和存储介质，在取整时，引入扰动张量，能够提升量化性能，从而对推理性能影响比较小。
2、第一方面，本公开提供了一种训练后量化的方法，该方法包括：对于浮点模型的每个分组中的模型参数，获取使用目标量化参数量化时该分组中的待调整模型参数，其中，目标量化参数为该分组对应的量化参数，该待调整模型参数包括该分组中量化误差从大到小排序靠前的k个模型参数，确定该待调整模型参数在量化时对应的扰动张量，其中，该扰动张量用于调整该待调整模型参数量...
【技术保护点】
1.一种训练后量化的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述确定所述待调整模型参数在量化时对应的扰动张量，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述扰动张量，使用所述目标量化参数对所述扰动张量对应的模型参数进行量化处理，包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述模型参数包括输入激活值或权重值。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述模型参数包括权重值，所述方法还包括：
6.根据权利要求1至3任一项所述的方法...
【技术特征摘要】
1.一种训练后量化的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述确定所述待调整模型参数在量化时对应的扰动张量，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述扰动张量，使用所述目标量化参数对所述扰动张量对应的模型参数进行量化处理，包括：
4.根据权利要求1至3任一项所述的方法，其特征在于，所述模型参数包括输入激活值或权重值。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述模型参数包括权重值，所述方法还包括：
6.根据权利要求1至3任一项所述的方法，其特征在于，所述模型参数包括输入激活值，所述分组是按照所述浮点模型的网络层进行分组，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，基于用户输入的数据分布，确定所述目标量化参数，包括：
8.一种训练后量化的装置，其特征在于，所述装置包括：
9.根据权利要求8所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。