【技术实现步骤摘要】
本公开涉及计算机，具体地，涉及一种模型量化方法、装置、介质以及电子设备。
技术介绍
1、模型量化是指将浮点计算模型转换为低比特的定点计算模型，从而有效地降低模型的计算强度、参数大小以及内存消耗。但是，模型量化往往也会带来一定的精度损失，这是由于模型中某些网络节点的精度损失对模型的推理结果影响比较大而引起的。因此，如何在保证模型的精度的情况下，对模型进行量化，成为越来越重要的研究方向。
技术实现思路
1、提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
2、第一方面，本公开提供一种模型量化方法，包括：
3、确定待量化模型中的各个网络节点对应的量化敏感度；
4、根据所述量化敏感度，对各所述网络节点进行排序，获得节点序列；
5、根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；
6、确定各所述子序列中包括的所述网络节点对应的目标量化位宽；
7、根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
8、第二方面，本公开提供一种模型量化装置，包括：
9、第一确定模块，被配置为确定待量化模型中的各个网络节点对应的量化敏感度；
10、获得模块，被配置为根据所述量化敏感度，对各所述网络节点进行排序
11、划分模块，被配置为根据各所述网络节点的参数量，将所述节点序列划分为多个子序列；
12、第二确定模块，被配置为确定各所述子序列中包括的所述网络节点对应的目标量化位宽；
13、量化模块，被配置为根据各所述网络节点对应的目标量化位宽，对所述待量化模型进行量化，获得量化模型。
14、第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。
15、第四方面，本公开提供一种电子设备，包括：
16、存储装置，其上存储有计算机程序；
17、处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。
18、基于上述技术方案，通过确定待量化模型中的各个网络节点对应的量化敏感度，根据量化敏感度，对各网络节点进行排序，获得节点序列，然后根据各网络节点的参数量，将节点序列划分为多个子序列，并确定各子序列中包括的网络节点对应的目标量化位宽，接着，根据各网络节点对应的目标量化位宽，对待量化模型进行量化，获得量化模型，可以使用精度损失更低的高比特对较难量化的网络节点进行量化，使用低比特来对较容易量化的网络节点进行量化，从而在提高量化模型的推理速度的同时，保证量化模型的精度损失尽可能地低。
19、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...【技术保护点】
1.一种模型量化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据各所述网络节点的参数量，将所述节点序列划分为多个子序列，包括：
3.根据权利要求2所述的方法，其特征在于，所述确定至少一个用于对所述节点序列进行划分的第二参数量占比，包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述确定待量化模型中的各个网络节点对应的量化敏感度，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述权重参数，确定所述网络节点对应的量化敏感度，包括：
6.根据权利要求1至3中任一项所述的方法，其特征在于，所述确定待量化模型中的各个网络节点对应的量化敏感度，包括：
7.根据权利要求1至3中任一项所述的方法，其特征在于，所述确定各所述子序列中包括的所述网络节点对应的目标量化位宽，包括：
8.一种模型量化装置，其特征在于，包括：
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。