一种自动获得混合精度量化全局最优化策略的方法技术

本发明专利技术公开了一种自动获得混合精度量化全局最优化策略的方法，包括以下步骤：准备将要进行量化的深度神经网络数据集；从深度神经网络的所有混合量化组合中顺序选取一个组合进行推理，并记录实际的推理精度和实际的推理时间，重复直至遍历所有混合量化组合；排除掉实际推理精度或实际推理时间不符合要求的混合量化组合，对剩余符合推理精度和推理时间要求的计算得分并按得分进行排序；选择最高得分的混合量化组合作为混合精度量化全局最优化策略。本发明专利技术遍历所有混合量化组合，能自动找到全局最优化的混合量化组合；用户还可以通过修改推理精度权重和推理时间权重来调整混合量化组合得分标准，更好地在不同场景或不同模型找到全局最优化的组合。型找到全局最优化的组合。型找到全局最优化的组合。

【技术实现步骤摘要】
一种自动获得混合精度量化全局最优化策略的方法


[0001]本专利技术涉及深度神经网络
，尤其涉及一种自动获得混合精度量化全局最优化策略的方法。

技术介绍

[0002]神经网络是一种运算模型，由大量的节点之间互相连接而成。每个连接需要大量的数据参与计算，经过训练的网络模型通常使用高精度数据类型，这就导致在实际应用中，需要耗费大量算力、内存和时间等。神经网络模型量化是使用低精度的数据类型替代高精度的数据类型，在尽量不损失模型精度的前提下缓解算力的压力、节约成本。针对可以量化的模型目前的量化方法只能保证其精度在一定的范围内，但这种方法不能保证是模型最佳量化方法。
[0003]中国专利申请CN112906883A提出了一种混合精度量化的方法。该方法依次对网络的每一层进行量化，找到一个合适的量化精度，直到整个网络完成。
[0004]该方法如假设神经网络有3层，量化精度只有两种，即对神经网络的某一层要么量化，要么不量化，带下划线的代表该层需要量化，没有下划线的则代表该层不做量化。
[0005]“对比文件1：CN112906883A”的方法是，先对第一层分别进行不量化和量化，其它层则保持不做量化，会有以下两种量化组合：1.（L1，L2，L3）2.（L1，L2，L3）假定上述两种量化组合中，组合2的推理精度或者时间不符合要求，那么“对比文件1：CN112906883A”的两个实施例在之后的第4步中（S4，将针对所有层筛选出的量化精度的多个不同组合中的一个确定为所述混合精度量化策略），最多只会考虑如下4种组合：3.（L1，L2，L3）4.（L1，L2，L3）5.（L1，L2，L3）6.（L1，L2，L3）很明显，这4个组合中都不包含对L1做量化的组合，而由于在实际的神经网络中，不同层之间的计算相互影响和关联，很有可能（L1，L2，L3）是符合推理精度和时间的，所以“对比文件1：CN112906883A”的方法并不能够在简单叠加的思路下，得到全局最优化策略。
[0006]“对比文件1：CN112906883A”的方法对每一层依次进行量化，已完成量化的层就不会再发生改变，没有考虑多层量化组合后通过改变之前量化的层来提高性能，因此，此方法未必能找到模型的最佳量化方法。同时，出现多种量化选择时没有给用户提供选择量化方法的依据，而是让用户随便从多种量化方法中选择，这样会让用户选择时产生困难，而且用户未必能选择到真正需要的量化模型。

技术实现思路

[0007]基于现有技术中存在的不足之处，本专利技术提供了一种自动获得混合精度量化全局最优化策略的方法，具体技术方案如下：一种自动获得混合精度量化全局最优化策略的方法，包括以下步骤：准备将要进行量化的深度神经网络数据集；从深度神经网络的所有混合量化组合中顺序选取一个组合进行推理，并记录实际的推理精度和实际的推理时间，重复直至遍历所有混合量化组合；排除掉实际推理精度或实际推理时间不符合要求的混合量化组合，对剩余符合推理精度和推理时间要求的计算得分并按得分进行排序；选择最高得分的混合量化组合作为混合精度量化全局最优化策略。
[0008]具体的，所述混合量化组合的数量为：式中，n为深度神经网络层数，k为量化层数，0≤k≤n，剩余的n
‑
k层不参与量化。
[0009]具体的，所述得分的计算式为：其中，s代表得分，p（）代表实际推理精度， 代表实际推理精度的权重， （ ）代表实际推理时间归一化后的值， 代表实际推理时间的权重。
[0010]具体的，所述的实际推理精度的计算式为：其中，TP为在数据集中，推理预测正确的数量；FP为推理预测错误的数量；p为正确预测数量与总预测数量之比。
[0011]具体的，所述实际推理时间归一化后的值 的计算公式为：其中， 为所有符合要求的混合量化组合的实际推理时间的最大值， 为所有符合要求的混合量化组合的实际推理时间的最值，t为实际推理时间。
[0012]具体的，所述实际推理时间的计算式为：其中，N为数据集中样本的数量；为数据集中第i个样本的推理时间；t为数据集中所有样本的平均推理时间。
[0013]具体的，所述推理精度的权重 和推理时间的权重 根据用户实际情况需求进行调节。
[0014]本专利技术通过对模型进行多次量化尝试，通过精度和时间的综合指标，找到模型的最佳量化方法。同时，用户可以根据实际应该场景的不同，可以通过精度优先、时间优先或者二者综合这三个方面得到不同的量化结果，满足了不同的应用需求。
[0015]本专利技术的有益效果：（1）遍历了所有混合量化组合，可以自动找到全局最优化的混合量化组合。
[0016]（2） 用户可以通过修改推理精度权重和推理时间权重来调整混合量化组合的得分标准，这样可以更好地在不同场景或者不同模型的情况下找到全局最优化的组合。
附图说明
[0017]图1所示是本专利技术的流程示意图。
具体实施方式
[0018]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图说明本专利技术的具体实施方式。
[0019]如图1所示，本专利技术提出一种自动获得混合精度量化全局最优化策略的方法，包括一种自动获得混合精度量化全局最优化策略的方法，包括以下步骤：准备将要进行量化的深度神经网络数据集；从深度神经网络的所有混合量化组合中顺序选取一个组合进行推理，并记录实际的推理精度和实际的推理时间，重复直至遍历所有混合量化组合；排除掉实际推理精度或实际推理时间不符合要求的混合量化组合，对剩余符合推理精度和推理时间要求的计算得分并按得分进行排序；选择最高得分的混合量化组合作为混合精度量化全局最优化策略。
[0020]具体的，所述混合量化组合的数量为：式中，n为深度神经网络层数，k为量化层数，0≤k≤n，剩余的n
‑
k层不参与量化。
[0021]具体的，所述得分的计算式为：其中，s代表得分，p（）代表实际推理精度，代表实际推理精度的权重，（）代表实际推理时间归一化后的值，代表实际推理时间的权重。
[0022]具体的，所述的实际推理精度的计算式为：其中，TP为在数据集中，推理预测正确的数量；FP为推理预测错误的数量；p为正确预测数量与总预测数量之比。
[0023]具体的，所述实际推理时间归一化后的值 的计算公式为：其中， 为所有符合要求的混合量化组合的实际推理时间的最大值，为所有符合要求的混合量化组合的实际推理时间的最值，t为实际推理时间。
[0024]具体的，所述实际推理时间的计算式为：其中，N为数据集中样本的数量；为数据集中第i个样本的推理时间；t为数据集中所有样本的平均推理时间。
[0025]具体的，所述推理精度的权重 和推理时间的权重根据用户实际情况需求进行调节。
[0026]对比例1：中国专利申请CN112906883A提出了一种混合精度量化的方法。该方法依次对网络的每一层进行量化，找到一个合适的量化精度，直到整个网络完成。
[0027]该方法如假设神经网络有3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动获得混合精度量化全局最优化策略的方法，其特征在于，包括以下步骤：准备将要进行量化的深度神经网络数据集；从深度神经网络的所有混合量化组合中顺序选取一个组合进行推理，并记录实际的推理精度和实际的推理时间，重复直至遍历所有混合量化组合；排除掉实际推理精度或实际推理时间不符合要求的混合量化组合，对剩余符合推理精度和推理时间要求的计算得分并按得分进行排序；选择最高得分的混合量化组合作为混合精度量化全局最优化策略；所述混合量化组合的数量为：式中，n为深度神经网络层数，k为量化层数，0≤k≤n，剩余的n
‑
k层不参与量化；其特征在于，所述得分的计算式为：其中，s代表得分，p（）代表实际推理精度，代表实际推理精度的权重，（）代表实际推理时间归一化后的值，代表实际推理时间的权重。2.根据权利要求1所述的一种自动获得混合精度量化全局最优化策略...

【专利技术属性】
技术研发人员：唐文超，王骏，熊大鹏，李涛，
申请(专利权)人：上海亿铸智能科技有限公司，
类型：发明
国别省市：