【技术实现步骤摘要】
一种自动获得混合精度量化全局最优化策略的方法
[0001]本专利技术涉及深度神经网络
，尤其涉及一种自动获得混合精度量化全局最优化策略的方法。
技术介绍
[0002]神经网络是一种运算模型，由大量的节点之间互相连接而成。每个连接需要大量的数据参与计算，经过训练的网络模型通常使用高精度数据类型，这就导致在实际应用中，需要耗费大量算力、内存和时间等。神经网络模型量化是使用低精度的数据类型替代高精度的数据类型，在尽量不损失模型精度的前提下缓解算力的压力、节约成本。针对可以量化的模型目前的量化方法只能保证其精度在一定的范围内，但这种方法不能保证是模型最佳量化方法。
[0003]中国专利申请CN112906883A提出了一种混合精度量化的方法。该方法依次对网络的每一层进行量化，找到一个合适的量化精度，直到整个网络完成。
[0004]该方法如假设神经网络有3层，量化精度只有两种，即对神经网络的某一层要么量化，要么不量化，带下划线的代表该层需要量化，没有下划线的则代表该层不做量化。
[0005]“对比文件1：...
【技术保护点】
【技术特征摘要】
1.一种自动获得混合精度量化全局最优化策略的方法，其特征在于，包括以下步骤：准备将要进行量化的深度神经网络数据集；从深度神经网络的所有混合量化组合中顺序选取一个组合进行推理，并记录实际的推理精度和实际的推理时间，重复直至遍历所有混合量化组合；排除掉实际推理精度或实际推理时间不符合要求的混合量化组合，对剩余符合推理精度和推理时间要求的计算得分并按得分进行排序；选择最高得分的混合量化组合作为混合精度量化全局最优化策略；所述混合量化组合的数量为：式中，n为深度神经网络层数，k为量化层数，0≤k≤n，剩余的n
‑
k层不参与量化；其特征在于，所述得分的计算式为：其中，s代表得分，p（）代表实际推理精度，代表实际推理精度的权重，（）代表实际推理时间归一化后的值，代表实际推理时间的权重。2.根据权利要求1所述的一种自动获得混合精度量化全局最优化策略...
【专利技术属性】
技术研发人员：唐文超，王骏，熊大鹏，李涛，
申请(专利权)人：上海亿铸智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。