【技术实现步骤摘要】
用于机器学习模型的模型量化方法、装置及设备
[0001]本申请实施例涉及计算机
，尤其涉及一种用于机器学习模型的模型量化方法、装置及设备。
技术介绍
[0002]随着人工智能技术的快速发展，机器学习模型已被广泛应用于诸多领域。但是，由于尺寸通常较大，机器学习模型运行速度受限，并且需要占用较大的内存空间。
[0003]模型量化是一种重要的模型加速手段，主要通过将机器学习模型各算子中的高精度(高比特位)浮点格式参数转换为低精度(低比特位)浮点格式参数，也即低精度格式转换，来减少模型尺寸。进而减少对计算设备内存资源的消耗，同时，提高模型的运行速度。而进行低精度格式转换，在减少内存消耗、提升运行速度的同时，也会带来一定的精度损失。
[0004]为了在不对计算精度造成较大影响的基础上，尽可能地提升计算性能(降低内存消耗，提升运行速度)，相关技术通常从模型中手动选择部分计算量比较大的算子进行低精度格式转换的反复尝试，以得到量化结果。因此，模型量化的效率较低。
技术实现思路
[0005]有鉴于此，本申...
【技术保护点】
【技术特征摘要】
1.一种用于机器学习模型的模型量化方法，包括：确定待量化的初始机器学习模型中各算子的类别；所述类别包括：危险算子、依赖算子及中性算子；其中，所述危险算子为进行低精度格式转换后，精度损失值大于精度损失阈值的算子；所述依赖算子为进行低精度格式转换后精度损失值依赖于上游算子的算子；所述中性算子为进行低精度格式转换后精度损失值小于所述精度损失阈值但运行速度提升量小于速度提升阈值的算子；基于各算子的类别，确定所述初始机器学习模型中的危险链路；所述危险链路以所述危险算子为起点，途径所述依赖算子或所述中性算子，并以所述危险算子或所述依赖算子为终点；对所述初始机器学习模型中除所述危险算子和所述危险链路中的算子之外的其余算子进行低精度格式转换，得到第一量化模型；若所述第一量化模型的精度满足预设精度要求，确定所述第一量化模型为量化结果。2.根据权利要求1所述的方法，其中，在所述确定待量化的初始机器学习模型中各算子的类别之前，所述方法还包括：对所述待量化的初始机器学习模型中各算子均进行低精度格式转换，得到初始量化模型；若所述初始量化模型的精度满足所述预设精度要求，确定所述初始量化模型为量化结果；所述确定待量化的初始机器学习模型中各算子的类别，包括：若所述初始量化模型的精度不满足所述预设精度要求，确定待量化的初始机器学习模型中各算子的类别。3.根据权利要求1或2所述的方法，其中，所述类别还包括：安全算子，所述安全算子为进行低精度格式转换后，精度损失值小于所述精度损失阈值且运行速度提升量大于所述速度提升阈值的算子；若所述第一量化模型的精度不满足预设精度要求，所述方法还包括：构建目标算子集合；将所述待量化的初始机器学习模型中的所有安全算子添加至所述目标算子集合；并对所述目标算子集合中的各算子进行低精度格式转换，得到第二量化模型；若所述第二量化模型的精度满足所述预设精度要求，确定所述第二量化模型为量化结果；若所述第二量化模型的精度不满足所述预设精度要求，则按照预设规则从所述目标算子集合中删除预设数量个安全算子，以更新所述目标算子集合；返回所述对所述目标算子集合中的各算子进行低精度格式转换的步骤以更新所述第二量化模型，直至更新后第二量化模型的精度满足预设精度要求；确定所述更新后第二量化模型为量化结果。4.根据权利要求3所述的方法，其中，所述按照预设规则从所述目标算子集合中删除预设数量个安全算子，包括：按照预设规则从所述目标算子集合中删除1个安全算子。5.根据权利要求4所述的方法，其中，所述按照预设规则从所述目标算子集合中删除1
个安全算子，包括：基于所述目标算子集合中各安全算子的精度损失值的大小关系，从所述目标算子集合中删除所述精度损失值最大的安全算子；其中，所述精度损失值为对各安全算子分别进行低精度格式转换后，各安全算子的精度损失值。6.根据权利要求1所述的方法，其中，所述类别还包括：安全算子，所述...
【专利技术属性】
技术研发人员：王楠，周鹏，
申请(专利权)人：阿里巴巴深圳技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。