【技术实现步骤摘要】
本说明书涉及人工智能,尤其涉及一种基于分段量化的检查点写入方法及装置。
技术介绍
1、随着机器学习领域的发展,检查点文件(checkpoint file)在机器学习模型的训练中发挥着越来越重要的作用,一旦机器学习模型的训练中断,可通过最新存储的检查点文件恢复模型,从而保障模型训练的连续性。同时,检查点文件的存储方式对节省存储空间以及减少模型状态的恢复时间有重要影响。
2、目前,一般采用对模型状态进行增量迭代的方式,更新检查点文件。通常会先保存一个全量模型状态,之后当触发模型状态保存条件时,确定当前的模型状态与上一次模型状态之间的增量变化,将该增量变化,保存至检查点文件。当需要恢复模型状态时,需加载最近保存的一个全量模型状态,并依次应用保存的各增量变化,直至恢复到所需的模型状态。因此,若需要将机器学习模型的模型状态恢复至指定状态,需要追溯每次写入的增量变化,增加了恢复过程的复杂性。
3、基于此,本说明书提供一种基于分段量化的检查点写入方法及装置。
技术实现思路
1、本
...【技术保护点】
1.一种基于分段量化的检查点写入方法,其特征在于,包括:
2.如权利要求1所述方法,其特征在于,在根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化之前,所述方法包括:
3.如权利要求2所述方法,其特征在于,对该数值进行量化,具体包括:
4.如权利要求1所述方法,其特征在于,确定所属分段的分段取值范围,具体包括:
5.如权利要求1所述方法,其特征在于,根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化,具体包括:
6.如权利要求5所述方法,其特征在于,在将所述量化后的该向量值写入检查点文件之后
...【技术特征摘要】
1.一种基于分段量化的检查点写入方法,其特征在于,包括:
2.如权利要求1所述方法,其特征在于,在根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化之前,所述方法包括:
3.如权利要求2所述方法,其特征在于,对该数值进行量化,具体包括:
4.如权利要求1所述方法,其特征在于,确定所属分段的分段取值范围,具体包括:
5.如权利要求1所述方法,其特征在于,根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化,具体包括:
6.如权利要求5所述方法,其特征在于,在将...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。