当前位置: 首页 > 专利查询>之江实验室专利>正文

一种基于分段量化的检查点写入方法及装置制造方法及图纸

技术编号:41002991 阅读:24 留言:0更新日期:2024-04-18 21:40
在本说明书提供的一种基于分段量化的检查点写入方法及装置中,获取待写入的模型状态,并针对该模型状态中每个向量值,确定该向量值中数值的取值范围以及初始量化位宽,通过分段数量对该向量值进行分段,并针对该向量值中每个数值,确定该数值的所属分段以及该所属分段的分段取值范围,进而对该数值进行量化,根据量化后的各数值,确定量化后的该向量值,并写入检查点文件,该检查点文件用于模型的模型状态恢复。通过分段数量对该向量值进行分段,以及通过精准划分各所属分段的分段取值范围,再对各数值进行量化,在减少存储需求的同时,降低了数值量化的精度损失,并将各量化后的向量值全量写入检查点文件,减少恢复模型状态的复杂性。

【技术实现步骤摘要】

本说明书涉及人工智能,尤其涉及一种基于分段量化的检查点写入方法及装置


技术介绍

1、随着机器学习领域的发展,检查点文件(checkpoint file)在机器学习模型的训练中发挥着越来越重要的作用,一旦机器学习模型的训练中断,可通过最新存储的检查点文件恢复模型,从而保障模型训练的连续性。同时,检查点文件的存储方式对节省存储空间以及减少模型状态的恢复时间有重要影响。

2、目前,一般采用对模型状态进行增量迭代的方式,更新检查点文件。通常会先保存一个全量模型状态,之后当触发模型状态保存条件时,确定当前的模型状态与上一次模型状态之间的增量变化,将该增量变化,保存至检查点文件。当需要恢复模型状态时,需加载最近保存的一个全量模型状态,并依次应用保存的各增量变化,直至恢复到所需的模型状态。因此,若需要将机器学习模型的模型状态恢复至指定状态,需要追溯每次写入的增量变化,增加了恢复过程的复杂性。

3、基于此,本说明书提供一种基于分段量化的检查点写入方法及装置。


技术实现思路

1、本说明书提供一种基于分本文档来自技高网...

【技术保护点】

1.一种基于分段量化的检查点写入方法,其特征在于,包括:

2.如权利要求1所述方法,其特征在于,在根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化之前,所述方法包括:

3.如权利要求2所述方法,其特征在于,对该数值进行量化,具体包括:

4.如权利要求1所述方法,其特征在于,确定所属分段的分段取值范围,具体包括:

5.如权利要求1所述方法,其特征在于,根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化,具体包括:

6.如权利要求5所述方法,其特征在于,在将所述量化后的该向量值写入检查点文件之后,所述方法还包括:<...

【技术特征摘要】

1.一种基于分段量化的检查点写入方法,其特征在于,包括:

2.如权利要求1所述方法,其特征在于,在根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化之前,所述方法包括:

3.如权利要求2所述方法,其特征在于,对该数值进行量化,具体包括:

4.如权利要求1所述方法,其特征在于,确定所属分段的分段取值范围,具体包括:

5.如权利要求1所述方法,其特征在于,根据所述分段取值范围以及所述初始量化位宽,对该数值进行量化,具体包括:

6.如权利要求5所述方法,其特征在于,在将...

【专利技术属性】
技术研发人员:刘晓宇曾令仿李勇韩珂
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1