基于差异磁盘的模型增量训练方法、装置、设备及产品制造方法及图纸

本发明专利技术公开了一种基于差异磁盘的模型增量训练方法、装置、设备及产品，本发明专利技术在网络存储器中创建了多个差异磁盘，然后通过内网NAS服务器挂载这些磁盘进行使用；如此，使得不同用户可以直接访问挂载的磁盘进行训练，而无需下载模型文件，基于此，则可节省模型传输时间，从而提高训练效率；同时，差异磁盘只存储自基础磁盘映像创建后发生变化的数据，因此，利用差异磁盘只记录相对于基础磁盘的数据变化的这一特性，则可降低增量训练后的模型文件的实际磁盘空间占用；由此，本发明专利技术为增量模型的训练提供了一种全新的训练方式，从而非常适用于在模型训练领域的大规模应用与推广。

【技术实现步骤摘要】

本专利技术属于人工智能，具体涉及一种基于差异磁盘的模型增量训练方法、装置、设备及产品。

技术介绍

1、随着信息技术的发展，人们对大模型增量训练的需求日益增长，其中，在对特定领域的垂类大模型进行训练时，往往基于已训练并固化的基础通用模型，增加额外的行业数据集来进行增量训练，而增量训练完成时产出的也是一个全量模型文件，将占用双倍的存储空间，且随着参数量的不断膨胀，模型文件往往达到数百gb甚至tb级别。

2、其中，实际应用时，在探索不同数据集对模型性能和准确性影响的试验中往往需要对同一个基础模型用不同的数据集进行增量训练，同时，团队中有不同行业的大模型训练方向时，则需要不同的组员基于同一个基础模型训练不同的行业模型；但是，现有技术在进行模型增量训练时，需要针对不同的数据集，单独拷贝一份基础模型单独进行训练，而由于模型文件高达数百gb甚至1tb，这就会浪费很多时间在模型文件的传输上，从而大大降低了模型训练的效率；同时，现有的增量训练会输出全量模型文件，进而会占用较大的存储空间，由此，如何提供一种效率高，且能够节省占用空间的模型增量训练方法，已成为了一个本文档来自技高网...

【技术保护点】

1.一种基于差异磁盘的模型增量训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，任一训练机器在得到对应的增量训练后的基础模型后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，在将版本更新后的模型存储至所述新差异磁盘中后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，在网络存储器中创建虚拟磁盘，包括：

6.根据权利要求5所述的方法，其特征在于，所述虚拟磁盘创建命令中包含有虚拟磁盘的保存路径和最大存储容量，其中，根据所述保存...

【技术特征摘要】

1.一种基于差异磁盘的模型增量训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，任一训练机器在得到对应的增量训练后的基础模型后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，在将版本更新后的模型存储至所述新差异磁盘中后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，在网络存储器中创建虚拟磁盘，包括：

6.根据权利要求5所述的方法，其特征在于，所述虚拟磁盘创建命令中包含有虚拟磁盘的保存路径和最大存储容量，其中，根据所述保存路径和最大存储容量，创建得到所述虚拟磁盘。

7.根据权利要求1所述的方法，其特征在于，各个...

【专利技术属性】
技术研发人员：徐嘉伟，王子建，戴金良，
申请(专利权)人：四川封面传媒科技有限责任公司，
类型：发明
国别省市：