模型训练方法及其装置制造方法及图纸

技术编号:43941702 阅读:18 留言:0更新日期:2025-01-07 21:32
本申请公开了一种模型训练方法及其装置,属于人工智能技术领域,该方法包括:获取第一模型对应的第一计算图,第一计算图用于描述第一模型的N个第一计算节点之间的计算顺序,N为正整数;从N个第一计算节点中确定出M个第一计算节点,M为小于或等于N的正整数;计算与M个第一计算节点一一对应的M个梯度,并基于每个梯度分别更新对应的第一计算节点的权重参数,得到训练后的第一模型。

【技术实现步骤摘要】

本申请属于人工智能,具体涉及一种模型训练方法及其装置


技术介绍

1、随着生成式人工智能(artificial intelligence,ai)技术的发展,ai模型能力越发强大,例如,ai模型可以生成与用户相似的证件照。目前,若想要得到可以生成与用户相关的内容的ai模型,则需要通过与用户相关的数据来对该ai模型进行训练,如可以生成用户写真图像的ai模型需要使用包含用户的图像进行训练,可以模拟用户语言风格与其他用户进行交流的ai模型需要使用用户的历史聊天记录进行训练。

2、然而,由于ai模型训练时,涉及的参数量大,且ai模型的训练需要经过多轮迭代,因此,导致ai模型的训练内存占用较大,且训练时间较长,进而导致模型训练的效率较差。


技术实现思路

1、本申请实施例的目的是提供一种模型训练方法及其装置,能够减少ai模型训练时的内存占用和训练时长,提高ai模型训练的效率。

2、第一方面,本申请实施例提供了一种模型训练方法,该方法包括:获取第一模型对应的第一计算图,第一计算图用于描述第一模型的n个本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取第一模型对应的第一计算图,包括:

3.根据权利要求2所述的方法,其特征在于,所述从所述N个第一计算节点中确定出M个第一计算节点,包括:

4.根据权利要求1所述的方法,其特征在于,所述计算与所述M个第一计算节点一一对应的M个梯度之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.一种模型训练装置,其特征在于,所述装置包括:处理模块;

7.根据权利要求6所述的装置,其特征在于,所述处理模...

【技术特征摘要】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取第一模型对应的第一计算图,包括:

3.根据权利要求2所述的方法,其特征在于,所述从所述n个第一计算节点中确定出m个第一计算节点,包括:

4.根据权利要求1所述的方法,其特征在于,所述计算与所述m个第一计算节点一一对应的m个梯度之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.一种模型训练装置,其特征在于,所述装置包括:处理模块;

7.根据权利要求6所述的装置,其特征在于,所述处理模块,具体用于:

8.根据权利要求7所述的装置,其特征在于,所述处理模块,具体用于将所述n个第一计算节点中,从所述lora计算节点至第三...

【专利技术属性】
技术研发人员:覃营晟
申请(专利权)人:维沃移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1