【技术实现步骤摘要】
本申请属于人工智能,具体涉及一种模型训练方法及其装置。
技术介绍
1、随着生成式人工智能(artificial intelligence,ai)技术的发展,ai模型能力越发强大,例如,ai模型可以生成与用户相似的证件照。目前,若想要得到可以生成与用户相关的内容的ai模型,则需要通过与用户相关的数据来对该ai模型进行训练,如可以生成用户写真图像的ai模型需要使用包含用户的图像进行训练,可以模拟用户语言风格与其他用户进行交流的ai模型需要使用用户的历史聊天记录进行训练。
2、然而,由于ai模型训练时,涉及的参数量大,且ai模型的训练需要经过多轮迭代,因此,导致ai模型的训练内存占用较大,且训练时间较长,进而导致模型训练的效率较差。
技术实现思路
1、本申请实施例的目的是提供一种模型训练方法及其装置,能够减少ai模型训练时的内存占用和训练时长,提高ai模型训练的效率。
2、第一方面,本申请实施例提供了一种模型训练方法,该方法包括:获取第一模型对应的第一计算图,第一计算图用
...【技术保护点】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取第一模型对应的第一计算图,包括:
3.根据权利要求2所述的方法,其特征在于,所述从所述N个第一计算节点中确定出M个第一计算节点,包括:
4.根据权利要求1所述的方法,其特征在于,所述计算与所述M个第一计算节点一一对应的M个梯度之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.一种模型训练装置,其特征在于,所述装置包括:处理模块;
7.根据权利要求6所述的装置,其
...【技术特征摘要】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取第一模型对应的第一计算图,包括:
3.根据权利要求2所述的方法,其特征在于,所述从所述n个第一计算节点中确定出m个第一计算节点,包括:
4.根据权利要求1所述的方法,其特征在于,所述计算与所述m个第一计算节点一一对应的m个梯度之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.一种模型训练装置,其特征在于,所述装置包括:处理模块;
7.根据权利要求6所述的装置,其特征在于,所述处理模块,具体用于:
8.根据权利要求7所述的装置,其特征在于,所述处理模块,具体用于将所述n个第一计算节点中,从所述lora计算节点至第三...
【专利技术属性】
技术研发人员:覃营晟,
申请(专利权)人:维沃移动通信有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。