模型训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种模型训练方法、装置、设备及介质，属于计算机技术领域。该模型训练方法应用于电子设备，电子设备包括图形处理器GPU、第一存储器和第二存储器，GPU与第一存储器电连接，第一存储器与第二存储器电连接，该模型训练方法包括：通过GPU将低秩适配器LoRA参数嵌入到预训练的大模型中，得到待训练模型；在前向传播过程中，通过GPU基于训练样本计算待训练模型中各网络层的网络激活；通过第一存储器将GPU中的网络激活存储至第二存储器中；在反向传播过程中，通过第一存储器将第二存储器中存储的网络激活发送至GPU；通过GPU基于网络激活对待训练模型中的LoRA参数进行训练，得到训练后的大模型。

【技术实现步骤摘要】

本申请属于计算机，具体涉及一种模型训练方法、装置、设备及介质。

技术介绍

1、近年来，随着人工智能技术的发展，大规模预训练模型(简称大模型)在自然语言处理、计算机视觉、语音等领域取得了显著进展。

2、在对大模型进行训练时，通常是通过网络将训练样本数据从电子设备传输至云端或数据中心，在云端或数据中心对大模型进行训练。

3、但是，这样容易导致训练样本数据在传输过程中泄露，数据安全性较差，无法满足用户对隐私性的需求，并且依赖于网络，在没有网络的情况下无法进行大模型的训练。

技术实现思路

1、本申请实施例的目的是提供一种模型训练方法、装置、设备及介质，能够通过第二存储器对训练过程中的数据进行存储，解决了通过电子设备训练大模型会存在的存储空间不足的问题，实现了通过电子设备对大模型进行训练，无需通过网络将训练样本传输至云端或数据中心，避免了训练样本数据在传输过程中泄露，提高了数据安全性，能够满足用户对隐私性的需求，并且不依赖于网络，在没有网络的情况下也可以进行大模型的训练。p>

2、第一方本文档来自技高网...

【技术保护点】

1.一种模型训练方法，其特征在于，应用于电子设备，所述电子设备包括图形处理器GPU、第一存储器和第二存储器，所述GPU与所述第一存储器电连接，所述第一存储器与所述第二存储器电连接，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述待训练模型包括N个网络层，N为正整数，所述在前向传播过程中，通过所述GPU基于训练样本计算所述待训练模型中各网络层的网络激活，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一存储器将所述GPU中的所述网络激活存储至所述第二存储器中，包括：

4.根据权利要求2所述的方法，其特征在于，所述通过所述GP...

【技术特征摘要】

1.一种模型训练方法，其特征在于，应用于电子设备，所述电子设备包括图形处理器gpu、第一存储器和第二存储器，所述gpu与所述第一存储器电连接，所述第一存储器与所述第二存储器电连接，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述待训练模型包括n个网络层，n为正整数，所述在前向传播过程中，通过所述gpu基于训练样本计算所述待训练模型中各网络层的网络激活，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一存储器将所述gpu中的所述网络激活存储至所述第二存储器中，包括：

4.根据权利要求2所述的方法，其特征在于，所述通过所述gpu基于所述网络激活对所述待训练模型中的lora参数进行训练，得到训练后的大模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述通过所述gpu基于所述网络激活，确定所述待训练模型中各网络层的梯度，包括：

6.根据权利要求5所述的方法，其特征在于，所述在反向传播过程中，通过所述第一存储器将所述第二存储器中存储的所述网络激活发送至所述gpu，包括：

7.根据权利要求...

【专利技术属性】
技术研发人员：任彦豪，饶生龙，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：