【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种大模型训练系统的参数训练方法、装置及程序产品。
技术介绍
1、在机器学习和深度学习的工业实践中，海量的数据规模和复杂的数据结构衍生出大模型。但大模型结构复杂，参数众多；且喂入大模型的数据量大且数据维度多。因此单个机器上的有限资源无法满足大模型训练的要求。
2、现有技术中通过设计一种分布式训练系统来解决大模型训练问题。在分布式训练系统中，将一个大模型训练任务拆分成多个子任务，每个子任务分发给一个计算节点，多个计算节点并行地进行训练，并将产生的梯度信息传输给参数节点。参数节点根据多个计算节点产生的梯度信息更新大模型的权重参数，多个计算节点再从参数节点中获取更新的权重参数进行下一轮训练。
3、在分布式训练系统中，参数节点在每次迭代训练阶段为进行权重参数更新，需收集所有计算节点的权重，计算节点和参数节点之间通信频繁且通信量巨大，极易发生通信阻塞和通讯失败，因此通信问题演化成大模型训练问题，它决定了大模型能否训练成功，而极大通信量的通信又极其脆弱，从而导致大模型训练极其不稳定。
4...
【技术保护点】
1.一种大模型训练系统的参数训练方法，其特征在于，所述大模型训练系统包括多个计算节点和参数节点；所述多个计算节点用于并行地执行大模型训练任务；所述参数节点，用于根据所述多个计算节点在每次迭代训练阶段产生的梯度信息，对大模型的权重参数进行更新；
2.如权利要求1所述的方法，其特征在于，所述第一计算节点将所述第i次迭代总梯度中满足所述阈值条件的m个参数的梯度信息发送至所述参数节点，包括：
3.如权利要求1所述的方法，其特征在于，所述第一计算节点将所述第i次迭代总梯度中满足所述阈值条件的m个参数的梯度发送至所述参数节点之后，还包括：
4....
【技术特征摘要】
1.一种大模型训练系统的参数训练方法，其特征在于，所述大模型训练系统包括多个计算节点和参数节点；所述多个计算节点用于并行地执行大模型训练任务；所述参数节点，用于根据所述多个计算节点在每次迭代训练阶段产生的梯度信息，对大模型的权重参数进行更新；
2.如权利要求1所述的方法，其特征在于，所述第一计算节点将所述第i次迭代总梯度中满足所述阈值条件的m个参数的梯度信息发送至所述参数节点，包括：
3.如权利要求1所述的方法，其特征在于，所述第一计算节点将所述第i次迭代总梯度中满足所述阈值条件的m个参数的梯度发送至所述参数节点之后，还包括：
4.如权利要求1所述的方法，其特征在于，所述确定第i次迭代总梯度之后，还包括：
5.如权利要求4所述的方法...
【专利技术属性】
技术研发人员：谭丁武，李检全，陈志明，李建峰，李毅，万磊，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。