当前位置: 首页 > 专利查询>之江实验室专利>正文

一种分布式模型训练系统及方法技术方案

技术编号:42219089 阅读:22 留言:0更新日期:2024-07-30 18:59
本说明书公开了一种分布式模型训练系统及方法,第二计算节点基于适应度函数确定各树型结构模型的当前适应度,选择目标树型结构模型,第一计算节点选择参考树型结构模型,根据参考树型结构模型和目标树型结构模型,生成进化操作执行任务,将其分配给各第二计算节点,使其执行各进化操作执行任务,得到更新后的树型结构模型,第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型,并以此构建当前待训练模型,迭代多次直到满足第一预设条件,得到训练完成的目标模型。可见,上述方案实现了基于大型计算集群的分布式训练的适配,解决了大型树型模型占用计算资源高的问题,提升了大型树型模型的训练效率。

【技术实现步骤摘要】

本说明书涉及计算机,尤其涉及一种分布式模型训练系统及方法


技术介绍

1、树型结构模型,如决策树和adaboost,因其出色的可解释性而广泛应用于工业控制领域,支持人工模型分析和模型行为干预等操作,以实现可控的人工智能自动化控制。随着工业自动化水平的不断提升,工业控制的问题也变得日益复杂,因此需要采用具有更高模型复杂度的大型树型结构模型来进行上述工业控制的建模。

2、当前,可以采用遗传算法训练大型树型结构模型,通过模拟自然选择和遗传机制,在解空间中进行广泛的搜索,有助于跳出局部最优解,找到全局或近全局最优的树型结构。

3、但在模型训练过程中,随着树型结构的复杂化,进行交叉和变异等进化操作的复杂度也相应增加,这会耗费大量的计算资源。因此,超大规模树型结构模型的训练对计算资源的需求极高,包括cpu时间和内存使用,这对模型训练和计算平台的适配性提出了更高的要求。

4、基于此,本说明书提供了一种分布式模型训练系统。


技术实现思路

1、本说明书提供一种分布式模型训练系统及方法,以部分本文档来自技高网...

【技术保护点】

1.一种分布式模型训练系统,其特征在于,所述系统包括:第一计算节点和各第二计算节点;其中,所述第二计算节点存储若干个树型结构模型,待训练模型根据所述各第二计算节点分别存储的树型结构模型构成;

2.一种分布式模型训练方法,其特征在于,所述方法应用于第一计算节点,所述方法包括:

3.如权利要求2所述的方法,其特征在于,进化操作包括交叉操作和/或变异操作;

4.如权利要求2所述的方法,其特征在于,所述从记忆库存储的各历史树型结构模型中选择若干参考树型结构模型,具体包括:

5.如权利要求2所述的方法,其特征在于,所述采用增量适应度评估方法,确定所述...

【技术特征摘要】

1.一种分布式模型训练系统,其特征在于,所述系统包括:第一计算节点和各第二计算节点;其中,所述第二计算节点存储若干个树型结构模型,待训练模型根据所述各第二计算节点分别存储的树型结构模型构成;

2.一种分布式模型训练方法,其特征在于,所述方法应用于第一计算节点,所述方法包括:

3.如权利要求2所述的方法,其特征在于,进化操作包括交叉操作和/或变异操作;

4.如权利要求2所述的方法,其特征在于,所述从记忆库存储的各历史树型结构模型中选择若干参考树型结构模型,具体包括:

5.如权利要求2所述的方法,其特征在于,所述采用增量适应度评估方法,确定所述各更新后的树型结构模型分别对应的更新后的适应度,具体包括:

6.如权利要求2所述的方法,其特征在于,在所述重新执行选择和进化之前,所述方法还包括:

7.如权利要求6所述的...

【专利技术属性】
技术研发人员:刘懿王绍林胡陈枢程稳曾令仿李勇崔钰刘晓宇余波
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1