本发明专利技术提供了一种基于联邦决策树模型训练的分布式调度方法、系统及介质。方法包括：提供主控节点和若干个计算节点，主控节点包括全局调度器，计算节点包括本地调度器；全局调度器接收资源申请请求并将计算任务分配到各个计算节点；本地调度器接收所分配的计算任务；当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行；当某一计算节点的计算资源不足且其余计算节点不足以接收额外的计算任务时，全局调度器将计算资源不足的计算节点的部分计算任务放入请求队列中，以等待其余计算节点的计算资源的释放。以上方法可以减轻超大规模数据训练过程中的计算压力。据训练过程中的计算压力。据训练过程中的计算压力。
【技术实现步骤摘要】
基于联邦决策树模型训练的分布式调度方法、系统及介质
[0001]本专利技术涉及人工智能
，尤其涉及一种基于联邦决策树模型训练的分布式调度方法、分布式调度系统及计算机存储介质。
技术介绍
[0002]跨特征联邦决策树算法是联邦学习中一种重要的基础算法，与传统的中心化决策树算法不同，跨特征联邦决策树算法需要在不泄露本地数据的前提下，一方不泄露本地标签，其余参与方不泄露本地特征，联合一方甚至多方的特征数据构建树模型。跨特征联邦决策树算法可以有效丰富特征维度，从而实现更好的分类效果。
[0003]然而，为了实现数据不出本地的隐私保护，跨特征联邦决策树算法需要进行大量的加密运算以及频繁的通信，这会导致算法的训练效率极其低下。同时，由于树模型的训练往往采用全量数据的训练模式，无法按照逻辑回归或者神经网络之类的算法按批次训练。这些客观因素限制了跨特征联邦决策树算法在千万乃至上亿规模数据上的训练。
技术实现思路
[0004]本专利技术的主要目的在于提供基于联邦决策树模型训练的分布式调度方法、分布式调度系统及计算机存储介质，旨在解决现有技术中在对大规模或者超大规模的数据进行联邦决策树模型训练时，其数据计算量大且算法训练低效的问题。
[0005]本专利技术其中一个实施例提供了一种基于联邦决策树模型训练的分布式调度方法。所述分布式调度方法包括：
[0006]提供一个主控节点和若干个计算节点，所述主控节点包括全局调度器，所述计算节点包括本地调度器；
[0007]所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点；
[0008]所述本地调度器接收所述全局调度器所分配的计算任务；
[0009]当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行；
[0010]当某一计算节点的计算资源不足且其余计算节点不足以接收额外的计算任务时，所述全局调度器将计算资源不足的计算节点的部分计算任务放入请求队列中，以等待其余计算节点的计算资源的释放。
[0011]在其中一个实施例中，当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行，包括：
[0012]当某一计算节点的计算资源不足以执行所分配的计算任务时，该计算节点将计算资源不足的信息发送至所述全局调度器，并转发给其余计算节点；
[0013]其余计算节点接收到某一计算节点的计算资源不足的信息时，若可用资源充足，则将计算资源充足的信息发送至所述全局调度器，并转发至计算资源不足的计算节点；
[0014]计算资源不足的计算节点接收到其余计算节点发出的计算资源充足的信息时，将部分计算任务提交给计算资源充足的计算节点进行执行。
[0015]在其中一个实施例中，所述计算资源包括中央处理器资源、内存资源以及图形处理器资源中的一种或者多种。
[0016]在其中一个实施例中，所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点，包括：
[0017]提供集群可用资源表，所述集群可用资源表包括可用的计算节点信息；
[0018]在接收到资源申请请求时，所述全局调度器从所述集群可用资源表中选取若干个计算节点用于执行计算任务，其中，所选取的计算节点的空余的计算资源大于未选取的计算节点的空余的计算资源。
[0019]在其中一个实施例中，在任务执行的过程中，还包括新增计算节点的步骤：
[0020]计算某一时间段内所选择的计算节点的计算资源的使用情况；
[0021]若所选择的计算节点的计算资源的使用情况超过预设临界值，所述全局调度器从所述集群可用资源表中选择可用的计算节点加入到所选择的计算节点。
[0022]在其中一个实施例中，在任务执行的过程中，还包括新增计算节点的步骤：
[0023]根据当前等待任务的调用需求计算所需的计算节点数量；
[0024]若算出的计算节点数量大于所选择的计算节点数量，所述全局调度器从所述集群可用资源表中选择可用的计算节点加入到所选择的计算节点。
[0025]在其中一个实施例中，在任务执行的过程中，还包括删除计算节点的步骤：
[0026]监控所选择的计算节点的状态；
[0027]若任一计算节点处于空闲状态的时间超过预设空闲时间，将相应计算节点从所选择的计算节点中移除，以重新进入所述集群可用资源表。
[0028]在其中一个实施例中，所述计算节点执行任务的过程包括以下步骤：
[0029]根据任务执行依赖图将任务分成有任务依赖的任务和无任务依赖的任务；
[0030]并行执行无任务依赖的任务；
[0031]串行执行有任务依赖的任务。
[0032]在其中一个实施例中，所述主控节点还包括全局内存管理器以及分布式共享内存，所述主控节点的分布式共享内存用于存储数据对象引用指针；
[0033]所述计算节点还包括分布式共享内存，所述计算节点的分布式共享内存用于存储待调用的数据对象；
[0034]在执行任务过程中，所述主控节点的全局调度器将数据对象引用指针发送给各个计算节点，所述计算节点在获取数据对象引用指针后，从所述计算节点的分布式共享内存中读取相应的数据对象以执行计算任务。
[0035]在其中一个实施例中，所述数据对象引用指针包括存储有所调用的数据对象的初始位置和结束位置。
[0036]在其中一个实施例中，所述联邦决策树模型训练过程包括：
[0037]数据载入步骤：第一参与方和第二参与方分别载入数据；
[0038]加密步骤：第一参与方加密拥有的标签数据并发送给第二参与方；
[0039]计算步骤：第一参与方和第二参与方分别根据本地特征计算最佳分裂特征和分裂
点信息；
[0040]交互步骤：第一参与方将所计算的最佳分裂特征和分裂点信息发送至第二参与方进行交互；
[0041]节点分裂步骤：第一参与方和第二参与方分别根据所计算的最佳分裂特征和分裂点信息进行节点分裂直至达到所述联邦决策树模型训练的建树标准。
[0042]本专利技术其中一个实施例还提供了一种分布式调度系统，用于联邦决策树模型训练过程。所述分布式调度系统包括主控节点和若干个计算节点，所述主控节点包括全局调度器，所述计算节点包括本地调度器；所述分布式调度系统在进行联邦决策树模型训练过程中执行如以上任意一项实施例所述的基于联邦决策树模型训练的分布式调度方法的步骤。
[0043]本专利技术其中一个实施例还提供了一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任意一项实施例所述的基于联邦决策树模型训练的分布式调度方法的步骤。
[0044]本专利技术以上实施例提供的基于联邦决策树模型训练的分布式调度方法和分布式调度系统具有以下有益效果：
[0045]通过设置一个主本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于联邦决策树模型训练的分布式调度方法，其特征在于，所述分布式调度方法，包括：提供一个主控节点和若干个计算节点，所述主控节点包括全局调度器，所述计算节点包括本地调度器；所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点；所述本地调度器接收所述全局调度器所分配的计算任务；当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行；当某一计算节点的计算资源不足且其余计算节点不足以接收额外的计算任务时，所述全局调度器将计算资源不足的计算节点的部分计算任务放入请求队列中，以等待其余计算节点的计算资源的释放。2.如权利要求1所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，当某一计算节点的计算资源不足且另一计算节点的计算资源充足时，计算资源不足的计算节点将部分计算任务提交给计算资源充足的计算节点进行执行，包括：当某一计算节点的计算资源不足以执行所分配的计算任务时，该计算节点将计算资源不足的信息发送至所述全局调度器，并转发给其余计算节点；其余计算节点接收到某一计算节点的计算资源不足的信息时，若可用资源充足，则将计算资源充足的信息发送至所述全局调度器，并转发至计算资源不足的计算节点；计算资源不足的计算节点接收到其余计算节点发出的计算资源充足的信息时，将部分计算任务提交给计算资源充足的计算节点进行执行。3.如权利要求1所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，所述计算资源包括中央处理器资源、内存资源以及图形处理器资源中的一种或者多种。4.如权利要求1所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，所述全局调度器接收资源申请请求并将计算任务分配到各个计算节点，包括：提供集群可用资源表，所述集群可用资源表包括可用的计算节点信息；在接收到资源申请请求时，所述全局调度器从所述集群可用资源表中选取若干个计算节点用于执行计算任务，其中，所选取的计算节点的空余的计算资源大于未选取的计算节点的空余的计算资源。5.如权利要求4所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，在任务执行的过程中，还包括新增计算节点的步骤：计算某一时间段内所选择的计算节点的计算资源的使用情况；若所选择的计算节点的计算资源的使用情况超过预设临界值，所述全局调度器从所述集群可用资源表中选择可用的计算节点加入到所选择的计算节点。6.如权利要求4所述的基于联邦决策树模型训练的分布式调度方法，其特征在于，在任务执行的过程中，还包括新增计算节点的步骤：根据当前等待任务的调用需求计算所需的计算节点数量；若算出的计算节点数量大于所选择的计算节点数量，所述全局调度器从所述集群可用资源表中选择...
【专利技术属性】
技术研发人员：潘富城，傅致晖，孟丹，李晓林，
申请(专利权)人：杭州博盾习言科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。