一种任务处理、分配、管理、计算的方法以及装置制造方法及图纸

本申请公开了一种任务处理、分配、管理、计算的方法及装置。其中，所述任务处理方法，包括：全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息；每一分组主节点根据全局主节点反馈的任务信息，为分组内的从节点分配子任务；从节点计算子任务后，向同分组内的分组主节点反馈基于子任务计算后的计算结果；每一分组主节点将接收到的计算结果向全局主节点进行转发，并在每次转发后向全局主节点发送获取新的任务的请求；全局主节点接收分组主节点发送的获取新的任务的请求后，为分组主节点分配新的任务，并向分组主节点反馈分配的新的任务信息。采用上述方法降低了节点之间通信的成本，加快了计算效率。

A method and device for task processing, allocation, management and computation.

The application discloses a method and device for processing, distributing, managing and calculating tasks. The task processing method includes: the global master node assigns tasks to each main node of each group, and feedback the task information to each group main node. Each packet master node divides the sub task from the node in the packet according to the task information feedback from the global master node, and then calculates the sub task from the node to the node. The main nodes in the same packet feed back the calculation results based on the subtask calculation; the main nodes of each group transmit the calculated results to the global master node and send the request to the global master node after each forwarding, and the global master node receives the new task sent by the main node of the group. After the request, a new task is allocated for the main node of the group, and the new task information is allocated to the main node of the packet. The above methods reduce the cost of communication between nodes and speed up the computation efficiency.

【技术实现步骤摘要】
一种任务处理、分配、管理、计算的方法以及装置
本申请涉及计算机
，具体涉及一种任务处理的方法、一种任务分配的方法、一种任务管理的方法以及一种任务计算的方法；本申请同时涉及一种任务处理的装置、一种任务分配的装置、一种任务管理的装置以及一种任务计算的装置。
技术介绍
在机器学习的应用场景中，尤其在信用和金融领域的建模过程中，通常会选择解释性较好的线性模型来进行建模，为保证解释性和模型的稳定性等原因，通常会在大量的特征中选择对模型贡献最高的前几个特征来进行最终的建模，一方面可以精简模型，提升模型的解释性和稳定性，另一方面也可以将一些会带来负面影响的特征从模型中剔除，提升模型的性能。特征选择的一种方法是前向特征选择，前向特征选择是每次只选择一个变量，观察使用一个变量MarginalContrinution(MC)指标衡量对对模型性能的影响，程序会遍历所有的变量，选出MC最大的一个变量，此为一轮迭代，下一轮迭代中会在已选中的变量的基础上，去遍历剩余的变量并选出该轮迭代中MC最大的变量，以此类推，直到选出N个变量为止。目前，特征选择过程是对特征和计算节点进行分组，一组节点处理一组特征。例如：用户数据中共A,B,C,D,E,F6个特征，计算节点共9个，编号分别为1-9，则将特征分成三个组，每组两个特征，计算节点也分成三个组，每组3个节点，如，1-3这三个节点并行地处理A,B这两个特征，每个特征在处理的时候在1-3三台节点内部做并行。同时，其它节点处理其它特征。由此可见，特征选择过程的计算量非常大，每轮迭代中都需要对剩余的所有变量进行一次训练，对于单机实现或者普通的并行实现很难在大数据的前提下完成选择任务；并未在特征级别做并行计算，随着计算节点规模的增大，节点之间通信的成本升高，另外，对特征和计算节点进行分组计算时，当集群中机器的计算效率不一致时，计算速度慢的分组会形成整个集群任务的性能短板，即使其它分组处理速度很快，在处理完成后仍然需要等待速度最慢的分组的处理结果，整个计算任务决定于最慢的计算分组的计算性能，会对计算资源形成极大的浪费。
技术实现思路
本申请提供一种任务处理的方法、一种任务分配的方法、一种任务管理的方法以及一种任务计算的方法,以解决现有技术中的上述问题。本申请同时涉及一种任务处理的装置、一种任务分配的装置、一种任务管理的装置以及一种任务计算的装置。本申请提供的一种任务处理方法，包括；全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息；每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务；所述从节点计算所述子任务后，向同分组内的分组主节点反馈基于所述子任务计算后的计算结果；每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发，并在每次转发后向所述全局主节点发送获取新的任务的请求；所述全局主节点接收所述分组主节点发送的获取新的任务的请求后，为所述分组主节点分配新的任务，并向所述分组主节点反馈分配的新的任务信息。可选的，所述全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息，包括：所述全局主节点根据分组主节点的数目获取对应数目的任务信息；所述任务信息，包括：所述任务的特征标识；所述全局主节点为每一分组主节点分配获取的所述任务信息，并向每一分组主节点反馈分配给该分组主节点的任务信息。可选的，所述每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务，包括：每一分组主节点根据所述全局主节点反馈的任务信息获取相应的任务；根据分组内的从节点数目，将所述任务划分为对应从节点数目的子任务；将所述子任务均匀分配在所述从节点上。可选的，所述每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发，包括:每一分组主节点，将接收到的分组内所有从节点基于所述子任务计算后的计算结果进行整合；将整合后的所述计算结果向所述全局主节点进行转发。可选的，在所述每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务的步骤之后，包括：启动计时器记录时间信息；在执行所述每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发的步骤之后，停止所述计时器；将所述计时器记录的所述时间信息作为所述任务信息的计算时间。可选的，在所述停止所述计时器的步骤之后，包括：所述分组主节点向所述全局主节点发送已记录的所述任务信息的计算时间。可选的，在所述分组主节点向所述全局主节点发送已记录的所述任务信息的计算时间的步骤之后，包括：所述全局主节点接收所述分组主节点发送的已记录的所述任务信息的计算时间；根据已接收的计算时间获取每一分组主节点计算任务的总计算时间；针对每一分组主节点获取计算任务的平均计算时间；获取平均计算时间最短的分组主节点；判断其他分组主节点的平均计算时间是否大于已获取的分组主节点计算任务的总计算时间；若是，则去除所述分组主节点。可选的，所述全局主节点以及所述分组主节点之间基于消息传递接口进行数据通信。可选的，所述分组主节点是所述从节点中序号的数值最小的从节点。可选的，所述任务，包括：建模模型特征。可选的，在所述每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发的步骤之后，包括：所述全局主节点接收每一分组主节点转发的所述计算结果；获取大于预设数值的所述计算结果，将所述计算结果作为计算参数；向每一分组主节点反馈获取的所述计算参数。可选的，在所述向每一分组主节点反馈获取的所述计算参数的步骤之后，包括：每一分组主节点接收所述全局主节点基于所述计算结果反馈的计算参数；向分组内的从节点转发所述计算参数。可选的，所述从节点计算所述子任务，包括：若所述从节点中具有计算参数，则基于所述计算参数计算所述子任务。相应的，本申请还提供一种任务处理装置，其包括；任务信息分配单元，用于全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息；子任务分配单元，用于每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务；计算结果反馈单元，用于所述从节点计算所述子任务后，向同分组内的分组主节点反馈基于所述子任务计算后的计算结果；任务请求发送单元，用于每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发，并在每次转发后向所述全局主节点发送获取新的任务的请求；分配单元，用于所述全局主节点接收所述分组主节点发送的获取新的任务的请求后，为所述分组主节点分配任务并向所述分组主节点反馈分配的新的任务信息。此外，本申请还提供一种任务分配的方法，其包括：向全局主节点发送获取任务的请求；接收所述全局主节点反馈的任务信息；根据所述任务信息为分组内的从节点分配子任务。可选的，所述根据所述任务信息为分组内的从节点分配子任务，包括：根据所述任务信息获取相应的任务；根据分组内的从节点数目，将所述任务划分为对应从节点数目的子任务；将所述子任务均匀分配在所述从节点上。可选的，在所述根据所述任务信息为分组内的从节点分配子任务的步骤之后，包括：接收分组内的所述从节点基于所述子任务计算后反馈的计算结果；将所述计算结果进行整合；将整合后的所述计算结果向所述全局主节点进行转发。可选的，所述将整合后的所述计算结果向所述全局主节点进行转发的本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，包括；全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息；每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务；所述从节点计算所述子任务后，向同分组内的分组主节点反馈基于所述子任务计算后的计算结果；每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发，并在每次转发后向所述全局主节点发送获取新的任务的请求；所述全局主节点接收所述分组主节点发送的获取新的任务的请求后，为所述分组主节点分配新的任务，并向所述分组主节点反馈分配的新的任务信息。

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括；全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息；每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务；所述从节点计算所述子任务后，向同分组内的分组主节点反馈基于所述子任务计算后的计算结果；每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发，并在每次转发后向所述全局主节点发送获取新的任务的请求；所述全局主节点接收所述分组主节点发送的获取新的任务的请求后，为所述分组主节点分配新的任务，并向所述分组主节点反馈分配的新的任务信息。2.根据权利要求1所述的任务处理方法，其特征在于，所述全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息，包括：所述全局主节点根据分组主节点的数目获取对应数目的任务信息；所述任务信息，包括：所述任务的特征标识；所述全局主节点为每一分组主节点分配获取的所述任务信息，并向每一分组主节点反馈分配给该分组主节点的任务信息。3.根据权利要求2所述的任务处理方法，其特征在于，所述每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务，包括：每一分组主节点根据所述全局主节点反馈的任务信息获取相应的任务；根据分组内的从节点数目，将所述任务划分为对应从节点数目的子任务；将所述子任务均匀分配在所述从节点上。4.根据权利要求3所述的任务处理方法，其特征在于，所述每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发，包括:每一分组主节点，将接收到的分组内所有从节点基于所述子任务计算后的计算结果进行整合；将整合后的所述计算结果向所述全局主节点进行转发。5.根据权利要求1所述的任务处理方法，其特征在于，在所述每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务的步骤之后，包括：启动计时器记录时间信息；在执行所述每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发的步骤之后，停止所述计时器；将所述计时器记录的所述时间信息作为所述任务信息的计算时间。6.根据权利要求5所述的任务处理方法，其特征在于，在所述停止所述计时器的步骤之后，包括：所述分组主节点向所述全局主节点发送已记录的所述任务信息的计算时间。7.根据权利要求6所述的任务处理方法，其特征在于，在所述分组主节点向所述全局主节点发送已记录的所述任务信息的计算时间的步骤之后，包括：所述全局主节点接收所述分组主节点发送的已记录的所述任务信息的计算时间；根据已接收的计算时间获取每一分组主节点计算任务的总计算时间；针对每一分组主节点获取计算任务的平均计算时间；获取平均计算时间最短的分组主节点；判断其他分组主节点的平均计算时间是否大于已获取的分组主节点计算任务的总计算时间；若是，则去除所述分组主节点。8.根据权利要求1-7任意一项所述的任务处理方法，其特征在于，所述全局主节点以及所述分组主节点之间基于消息传递接口进行数据通信。9.根据权利要求8所述的任务处理方法，其特征在于，所述分组主节点是所述从节点中序号的数值最小的从节点。10.根据权利要求8所述的任务处理方法，其特征在于，所述任务，包括：建模模型特征。11.根据权利要求10所述的任务处理方法，其特征在于，在所述每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发的步骤之后，包括：所述全局主节点接收每一分组主节点转发的所述计算结果；获取大于预设数值的所述计算结果，将所述计算结果作为计算参数；向每一分组主节点反馈获取的所述计算参数。12.根据权利要求11所述的任务处理方法，其特征在于，在所述向每一分组主节点反馈获取的所述计算参数的步骤之后，包括：每一分组主节点接收所述全局主节点基于所述计算结果反馈的计算参数；向分组内的从节点转发所述计算参数。13.根据权利要求12所述的任务处理方法，其特征在于，所述从节点计算所述子任务，包括：若所述从节点中具有计算参数，则基于所述计算参数计算所述子任务。14.一种任务处理装置，其特征在于，包括；任务信息分配单元，用于全局主节点为每一分组主节点分配任务，并向每一分组主节点反馈分配的任务信息；子任务分配单元，用于每一分组主节点根据所述全局主节点反馈的任务信息，为分组内的从节点分配子任务；计算结果反馈单元，用于所述从节点计算所述子任务后，向同分组内的分组主节点反馈基于所述子任务计算后的计算结果；任务请求发送单元，用于每一分组主节点将接收到的所述计算结果向所述全局主节点进行转发，并在每次转发后向所述全局主节点发送获取新的任务的请求；分配单元，用...

【专利技术属性】
技术研发人员：李文鹏，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY