【技术实现步骤摘要】
分布式任务处理方法及系统
[0001]本申请涉及计算机数据处理领域，具体的涉及一种分布式任务处理方法及系统。
技术介绍
[0002]目前，分布式计算系统举例采用参数节点和多个工作节点协同完成一复杂工程计算。当所述分布式计算系统应用在多租户(Multi
‑
tenant)的场景中时，相关技术采用对计算资源进行分区、各分区内的计算资源用于处理一个任务的处理方式。然而这种方式会导致计算资源的利用率低下。
技术实现思路
[0003]鉴于以上所述相关技术的缺点，本申请的目的在于提供一种分布式任务处理方法及系统，用以克服上述相关技术中存在的计算资源的利用率低下的技术问题。
[0004]为实现上述目的及其他相关目的，本申请公开的第一方面提供一种分布式任务处理方法，包括：接收多个包含任务参数和用于指示分配执行聚合操作的计算资源的资源配置标识信息的第一数据包；其中，所述多个任务参数是由多个工作节点通过执行一分布式计算任务而得到的；依据各所述第一数据包中的资源配置标识信息动态分配对应同一分布式计算任务的计...
【技术保护点】
【技术特征摘要】
1.一种分布式任务处理方法，其特征在于，包括：接收多个包含任务参数和用于指示分配执行聚合操作的计算资源的资源配置标识信息的第一数据包；其中，所述多个任务参数是由多个工作节点通过执行一分布式计算任务而得到的；依据各所述第一数据包中的资源配置标识信息动态分配对应同一分布式计算任务的计算资源，并利用所述计算资源对相应多个任务参数执行聚合操作以得到对应所述分布式计算任务的聚合参数；所述聚合参数用于供对应同一分布式计算任务的各工作节点进行数据处理。2.根据权利要求1所述的分布式任务处理方法，其特征在于，还包括：将所述聚合参数发送至参数节点以供核验；以及将所述参数节点所发出的包含经核验的聚合参数的第二数据包反馈至相应的工作节点。3.根据权利要求1所述的分布式任务处理方法，其特征在于，所接收的第一数据包中还包含用于确认所述第一数据包对应的分布式计算任务的任务标识信息。4.根据权利要求1所述的分布式任务处理方法，其特征在于，所接收的第一数据包中还包含用于确认对应于同一分布式计算任务的工作节点的节点标识信息。5.根据权利要求1所述的分布式任务处理方法，其特征在于，所述依据所述第一数据包中的资源配置标识信息为所述第一数据包动态分配一计算资源，并由所述计算资源执行聚合操作得到聚合参数的步骤还包括：依据各所述第一数据包中的资源配置标识信息与各计算资源的映射关系，确定对应同一分布式计算任务的各第一数据包的计算资源；利用所分配的计算资源执行对应同一分布式计算任务的聚合操作，以得到聚合参数。6.根据权利要求5所述的分布式任务处理方法，其特征在于，所述映射关系是通过对所述资源配置标识信息进行散列计算后确定的。7.根据权利要求1所述的分布式任务处理方法，其特征在于，还包括：当确定所述计算资源无需占用时，释放相应的计算资源。8.根据权利要求1所述的分布式任务处理方法，其特征在于，当为所述第一数据包相应的分布式计算任务动态分配的计算资源已被占用时，在所述第一数据包中标记冲突标识信息并执行转发操作，以供参数节点依据所述冲突标识信息对所转发的第一数据包中的任务参数执行聚合操作得到聚合参数。9.根据权利要求8所述的分布式任务处理方法，其特征在于，还包括：接收所述参数节点发送的包含聚合参数的第二数据包，并将所述第二数据包反馈至相应的工作节点；其中，所述第二数据包中还包含更新后的资源配置标识信息。10.根据权利要求1所述的分布式任务处理方法，其特征在于，所述分布式计算任务包括利用分布式计算的方式对机器学习算法进行梯度训练的计算任务。11.一种分布式任务处理系统，其特征在于，包括：接收模块，用于接收多个包含任务参数和用于指示分配执行聚合操作的计算资源的资源配置标识信息的第一数据包；其中，所述任务参数是由多个工作节点通过执行一分布式计算任务而得到的；处理模块，用于依据所述第一数据包中的资源配置标识信息为所述第一数据包动态分
配一计算资源，并由所述计算资源执行聚合操作得到聚合参数，以及将所述聚合参数发送至参数节点以供核验；反馈模块，用于将所述参数节点所发出的包含聚合参数的第二数据包反馈至相应的工作节点。12.一种转发节点，其特征在于，包括：至少一个存储器，用于存储至少一个程序；至少一个处理器，与所述至少一个存储器连接，用于运行所述至少一个程序时以执行并实现如权利要求1至10任一项所述的分布式任务处理方法。13.一种分布式任务处理方法，其特征在于，包括：生成对应于...
【专利技术属性】
技术研发人员：吴文斐，刘俊林，陈奕熹，
申请(专利权)人：中关村海华信息技术前沿研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。