分布式任务处理方法、装置、服务器和系统制造方法及图纸

本发明专利技术提供了一种分布式任务处理方法、装置、服务器和系统，属于大数据处理技术领域。其中，执行节点执行的分布式任务处理方法，包括：接收调度节点派发的待处理任务；确定所述待处理任务对应的多个作业；为每个作业创建对应的容器，通过所述作业对应的容器执行所述作业。本发明专利技术提供的分布式任务处理方法、装置、服务器和分布式任务处理系统，执行节点接收到调度节点派发的待处理任务，确定待处理任务对应的多个作业；为每个作业创建对应的容器，通过作业对应的容器执行所述作业，可以保证在执行节点升级过程中，该执行节点执行的任务不受影响，有助于提高任务的执行速度，改善用户体验。

【技术实现步骤摘要】
分布式任务处理方法、装置、服务器和系统
本专利技术涉及大数据处理
，具体而言，涉及一种分布式任务处理方法、装置、服务器和系统。
技术介绍
分布式任务处理系统是多个处理机通过通信线路互连而构成的松散耦合的系统，用于管理分布式系统资源，在分布式计算机操作系统支持下，互连的计算机可以相互协调工作，共同完成一项任务。分布式系统可以直接对系统中的各类资源进行动态分配和调度、任务划分、信息传输等工作，为用户提供一个统一的界面标准的接口。在分布式任务处理系统中，当接收到用户的任务处理请求时，调度节点会将所述任务处理请求携带的任务事项拆分成多个可执行的待处理任务，派发给多个执行节点并发执行。但是，在执行节点执行任务的过程中，如果执行节点需要升级，则会延误该执行节点正在执行的任务，甚至致使任务中断，影响用户体验。
技术实现思路
针对上述现有技术中存在的问题，本专利技术提供了一种分布式任务处理方法、装置、服务器和分布式任务处理系统，可以保证在执行节点升级过程中，该执行节点执行的任务不受影响，有助于提高任务的执行速度，提高用户体验。第一方面，本专利技术实施例提供了一种分布式任务处理方法，所述方法应用于执行节点，所述方法包括：接收调度节点派发的待处理任务；确定所述待处理任务对应的多个作业；为每个所述作业创建对应的容器，通过所述作业对应的容器执行所述作业。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，为每个所述作业创建对应的容器，通过所述作业对应的容器执行所述作业的步骤，包括：向容器平台发送作业执行请求，所述作业执行请求中携带有所述多个作业，以使所述容器平台为每个所述作业创建对应的容器，并使所述容器执行所述作业。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述向容器平台发送作业执行请求的步骤之后，所述方法还包括：接收所述容器平台反馈的所述作业与所述容器的对应关系；将所述作业与所述容器的对应关系存储至预定数据库中。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：查询所述预定数据库存储的对应关系，确定所述作业对应的容器；向所述容器平台发送作业执行状态查询请求，所述作业执行状态查询请求中携带有所述作业对应的容器的容器标识；接收所述容器平台反馈的所述容器标识对应的容器的作业执行状态。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：接收所述容器平台发送的各个容器的作业执行结果；如果根据所述作业执行结果确定所述作业已执行完成，向所述容器平台发送容器删除指令，其中，所述容器删除指令用于指示删除所述已执行完成的作业对应的容器。结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，接收所述容器平台发送的各个容器的作业执行结果的步骤之后，所述方法还包括：如果接收到所有容器的作业执行结果，根据所述作业执行结果生成任务执行结果；向所述调度节点反馈所述待处理任务的任务执行结果。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述容器为Docker容器。结合第一方面，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，所述待处理任务包括工作流实例。第二方面，本专利技术实施例还提供了一种分布式任务处理方法，所述方法应用于容器平台，所述方法包括：接收执行节点发送的作业执行请求，所述作业执行请求中携带有待处理任务对应的多个作业；为每个所述作业创建对应的容器，并将每个所述作业发送至对应的容器，以使所述容器执行所述作业。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，在为每个所述作业创建对应的容器后，所述方法还包括：向所述执行节点反馈所述作业与所述容器的对应关系。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述方法还包括：接收所述执行节点的作业执行状态查询请求，所述作业执行状态查询请求中携带有容器标识；根据所述容器标识，获取所述容器标识对应的容器的作业执行状态；将所述作业执行状态反馈至所述执行节点。结合第二方面，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，所述方法还包括：接收所述执行节点在确定作业已执行完成后发送的容器删除指令，其中，所述容器删除指令用于指示删除所述已执行完成的作业对应的容器；根据所述容器删除指令，删除所述容器删除指令对应的容器。第三方面，本专利技术实施例还提供了一种分布式任务处理装置，所述装置应用于执行节点，所述装置包括：第一作业接收模块，用于接收调度节点派发的待处理任务；确定所述待处理任务对应的多个作业；作业执行模块，用于为每个所述作业创建对应的容器，通过所述作业对应的容器执行所述作业。结合第三方面，本专利技术实施例提供了第三方面的第一种可能的实施方式，其中，所述作业执行模块还用于：向容器平台发送作业执行请求，所述作业执行请求中携带有所述多个作业，以使所述容器平台为每个所述作业创建对应的容器，并使所述作业对应的容器执行所述作业。结合第三方面的第一种可能的实施方式，本专利技术实施例提供了第三方面的第二种可能的实施方式，其中，所述作业执行模块还用于：接收所述容器平台反馈的所述作业与所述容器的对应关系；将所述作业与所述容器的对应关系存储至预定数据库中。结合第三方面的第二种可能的实施方式，本专利技术实施例提供了第三方面的第三种可能的实施方式，其中，所述装置还包括查询模块，用于：查询所述预定数据库存储的对应关系，确定所述作业对应的容器；向所述容器平台发送作业执行状态查询请求，所述作业执行状态查询请求中携带有所述作业对应的容器的容器标识；接收所述容器平台反馈的所述容器标识对应的容器的作业执行状态。结合第三方面的第二种可能的实施方式，本专利技术实施例提供了第三方面的第四种可能的实施方式，其中，所述作业执行模块还用于：接收所述容器平台发送的各个容器的作业执行结果；如果根据所述作业执行结果确定所述作业已执行完成，向所述容器平台发送容器删除指令；所述容器删除指令用于指示删除所述已执行完成的作业对应的容器。结合第三方面的第四种可能的实施方式，本专利技术实施例提供了第三方面的第五种可能的实施方式，其中，所述装置还包括结果反馈模块，用于：如果接收到所有容器的作业执行结果，根据所述作业执行结果生成任务执行结果；向所述调度节点反馈所述待处理任务的任务执行结果。结合第三方面，本专利技术实施例提供了第三方面的第六种可能的实施方式，其中，所述容器为Docker容器。结合第三方面，本专利技术实施例提供了第三方面的第七种可能的实施方式，其中，所述待处理任务包括工作流实例。第四方面，本专利技术实施例还提供了一种分布式任务处理装置，所述装置应用于容器平台，所述装置包括：第二作业接收模块，用于接收执行节点发送的作业执行请求，所述作业执行请求中携带有待处理任务对应的多个作业；容器创建模块，用于为每个所述作业创建对应的容器，并将每个所述作业发送至对应的容器，以使所述容器执行所述作业。结合第四方面，本专利技术实施例提供了第四方面的第一种可能的实施方式，其中，所述容器创建模块还用于：向所述执行节点反馈所述作业与所述容器的对应关本文档来自技高网...

【技术保护点】
1.一种分布式任务处理方法，其特征在于，所述方法应用于执行节点，所述方法包括：接收调度节点派发的待处理任务；确定所述待处理任务对应的多个作业；为每个所述作业创建对应的容器，通过所述作业对应的容器执行所述作业。

【技术特征摘要】
1.一种分布式任务处理方法，其特征在于，所述方法应用于执行节点，所述方法包括：接收调度节点派发的待处理任务；确定所述待处理任务对应的多个作业；为每个所述作业创建对应的容器，通过所述作业对应的容器执行所述作业。2.根据权利要求1所述的方法，其特征在于，为每个所述作业创建对应的容器，通过所述作业对应的容器执行所述作业的步骤，包括：向容器平台发送作业执行请求，所述作业执行请求中携带有所述多个作业，以使所述容器平台为每个所述作业创建对应的容器，并使所述容器执行所述作业。3.根据权利要求2所述的方法，其特征在于，所述向容器平台发送作业执行请求的步骤之后，所述方法还包括：接收所述容器平台反馈的所述作业与所述容器的对应关系；将所述作业与所述容器的对应关系存储至预定数据库中。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：查询所述预定数据库存储的对应关系，确定所述作业对应的容器；向所述容器平台发送作业执行状态查询请求，所述作业执行状态查询请求中携带有所述作业对应的容器的容器标识；接收所述容器平台反馈的所述容器标识对应的容器的作业执行状态。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：接收所述容器平台发送的各个容器的作业执行结果；如果根据所述作业执行结果确定所述作业已执行完成，向所述容器平台发送容器删除指令，其中，所述容器删除指令用于指示删除所述已执行完成的作业对应的容器。6.根据权利要求5所述的方法，其特征在于，接收所述容器平台发送的各个容器的作业执行结果的步骤之后，所述方法还包括：如果接收到所有容器的作业执行结果，根据所述作业执行结果生成任务执行结果；向所述调度节点反馈所述待处理任务的任务执行结果。7.根据权利要求1所述的方法，其特征在于，所述容器为Docker容器。8.根据权利要求1所述的方法，其特征在于，所述待处理任务包括工作流实例。9.一种分布式任务处理方法，其特征在于，所述方法应用于容器平台，所述方法包括：接收执行节点发送的作业执行请求，所述作业执行请求中携带有待处理任务对应的多个作业；为每个所述作业创建对应的容器，并将每个所述作业发送至对应的容器，以使所述容器执行所述作业。10.根据权利要求9所述的方法，其特征在于，在为每个所述作业创建对应的容器后，所述方法还包括：向所述执行节点反馈所述作业与所述容器的对应关系。11.根据权利要求9所述的方法，其特征在...

【专利技术属性】
技术研发人员：刘向东，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京,11