分布式管理方法、分布式管理系统及装置制造方法及图纸

本发明专利技术实施例提供一种分布式管理系统，包括：驱动模块，用于发送多个任务请求，所述多个任务请求各自包含其归属的应用ID；应用服务模块，根据所述多个任务请求操作多个任务执行单元，所述多个任务执行单元各自包含其归属的应用ID；监控模块，从所述应用服务模块获得所述多个任务执行单元的操作信息，并据此获得所述多个任务执行单元的状态信息及多个应用的状态信息；第一存储单元，用于存储所述多个任务执行单元的状态信息和多个应用的状态信息。通过任务请求和任务执行单元保持任务和应用的关系，从而能够根据任务执行单元的状态信息获得应用的状态信息。同时提供一种分布式管理方法和装置。

【技术实现步骤摘要】
分布式管理方法、分布式管理系统及装置
本专利技术涉及计算机
，具体涉及一种分布式管理方法、分布式管理系统及装置。
技术介绍
分布式管理系统通常通过管理节点将一项业务流程分成多个任务部署在工作节点上并分别执行，然后通过管理节点收集任务返回的数据。以图1所示的基于Kubernetes的任务管理系统为例，所述任务管理系统包括管理节点110和多个工作节点120。Kubernetes是开源的容器集群管理系统，提供应用部署、维护、扩展等功能，能够方便地管理大规模跨主机的容器应用。管理节点110上部署有scheduler、controller-manager、kube-dns、APIServer、etcd、kubelet和kube-proxy等多个模块。其中，APIServer负责对外提供KubernetesAPI服务，它是系统管理指令的统一入口，任何对资源进行增删改查的操作都要交给APIServer处理后再提交给etcd。scheduler负责调度，将pod到合适的工作节点上。如果把scheduler看成一个黑匣子，那么它的输入是pod和由多个工作节点组成的列表，输出是pod和一个工作节点的绑定，即将这个pod部署到这个工作节点上。controller-manager负责管理资源，例如对于已经创建的pod，controller-manager保证pod的状态始终和预期的一样。Kubelet用来处理节点下发到本节点的任务，管理pod以及其中的容器。etcd是一个高可用的键值存储系统，Kubernetes使用它来存储各个资源的状态。iptables是一个配置Linux内核防火墙的命令行工具，kube-proxy主要利用iptables为容器配置网络，实现封包过滤、风暴重定向和网络地址转换等功能。Kubectl实现和APIServer的交互。工作节点120上部署有多个pod、kubelet和kube-proxy等模块。pod是Kubernetes的基本操作单元，也是应用运行的载体。一个业务流程可以分为多个pod运行。结合图1可以发现，任务执行单元(对应在工作节点上执行的pod)是非常重要的资源，需要实时监视其状态。在图1中，通过controller-manager保证pod的状态始终和预期的一样，并且将pod的状态存储在etcd中。然而，专利技术人发现，一些情况下，管理员不仅需要了解任务执行单元的状态，还需要了解任务执行单元归属的业务流程的状态，然而，上述任务管理系统中，这种要求并不能得到很好的支持。因此，有必要提供一种通用的管理系统，能够提供每个任务执行单元的状态以及其所归属的业务流程的状态。
技术实现思路
有鉴于此，本专利技术实施例提供分布式管理系统和方法，在任务请求中包含其归属的应用ID，在任务执行单元中同样包含应用ID，通过应用ID和任务执行单元的对应关系，获得任务执行单元和其所归属的应用的状态信息。根据本专利技术实施例的第一方面，提供一种分布式管理系统，包括：驱动模块，发送多个任务请求，所述多个任务请求各自包含其归属的应用ID；应用服务模块，根据所述多个任务请求操作多个任务执行单元，所述多个任务执行单元各自包含其归属的应用ID；监控模块，从所述应用服务模块获得所述多个任务执行单元的操作信息，并据此获得所述多个任务执行单元的状态信息及多个应用的状态信息；第一存储单元，用于存储所述多个任务执行单元的状态信息和多个应用的状态信息。优选地，所述任务请求为任务创建请求、任务删除请求和任务修改请求中的一个。优选地，所述驱动模块向所述多个任务执行单元发送信息检索请求，并接收所述多个任务执行单元返回的运行详情。优选地，所述任务请求还包括IP地址和端口，所述驱动模块根据所述IP地址和端口存储所述运行详情。优选地，所述监控模块还包括：根据所述IP地址和所述端口读取所述运行详情；所述分布式管理系统还包括：第二存储单元，用于存储所述监控模块读取到的运行详情。优选地，所述第一存储单元为内存表，所述第二存储单元为数据库表。优选地，所述监控模块和所述应用服务模块之间建立长连接，基于所述长连接侦听所述应用服务模块以获得所述多个任务执行单元的操作信息。优选地，所述分布式管理系统还包括：查询模块，用于接收输入参数，根据所述输入参数输出从所述第一存储单元和/或所述第二存储单元检索到的数据。优选地，所述分布式管理系统基于Kubernetes架构构建，所述任务请求为spark应用的pod请求，所述任务执行单元执行相应的spark应用的pod。根据本专利技术实施例的第二方面，提供一种分布式管理方法，包括：发送多个任务请求，所述多个任务请求分别归属于不同的应用；根据所述多个任务请求操作多个任务执行单元，所述多个任务执行单元各自包含其归属的应用ID；获得所述多个任务执行单元的操作信息，并据此获得所述多个任务执行单元的状态信息及多个应用的状态信息；以及采用第一存储单元存储所述多个任务执行单元的状态信息和多个应用的状态信息。优选地，所述任务请求为任务创建请求、任务删除请求和任务修改请求中的一个。优选地，所述分布式管理方法还包括：发送信息检索请求，并接收所述多个任务执行单元返回的运行详情。优选地，所述任务请求还包括IP地址和端口，所述分布式管理方法还包括：根据所述IP地址和端口存储所述运行详情。优选地，所述分布式管理方法还包括：根据所述IP地址和所述端口读取所述运行详情；以及采用第二存储单元存储所述监控模块读取到的运行详情。优选地，所述第一存储单元为内存表，所述第二存储单元为数据库优选地，所述分布式管理方法还包括：接收输入参数，并根据所述输入参数输出从所述第一存储单元和/或所述第二存储单元检索到的数据。根据本专利技术实施例的第三方面，提供一种分布式管理系统，其特征在于，包括：管理节点和多个工作节点，管理节点包括：驱动模块，发送多个任务请求，多个任务请求各自包含其归属的应用ID；应用服务模块，根据所述多个任务请求操作多个任务执行单元，所述多个任务执行单元各自包含其归属的应用ID；监控模块，从所述应用服务模块获得所述多个任务执行单元的操作信息，并据此获得所述多个任务执行单元的状态信息及多个应用的状态信息；第一存储单元，用于存储所述多个任务执行单元的状态信息及多个应用的状态信息。所述多个工作节点分别包括在其上执行的多个任务执行单元；优选地，所述分布式管理系统基于Kubernetes架构构建,所述任务请求为spark应用的pod请求，所述任务执行单元执行相应的spark应用的pod。根据本专利技术的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述的分布式管理方法。根据本专利技术的第五方面，提供一种分布式管理装置，包括：存储器，用于存储计算机指令；处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现上述的分布式管理方法。本专利技术的一实施例具有以下优点或有益效果：在任务请求中包含归属的应用ID，在任务执行单元中包含了应用ID，保持了应用和任务执行单元之间的对应关系，从而能够根据任务执行单元的状态信息获得应用的状态信息。本专利技术的一优选实施例具有以下优点或有益效果：在任务请求中还包括IP地址和端口，根据IP本文档来自技高网...

【技术保护点】
1.一种分布式管理系统，其特征在于，包括：驱动模块，用于发送多个任务请求，所述多个任务请求各自包含其归属的应用ID；应用服务模块，用于根据所述多个任务请求操作多个任务执行单元，所述多个任务执行单元各自包含其归属的应用ID；监控模块，用于从所述应用服务模块获得所述多个任务执行单元的操作信息，并据此获得所述多个任务执行单元的状态信息及多个应用的状态信息；第一存储单元，用于存储所述多个任务执行单元的状态信息和多个应用的状态信息。

【技术特征摘要】
1.一种分布式管理系统，其特征在于，包括：驱动模块，用于发送多个任务请求，所述多个任务请求各自包含其归属的应用ID；应用服务模块，用于根据所述多个任务请求操作多个任务执行单元，所述多个任务执行单元各自包含其归属的应用ID；监控模块，用于从所述应用服务模块获得所述多个任务执行单元的操作信息，并据此获得所述多个任务执行单元的状态信息及多个应用的状态信息；第一存储单元，用于存储所述多个任务执行单元的状态信息和多个应用的状态信息。2.根据权利要求1所述的分布式管理系统，其特征在于，所述任务请求为任务创建请求、任务删除请求和任务修改请求中的一个。3.根据权利要求1所述的分布式管理系统，其特征在于，所述驱动模块向所述多个任务执行单元发送信息检索请求，并接收所述多个任务执行单元返回的运行详情。4.根据权利要求3所述的分布式管理系统，其特征在于，所述任务请求还包括IP地址和端口，所述驱动模块根据所述IP地址和端口存储所述运行详情。5.根据权利要求4所述的分布式管理系统，其特征在于，所述监控模块还包括：根据所述IP地址和所述端口读取所述运行详情；所述分布式管理系统还包括：第二存储单元，用于存储所述监控模块读取到的运行详情。6.根据权利要求5所述的分布式管理系统，其特征在于，所述第一存储单元为内存表，所述第二存储单元为数据库表。7.根据权利要求1所述的分布式管理系统，其特征在于，所述监控模块和所述应用服务模块之间建立长连接，基于所述长连接侦听所述应用服务模块以获得所述多个任务执行单元的操作信息。8.根据权利要求5所述的分布式管理系统，其特征在于，所述分布式管理系统还包括：查询模块，用于接收输入参数，根据所述输入参数输出从所述第一存储单元和/或所述第二存储单元检索到的数据。9.根据权利要求1所述的分布式管理系统，其特征在于，所述分布式管理系统基于Kubernetes架构构建，所述任务请求为spark应用的pod请求，所述任务执行单元执行相应的spark应用的pod。10.一种分布式管理方法，其特征在于，包括：发送多个任务请求，所述多个任务请求分别归属于不同的应用；根据所述多个任务请求操作多个任务执行单元，所述多个任务执行单元各自包含其归属的应用ID；获得所述多个任务执行单元的操作信息，并据此获得所述多个任务执行单元的状态信息及多个应用的状态信息；以及采用第一存储单元存储所述多...

【专利技术属性】
技术研发人员：王亚强，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11