基于Kubernetes系统对接工作流引擎的作业调度方法和装置制造方法及图纸
【技术实现步骤摘要】
基于Kubernetes系统对接工作流引擎的作业调度方法和装置
本专利技术涉及数据处理
，特别是指一种基于Kubernetes系统对接工作流引擎的作业调度方法和装置。
技术介绍
工作流引擎是一个管理业务流程或者数据分析流程作业的应用，它管理和监控作业执行的状态。可以按照作业流程定义将作业拆分成若干个有先后执行顺序的可执行单元，分派可执行单元给相应的计算资源执行，并监控可执行单元的执行结果，直到整个作业执行完成或失败退出。在工作流引擎应用中，会大量存在可执行单元并发执行的场景，比如多个作业同时运行或者单个作业中并发执行可执行单元。相对于单机执行，如果将可执行单元的执行调度到一个分布式计算集群上一方面可以大大提高作业执行效率，另一方面可以有效管理资源使用效率，所以很多工作流引擎应用都需要开发插件来和后台分布式计算集群集成。并且，由于容器(Pod)技术的大力发展，将可执行单元封装成单独容器并分配相应的资源加以执行也逐渐成为趋势。Kubernetes作为一个容器集群管理系统也成为工作流引擎与之对接的常见分布式计算集群。但是Kubernetes原生系统里针对这种场景缺...
【技术保护点】
一种基于Kubernetes系统对接工作流引擎的作业调度方法，其中，工作流引擎将作业拆分成若干个具有执行顺序的可执行单元；其特征在于，包括：接收工作流引擎提交的可执行单元；根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎；若所述第二结果信息为执行成功，则接收...
【技术特征摘要】
1.一种基于Kubernetes系统对接工作流引擎的作业调度方法，其中，工作流引擎将作业拆分成若干个具有执行顺序的可执行单元；其特征在于，包括：接收工作流引擎提交的可执行单元；根据所述可执行单元的参数，生成用于供Kubernetes系统创建容器的配置文件；将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元；接收Kubernetes系统返回的关于所述可执行单元的第一结果信息；对所述第一结果信息进行转译，生成能够被工作流引擎识别的第二结果信息，并将所述第二结果信息发送至工作流引擎；若所述第二结果信息为执行成功，则接收工作流引擎按所述执行顺序提交的下一个可执行单元。2.根据权利要求1所述的方法，其特征在于，还包括：若所述第二结果信息为执行失败，则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统；接收Kubernetes系统返回的容器删除信息，并将所述容器删除信息发送至工作流引擎，使工作流引擎中断所述作业。3.根据权利要求2所述的方法，其特征在于，所述则接收工作流引擎提交的容器删除请求，并将所述容器删除请求发送至Kubernetes系统的步骤之前，还包括：接收工作流引擎提交的错误日志查询请求，并将所述错误日志查询请求发送至Kubernetes系统；接收Kubernetes系统返回的容器执行错误日志，并将所述容器执行错误日志发送至工作流引擎。4.根据权利要求1所述的方法，其特征在于，所述将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元之后，还包括：向Kubernetes系统发出监听请求，用以在所述可执行单元的执行状态发生变化时，获取Kubernetes系统返回的执行状态信息；将符合预设条件的所述执行状态信息作为所述第一结果信息。5.根据权利要求1所述的方法，其特征在于，所述将所述配置文件发送至Kubernetes系统，使Kubernetes系统根据所述配置文件创建容器并执行所述可执行单元之后，还包括：接收工作流引擎发送的查询指令；向Kubernete...
【专利技术属性】
技术研发人员：王艳，方巍，鞠海涛，薛凯，吴延安，
申请(专利权)人：北京荣之联科技股份有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。