基于插件化的多场景Kubernetes任务提交方法技术

本发明专利技术公开了基于插件化的多场景Kubernetes任务提交方法，方法包括：将用户任务模块转译成标准任务模板；为标准任何模板设置对应的影响因子；对具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板；对符合预设条件的标准任务模板进行修饰；将修饰后的标准任务模板与唯一的调度器进行绑定，得到绑定后的标准任务模板；将绑定后的标准任务模板设置操作策略，并在设置完成后提交至Kubernetes资源管理服务。本发明专利技术将提交任务中所涉及的处理逻辑插件化，当提交任务时，可调用所有的插件运行，既能保证多场景任务成功运行，又能保持任务提交系统自身的可维护性和处理逻辑的松耦合。护性和处理逻辑的松耦合。护性和处理逻辑的松耦合。

【技术实现步骤摘要】
基于插件化的多场景Kubernetes任务提交方法


[0001]本专利技术涉及任务提交
，尤其涉及基于插件化的多场景Kubernetes任务提交方法。

技术介绍

[0002]在过去几年中，Kubernetes资源管理系统由于能够对程序运行任务进行灵活管理和调度，得到了各界用户的青睐。用户提交任务到Kubernetes时，需要使用Kubernetes预制的或用户定制的任务模板，并在模板中填写该任务的运行容器镜像、任务名称、任务副本数量、任务启动命令、使用的调度器等参数。不同场景下的任务TFJob、MPIJob、MxNetJob等,提交都需要将各自的任务参数转换为Kubernetes的任务模板，再进行提交。传统的做法是在Kubernetes资源管理服务之前实现一个任务提交系统，在该系统内对不同场景的任务类型进行单独处理，处理后再将统一的任务模板提交给Kubernetes。这种传统的做法不够灵活，每次增加一种新场景任务就需要在任务提交系统中编写新的处理逻辑，不同的任务逻辑耦合紧密，不利于任务提交系统的独立维护。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供基于插件化的多场景Kubernetes任务提交方法，旨在解决现有技技术中不容易在地面确定管道的缺陷，造成误开挖或者无法找到缺陷的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：第一方面，本专利技术提供一种基于插件化的多场景Kubernetes任务提交方法，其中，所述方法包括：获取用户任务模板，根据模板转译模块将所述用户任务模块转译成标准任务模板；根据因子生成模块，为所述标准任何模板设置对应的影响因子，得到具有影响因子的标准任务模板；根据通行阀门模块，对所述具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板；根据模板修饰模块，对所述符合预设条件的标准任务模板进行修饰，得到修饰后的标准任务模板；根据任务调度器绑定模块，将所述修饰后的标准任务模板与唯一的调度器进行绑定，得到绑定后的标准任务模板；根据事件通知模块，为所述绑定后的标准任务模板设置操作策略，并在设置完成后提交至Kubernetes资源管理服务。
[0006]在一种实现方式中，所述获取用户任务模板，根据模板转译模块将所述用户任务模块转译成标准任务模板，包括：
提取所述用户任务模板中的运行容器镜像、任务名称、任务副本数量、任务启动命令、使用的调度器；将运行容器镜像、任务名称、任务副本数量、任务启动命令、使用的调度器填写至预制的标准任务模板中，完成模板转译。
[0007]在一种实现方式中，所述影响因子为优先级因子，所述优先级因子用于确定标准任务模板的运行顺序。
[0008]在一种实现方式中，所述预设条件为标准任务模板使用的CPU数量小于预设值，所述根据通行阀门模块，对所述具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板，包括：获取所述具有影响因子的标准任务模板使用的CPU数量，并将所述CPU数量与预设值比较；若所述CPU数量小于预设值，则确定所述具有影响因子的标准任务模板满足所述预设条件，并确定所述具有影响因子的标准任务模板检查通过；若所述CPU数量大于预设值，则确定所述具有影响因子的标准任务模板不满足所述预设条件，并确定所述具有影响因子的标准任务模板检查不通过。
[0009]在一种实现方式中，所述根据通行阀门模块，对所述具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板，还包括：若确定所述具有影响因子的标准任务模板检查不通过，则返回处理原因至任务提交前端界面，并显示给用户。
[0010]在一种实现方式中，所述根据模板修饰模块，对所述符合预设条件的标准任务模板进行修饰，得到修饰后的标准任务模板，包括：在符合预设条件的标准任务模板的的预设字段中增加操作命令或者子项目，以实现对对所述符合预设条件的标准任务模板进行修饰。
[0011]第二方面，本专利技术实施例还提供一种基于插件化的多场景Kubernetes任务提交系统，其中，所述系统包括：模板转译模块，用于将获取到的用户任务模块转译成标准任务模板；因子生成模块，用于为所述标准任何模板设置对应的影响因子，得到具有影响因子的标准任务模板；通行阀门模块，用于对所述具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板；模板修饰模块，用于对所述符合预设条件的标准任务模板进行修饰，得到修饰后的标准任务模板；任务调度器绑定模块，用于将所述修饰后的标准任务模板与唯一的调度器进行绑定，得到绑定后的标准任务模板；事件通知模块，用于为所述绑定后的标准任务模板设置操作策略，并在设置完成后提交至Kubernetes资源管理服务。
[0012]在一种实现方式中，所述模板转译模块、所述因子生成模块、所述通行阀门模块、所述模板修饰模块、所述任务调度器绑定模块以及所述事件通知模块均设置为独立插件。
[0013]第三方面，本专利技术实施例还提供一种终端设备，其特征在于，所述终端设备包括存
储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于插件化的多场景Kubernetes任务提交程序，所述处理器执行所述基于插件化的多场景Kubernetes任务提交程序时，实现上述方案中的任一项所述的基于插件化的多场景Kubernetes任务提交方法的步骤。
[0014]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于插件化的多场景Kubernetes任务提交程序，所述基于插件化的多场景Kubernetes任务提交程序被处理器执行时，实现上述方案中任一项所述的基于插件化的多场景Kubernetes任务提交方法的步骤。
[0015]有益效果：与现有技术相比，本专利技术提供了一种基于插件化的多场景Kubernetes任务提交方法，本专利技术首先获取用户任务模板，根据模板转译模块将所述用户任务模块转译成标准任务模板。然后根据因子生成模块，为所述标准任何模板设置对应的影响因子，得到具有影响因子的标准任务模板。接着根据通行阀门模块，对所述具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板。再然后根据模板修饰模块，对所述符合预设条件的标准任务模板进行修饰，得到修饰后的标准任务模板。接着根据任务调度器绑定模块，将所述修饰后的标准任务模板与唯一的调度器进行绑定，得到绑定后的标准任务模板。最后根据事件通知模块，为所述绑定后的标准任务模板设置操作策略，并在设置完成后提交至Kubernetes资源管理服务。可见，本专利技术将提交任务中所涉及的处理逻辑插件化，当提交任务时，可调用所有的插件运行，既能保证多场景任务成功运行，又能保持任务提交系统自身的可维护性和处理逻辑的松耦合。
附图说明
[0016]图1为本专利技术实施例提供的基于插件化的多场景Kubernetes任务提交方法的具体实施方式的流程图。
[0017本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于插件化的多场景Kubernetes任务提交方法，其特征在于，所述方法包括：获取用户任务模板，根据模板转译模块将所述用户任务模块转译成标准任务模板；根据因子生成模块，为所述标准任何模板设置对应的影响因子，得到具有影响因子的标准任务模板；根据通行阀门模块，对所述具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板；根据模板修饰模块，对所述符合预设条件的标准任务模板进行修饰，得到修饰后的标准任务模板；根据任务调度器绑定模块，将所述修饰后的标准任务模板与唯一的调度器进行绑定，得到绑定后的标准任务模板；根据事件通知模块，为所述绑定后的标准任务模板设置操作策略，并在设置完成后提交至Kubernetes资源管理服务。2.根据权利要求1所述的基于插件化的多场景Kubernetes任务提交方法，其特征在于，所述获取用户任务模板，根据模板转译模块将所述用户任务模块转译成标准任务模板，包括：提取所述用户任务模板中的运行容器镜像、任务名称、任务副本数量、任务启动命令、使用的调度器；将运行容器镜像、任务名称、任务副本数量、任务启动命令、使用的调度器填写至预制的标准任务模板中，完成模板转译。3.根据权利要求1所述的基于插件化的多场景Kubernetes任务提交方法，其特征在于，所述影响因子为优先级因子，所述优先级因子用于确定标准任务模板的运行顺序。4.根据权利要求1所述的基于插件化的多场景Kubernetes任务提交方法，其特征在于，所述预设条件为标准任务模板使用的CPU数量小于预设值，所述根据通行阀门模块，对所述具有影响因子的标准任务模板进行检查，筛选出符合预设条件的标准任务模板，包括：获取所述具有影响因子的标准任务模板使用的CPU数量，并将所述CPU数量与预设值比较；若所述CPU数量小于预设值，则确定所述具有影响因子的标准任务模板满足所述预设条件，并确定所述具有影响因子的标准任务模板检查通过；若所述CPU数量大于预设值，则确定所述具有影响因子的标准任务模板不满足所述预设条件，并确定所述具有影响因子的标准任务模板检查不通过。5.根据权利要求4所述的基于插件化的多场景Kubernetes任务提交方法，其特征在于，所述根据通行阀门模块，对所述具有影响因子的标准任务模板进行检查，筛...

【专利技术属性】
技术研发人员：曾炜，李俊茂，刘瑾，张水勇，廖伟胜，林冯军，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：