【技术实现步骤摘要】
本专利技术涉及数据处理领域，特别涉及一种任务处理方法、装置、系统和计算机可读存储介质。
技术介绍
1、离线计算任务通常具有一定的持续时间，并且具有计算量大的特点。例如，一些公司利用晚间至夜间的几个小时运行机器学习模型的训练任务。
2、在相关技术中，可以利用运行在线任务的集群完成离线任务。在这种情况下，需要部署相应的组件到运行在线任务的集群中。
技术实现思路
1、专利技术人经过分析后发现，如果在运行在线任务的集群中额外部署训练等离线任务的组件，部署量较大，会产生额外的资源消耗。并且，如果在离线业务集群和在线业务集群都部署训练任务，训练平台需要解决管理多个集群的问题。此外，如果利用在线业务集群处理离线任务，在线业务集群需要能够提供满足至少一个训练任务的资源。因此，相关技术会产生资源浪费的问题。
2、本专利技术实施例所要解决的一个技术问题是：如何提高资源的利用率。
3、根据本专利技术一些实施例的第一个方面，提供一种任务处理方法，包括：将第一业务集群的空闲资源进行聚合，生成虚拟节点；将虚拟节点添加到第二业务集群中；在第二业务集群上运行任务。
4、在一些实施例中，在第二业务集群上运行任务包括：在第二业务集群的虚拟节点上创建第一容器实例；在第一业务集群中与虚拟节点对应的资源上，创建第一容器实例所关联的第二容器实例；在第二业务集群的第一容器实例中启动任务，以便关联的第二容器实例运行任务。
5、在一些实施例中，在第二业务集群的第一容器实例
6、在一些实施例中，在第一业务集群中与虚拟节点对应的资源上，创建第一容器实例所关联的第二容器实例包括：在第一业务集群中与虚拟节点对应的资源上，创建第二容器实例；将第一容器实例和第二容器实例的属性、状态或资源中的至少一种进行映射。
7、在一些实施例中，第一业务集群为在线业务集群，第二业务集群为离线业务集群。
8、在一些实施例中，将第一业务集群的空闲资源进行聚合，生成虚拟节点包括：在当前时段属于预设时段的情况下，将第一业务集群的空闲资源进行聚合，生成虚拟节点。
9、在一些实施例中，第一业务集群包括多个子业务集群，并且将第一业务集群的空闲资源进行聚合，生成虚拟节点包括：对于每个子业务集群，将子业务集群的空闲资源进行聚合，以生成一个虚拟节点。
10、在一些实施例中，第二业务集群为自动化容器编排平台kubernetes集群。
11、在一些实施例中，将第一业务集群的空闲资源进行聚合，生成虚拟节点包括：通过虚拟节点代理virtual-kubelet组件，将第一业务集群的空闲资源进行聚合，生成虚拟节点，其中，虚拟节点为virtual-kubelet节点。
12、在一些实施例中，任务为模型的训练任务。
13、根据本专利技术一些实施例的第二个方面，提供一种任务处理装置，包括：虚拟节点生成模块，被配置为将第一业务集群的空闲资源进行聚合，生成虚拟节点；虚拟节点添加模块，被配置为将虚拟节点添加到第二业务集群中；任务运行模块，被配置为在第二业务集群上运行任务。
14、在一些实施例中，任务运行模块进一步被配置为在第二业务集群的虚拟节点上创建第一容器实例；在第一业务集群中与虚拟节点对应的资源上，创建第一容器实例所关联的第二容器实例；在第二业务集群的第一容器实例中启动任务，以便关联的第二容器实例运行任务。
15、在一些实施例中，任务运行模块进一步被配置为在第二业务集群的第一容器实例中启动任务；响应于任务在第一容器实例中启动，第一容器实例关联的第二容器实例启动；将第二容器实例的状态发送给第二业务集群；响应于第一容器实例被调用以运行任务，将调用信息发送给第二容器实例。
16、在一些实施例中，任务运行模块进一步被配置为在第一业务集群中与虚拟节点对应的资源上，创建第二容器实例；将第一容器实例和第二容器实例的属性、状态或资源中的至少一种进行映射。
17、在一些实施例中，第一业务集群为在线业务集群，第二业务集群为离线业务集群。
18、在一些实施例中，虚拟节点生成模块进一步被配置为在当前时段属于预设时段的情况下，将第一业务集群的空闲资源进行聚合，生成虚拟节点。
19、在一些实施例中，第一业务集群包括多个子业务集群，并且虚拟节点生成模块进一步被配置为对于每个子业务集群，将子业务集群的空闲资源进行聚合，以生成一个虚拟节点。
20、在一些实施例中，第二业务集群为自动化容器编排平台kubernetes集群。
21、在一些实施例中，虚拟节点生成模块进一步被配置为通过虚拟节点代理virtual-kubelet组件，将第一业务集群的空闲资源进行聚合，生成虚拟节点，其中，虚拟节点为virtual-kubelet节点。
22、在一些实施例中，任务为模型的训练任务。
23、根据本专利技术一些实施例的第三个方面，提供一种任务处理系统，包括：前述任意一种任务处理装置；第一业务集群；以及，第二业务集群。
24、根据本专利技术一些实施例的第四个方面，提供一种任务处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种任务处理方法。
25、根据本专利技术一些实施例的第五个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种任务处理方法。
26、上述专利技术中的一些实施例具有如下优点或有益效果。通过本专利技术的实施例，第二业务集群在运行时，既使用了第二业务集群本身的资源进行计算、又使用了第一业务集群中的空闲资源进行计算。从而，可以将一个任务分布到多个集群进行计算，充分利用了资源、减少了资源碎片的产生。并且，从第二业务集群的角度来看，无需关注计算任务如何分配到第一业务集群中，降低了管理成本。
27、通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
本文档来自技高网...【技术保护点】
1.一种任务处理方法，包括：
2.根据权利要求1所述的任务处理方法，其中，所述在所述第二业务集群上运行任务包括：
3.根据权利要求2所述的任务处理方法，其中，所述在所述第二业务集群的第一容器实例中启动所述任务，以便关联的第二容器实例运行所述任务包括：
4.根据权利要求2所述的任务处理方法，其中，所述在所述第一业务集群中与所述虚拟节点对应的资源上，创建所述第一容器实例所关联的第二容器实例包括：
5.根据权利要求1所述的任务处理方法，其中，所述第一业务集群为在线业务集群，所述第二业务集群为离线业务集群。
6.根据权利要求1或5所述的任务处理方法，其中，所述将第一业务集群的空闲资源进行聚合，生成虚拟节点包括：
7.根据权利要求1所述的任务处理方法，其中，所述第一业务集群包括多个子业务集群，并且所述将第一业务集群的空闲资源进行聚合，生成虚拟节点包括：
8.根据权利要求1～7中任一项所述的任务处理方法，其中，所述第二业务集群为自动化容器编排平台Kubernetes集群。
9.根据权利要求8所述的
10.根据权利要求1～7中任一项所述的任务处理方法，其中，所述任务为模型的训练任务。
11.一种任务处理装置，包括：
12.一种任务处理系统，包括：
13.一种任务处理装置，包括：
14.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～10中任一项所述的任务处理方法。
...【技术特征摘要】
1.一种任务处理方法，包括：
2.根据权利要求1所述的任务处理方法，其中，所述在所述第二业务集群上运行任务包括：
3.根据权利要求2所述的任务处理方法，其中，所述在所述第二业务集群的第一容器实例中启动所述任务，以便关联的第二容器实例运行所述任务包括：
4.根据权利要求2所述的任务处理方法，其中，所述在所述第一业务集群中与所述虚拟节点对应的资源上，创建所述第一容器实例所关联的第二容器实例包括：
5.根据权利要求1所述的任务处理方法，其中，所述第一业务集群为在线业务集群，所述第二业务集群为离线业务集群。
6.根据权利要求1或5所述的任务处理方法，其中，所述将第一业务集群的空闲资源进行聚合，生成虚拟节点包括：
7.根据权利要求1所述的任务处理方...
【专利技术属性】
技术研发人员：孙晓飞，刘高宏，高会军，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。