一种任务提交与巡检方法、装置、介质及程序产品制造方法及图纸

本申请涉及任务调度领域，具体涉及一种任务提交与巡检方法、装置、介质及程序产品，该任务提交方法包括：应用生成应用的作业参数，应用从第一限流器获取第一令牌，该应用为N个应用中的任意一个，N个应用均获得第一令牌，且N个应用为应用服务集群包括的M个应用中的N个应用；其中，M为不小于1的整数，N为不大于M的正整数；该应用根据第一令牌将该应用的作业参数提交到大数据计算集群。采用上述方法，用以控制作业参数提交过程中的并发程度，实现作业参数的稳定提交。数的稳定提交。数的稳定提交。

【技术实现步骤摘要】
一种任务提交与巡检方法、装置、介质及程序产品


[0001]本专利技术涉及但不限于任务调度领域，尤其涉及一种任务提交与巡检方法、装置、介质及程序产品。

技术介绍

[0002]大数据计算任务的生命周期是从应用服务集群向大数据计算集群提交作业参数，到应用服务集群从大数据计算集群得到作业参数对应的执行结果的一整个过程。
[0003]当前，应用服务集群和大数据计算集群需要在同一个机器架构上，导致应用服务集群和大数据计算集群的耦合度较高。
[0004]而应用服务集群和大数据计算集群如果进行独立部署的话，不适用于大数据的复杂场景。例如，在大数据量大，任务多的情况下，会导致高并发的情形。进一步地，在高并发的情形下，会因为超时、作业参数丢失而造成任务异常。而在产生任务异常时，为了能够即时处理，需要重新提交作业参数，这会使得应用服务集群和大数据计算集群之间的交互更加频繁，并发量更大，雪上加霜。

技术实现思路

[0005]本专利技术提供一种任务提交与巡检方法、装置、介质及程序产品，用以控制作业参数提交过程中的并发程度，实现作业参数的稳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务提交方法，其特征在于，该方法包括：应用生成所述应用的作业参数；所述应用从第一限流器获取第一令牌；所述应用为N个应用中的任意一个，所述N个应用均获得所述第一令牌，且所述N个应用为应用服务集群包括的M个应用中的N个应用；其中，M为不小于1的整数，N为不大于M的正整数；所述应用根据所述第一令牌将所述应用的作业参数提交到大数据计算集群。2.如权利要求1所述的方法，其特征在于，还包括：在所述应用确定所述应用的作业参数提交异常时，所述应用在预设时长后向所述大数据计算集群重新提交所述应用的作业参数。3.如权利要求1或2所述的方法，其特征在于，所述应用服务集群和所述大数据计算集群独立部署。4.一种任务巡检方法，其特征在于，该方法包括：应用将应用的作业参数提交到大数据计算集群；所述应用从第二限流器获取第二令牌；所述应用为K个应用中的任意一个，所述K个应用均获得所述第二令牌，且所述K个应用为应用服务集群包括的M个应用中的K个应用；其中，M为不小于1的整数，K为不大于M的正整数；所述应用根据所述第二令牌向所述大数据计算集群发送请求消息，所述请求消息用于请求所述应用的作业参数对应的执行情况，所述执行情况包括：执行中、执行完成。5.如权利要求4所述的方法，其特征在于，在所述应用根据所述第二令牌向所述大数据计算集群发送请求消息之后，还包括：在所述执行情况为执行完成时，所述应用从消息队列获取所述应用的作业参数对应的执行结果，所述消息队列包括所述大数据计算集群提交的多个执行结果，所述多个执行结果包括所述应用的作业参数对应的执行结果。6.如权利要求5所述的方法，其特征在于，所述执行结果包括所述应用的作业参数对应的任务的任务状态，所述任务状态包括执行成功或执行失败。7.如权利要求6所述的方法，其特征在于，在所述应用的作业参数对应的任务的任务状态为执行失败时，所述执行结果还包括所述应用的作业参数对应的任务的失败原因。8.如权利要求4
‑
7任一项所述的方法，其特征在于，所述应用服务集群和所述大数据计算集群独立部署。9.一种任务提交装置，其特征在于，所述装置为应用或应用内的芯片，该装置包括处理单元和收发单元：所述处理单元，用于生成所述应用的作业参数；所述收发单元，用于为所述应用从第一限流器获取第一令牌；所述应用为N个应用中的任意一个，所述N个应用均获得所述第一令牌，且所述N个应用为应用服务集群包括的M个应用中的N个应用；其中，M为不小于1的整数，N为不大于M的正整数；所述收发...

【专利技术属性】
技术研发人员：程俊宏，杨超，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：