【技术实现步骤摘要】
本申请涉及金融科技，应用于金融业务任务调度优化场景中，尤其涉及一种任务调度优化方法、装置、设备及其存储介质。
技术介绍
1、随着互联网的飞速发展，各行各业都在依托互联网寻求行业突破点，近年来，金融行业也正在围绕着互联网进行线上业务拓展。由于金融行业涉及的业务量和数据量较大，尤其是在批量金融任务下，对于任务调度的要求越来越高。
2、例如，批量的保险订单审核任务、批量的股票交易任务等。现有的任务调度框架仍然存在许多需要改进和完善的地方，特别是在任务处理速度、安全性和稳定性上，依然存在任务调度和任务分发效率不高和资源使用不均衡的问题。
技术实现思路
1、本申请实施例的目的在于提出一种任务调度优化方法、装置、设备及其存储介质，以解决现有技术存在任务调度和任务分发效率不高和资源使用不均衡的问题。
2、为了解决上述技术问题，本申请实施例提供任务调度优化方法，采用了如下所述的技术方案：
3、一种任务调度优化方法，包括下述步骤：
4、步骤201，获取批量待处理任务；
5、步骤202，根据所述批量待处理任务中所有待处理任务分别对应的处理优先级，将所述批量待处理任务以消息队列形式添加到预设的定时扫描组件内；
6、步骤203，启动目标分布式系统内的若干个任务消费者；
7、步骤204，结合所述定时扫描组件和所述若干个任务消费者的区别标识信息为所述消息队列中所有待处理任务分别分配处理时间和任务消费者；
8、步骤2
9、步骤206，通过预设的任务状态管理组件，实时监测所述所有待处理任务对应的任务状态信息，获得任务状态监测结果，其中，所述任务状态信息包括等待执行状态、开始执行状态、执行中状态、执行完毕状态、执行异常状态；
10、步骤207，若通过所述任务状态监测结果识别出当前正在处理任务为执行异常状态，则将所述当前正在处理任务作为目标分析任务，识别所述目标分析任务对应的任务消费者，并在所述任务消费者对应的消费组件内启动预设的异常处理组件进行异常处理；
11、步骤208，判断在经过预设的时间间隔阈值后，异常处理是否完毕，其中，所述预设的时间间隔阈值为系统当前时间点与所述任务消息者将要执行的目标待处理任务的处理时间点的差值；
12、步骤209，若经过预设的时间间隔阈值后，异常处理完毕，则继续执行步骤205至步骤208；
13、步骤210，若经过预设的时间间隔阈值后，异常未处理完毕，则将所述任务消费者之外的其他任务消费者更新为所述若干个任务消费者，将所有处于等待执行状态的待处理任务更新为所述所有待处理任务，并继续执行步骤204至步骤208。
14、进一步的，在执行所述根据所述批量待处理任务中所有待处理任务分别对应的处理优先级，将所述批量待处理任务以消息队列形式添加到预设的定时扫描组件内的步骤之前，所述方法还包括：
15、根据预设的任务配置文件，解析出所述批量待处理任务中所有待处理任务分别对应的处理优先级，其中，所述任务配置文件中包含了所有待处理任务间的执行依赖关系；
16、识别预先在所述定时扫描组件内构建的若干个消息队列；
17、根据所述处理优先级，分别设置所述若干个消息队列中可添加的待处理任务的处理优先级；
18、所述根据所述批量待处理任务中所有待处理任务分别对应的处理优先级，将所述批量待处理任务以消息队列形式添加到预设的定时扫描组件内的步骤，具体包括：
19、采用循环识别方式识别所述批量待处理任务中所有待处理任务分别对应的处理优先级；
20、根据识别结果和所述若干个消息队列中可添加的待处理任务的处理优先级，采用循环添加方式将相同处理优先级的待处理任务添加到相应的消息队列中；
21、直到所述批量待处理任务中所有待处理任务都被添加到相应的消息队列中，则完成将所述批量待处理任务以消息队列形式添加到预设的定时扫描组件内。
22、进一步的，在执行所述结合所述定时扫描组件和所述若干个任务消费者的区别标识信息为所述消息队列中所有待处理任务分别分配处理时间和任务消费者的步骤之前，所述方法还包括：
23、根据所述若干个消息队列中可添加的待处理任务的处理优先级，为所述若干个消息队列设置消息推送策略，其中，所述消息推送策略，具体为：处理优先级高的消息队列先向所述若干个任务消费者进行消息推送，直到处理优先级高的消息队列消息推送完毕，再对处理优先级低的消息队列进行消息推送；
24、所述结合所述定时扫描组件和所述若干个任务消费者的区别标识信息为所述消息队列中所有待处理任务分别分配处理时间和任务消费者的步骤，具体包括：
25、步骤401，根据所述消息推送策略，从所述若干个消息队列中筛选出处理优先级最高的消息队列作为当前消息队列；
26、步骤402，采用循环方式为所述当前消息队列中所有待处理任务分配所述若干个任务消费者的区别标识信息，获得第一分配结果；
27、步骤403，通过所述定时扫描组件，按照先进先出原则为所述当前消息队列中所有待处理任务分配处理时间，获得第二分配结果；
28、步骤404，根据所述第一分配结果和所述第二分配结果，确定所述当前消息队列中所有待处理任务分别对应的任务消费者和处理时间；
29、步骤405，通过比较方式，选择下一级处理优先级对应的消息队列作为当前消息队列，并重复执行步骤402至步骤405；
30、步骤406，直到通过比较方式，无法选择出下一级处理优先级对应的消息队列，停止重复执行，获得所述若干个消息队列中所有待处理任务分别对应的任务消费者和处理时间。
31、进一步的，在执行所述根据所述区别标识信息在相应的处理时间将所述所有待处理任务分别分配给对应的目标任务消费者进行任务处理的步骤之前，所述方法还包括：
32、根据预设的资源使用监测组件，实时监测所述若干个任务消费者的资源使用情况，获得资源使用情况实时监测结果，其中，所述预设的资源使用监测组件包括基于prometheus或者grafana的资源使用监测组件；
33、基于预设的资源使用情况限制阈值和所述资源使用情况实时监测结果，判断是否存在任务消费者的资源使用情况超过所述资源使用情况限制阈值；
34、若存在任务消费者的资源使用情况超过所述资源使用情况限制阈值，则根据所述任务消费者的区别标识信息识别出所述任务消费者对应的所有待处理任务，并采用累加时长的方式，调整所述任务消费者对应的所有待处理任务的处理时间。
35、进一步的，所述任务状态管理组件包括任务状态监测组件和任务状态记录组件，所述通过预设的任务状态管理组件，实时监测所述所有待处理任务对应的任务状态信息，获得任务状态监测结果的步骤本文档来自技高网...
【技术保护点】
1.一种任务调度优化方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的任务调度优化方法，其特征在于，在执行所述根据所述批量待处理任务中所有待处理任务分别对应的处理优先级，将所述批量待处理任务以消息队列形式添加到预设的定时扫描组件内的步骤之前，所述方法还包括：
3.根据权利要求2所述的任务调度优化方法，其特征在于，在执行所述结合所述定时扫描组件和所述若干个任务消费者的区别标识信息为所述消息队列中所有待处理任务分别分配处理时间和任务消费者的步骤之前，所述方法还包括：
4.根据权利要求1所述的任务调度优化方法，其特征在于，在执行所述根据所述区别标识信息在相应的处理时间将所述所有待处理任务分别分配给对应的目标任务消费者进行任务处理的步骤之前，所述方法还包括：
5.根据权利要求1所述的任务调度优化方法，其特征在于，所述任务状态管理组件包括任务状态监测组件和任务状态记录组件，所述通过预设的任务状态管理组件，实时监测所述所有待处理任务对应的任务状态信息，获得任务状态监测结果的步骤，具体包括：
6.根据权利要求1所述的任务调度优
7.根据权利要求1或6所述的任务调度优化方法，其特征在于，在执行所述若经过预设的时间间隔阈值后，异常处理完毕，则继续执行步骤205至步骤208的步骤之前，所述方法还包括：
8.一种任务调度优化装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的任务调度优化方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的任务调度优化方法的步骤。
...【技术特征摘要】
1.一种任务调度优化方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的任务调度优化方法，其特征在于，在执行所述根据所述批量待处理任务中所有待处理任务分别对应的处理优先级，将所述批量待处理任务以消息队列形式添加到预设的定时扫描组件内的步骤之前，所述方法还包括：
3.根据权利要求2所述的任务调度优化方法，其特征在于，在执行所述结合所述定时扫描组件和所述若干个任务消费者的区别标识信息为所述消息队列中所有待处理任务分别分配处理时间和任务消费者的步骤之前，所述方法还包括：
4.根据权利要求1所述的任务调度优化方法，其特征在于，在执行所述根据所述区别标识信息在相应的处理时间将所述所有待处理任务分别分配给对应的目标任务消费者进行任务处理的步骤之前，所述方法还包括：
5.根据权利要求1所述的任务调度优化方法，其特征在于，所述任务状态管理组件包括任务状态监测组件和任务状态记录组件，所述通过预设的任务状态管理...
【专利技术属性】
技术研发人员：刘剑，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。