一种任务的调度方法、装置及介质制造方法及图纸

技术编号:33291147 阅读:33 留言:0更新日期:2022-05-01 00:10
本发明专利技术公开了一种任务的调度方法、装置及介质,适用于数据处理技术领域。通过将任务分成多个标准待调度任务,同时拆分成多个执行窗口,在一个执行窗口内执行当前的标准待调度任务紧接着执行下一个标准待调度任务,也就是串行执行调度任务,在进行调度处理时记录等待时间以实现及时感知任务执行给下游的压力,若等待时间达到最大执行时间,则说明下游压力较大,放弃当前的标准待调度任务同时动态调整调度配置参数以便后续当前执行窗口内获取下一个标准待调度任务。避免通常情况下下游过载以及服务器无法正常工作的问题,提高大批量任务并发调度的稳定性。并发调度的稳定性。并发调度的稳定性。

【技术实现步骤摘要】
一种任务的调度方法、装置及介质


[0001]本专利技术涉及数据处理
,特别是涉及一种任务的调度方法、装置 及介质。

技术介绍

[0002]在进行数据处理时,输入数据一般包含多条,处理过程没有人工交互, 其一个计算机程序基于一份批量的输入执行一系列的任务,实现大批量任务 调度处理。
[0003]通常情况下,大批量任务一般会一次性调度(上游系统)至线程进行异 步处理等过程(下游系统),其下游系统返回的结果可能调度超时造成下游 过载,其上游系统不知道调用结果依旧按照之前的速率和并发请求下游系统, 造成恶性循环,有可能导致“雪崩效应”;若返回的结果有调度中断的情况发生, 则影响后面的任务返回失败;以上两种情况造成调度任务的稳定性差,导致 服务器无法正常工作甚至宕机。
[0004]因此,寻求一种任务的调度方法是本领域技术人员亟需要解决的。

技术实现思路

[0005]本专利技术的目的是提供一种任务的调度方法、装置及介质,提高调度任务 的稳定性。
[0006]为解决上述技术问题,本专利技术提供一种任务的调度方法,包括:
[0007]获取当前执行窗口内的调度配置参数以便调度线程根据调度配置参数获 取当前的标准待调度任务;
[0008]将标准待调度任务放入至执行队列进行调度处理以便调度线程等待线程 池内工作线程的全部返回结果;
[0009]记录调度线程的等待时间并判断等待时间是否达到标准待调度任务的最 大执行时间;
[0010]若达到,则放弃标准待调度任务,调整调度配置参数并返回至获取当前 执行窗口内的调度配置参数的步骤。
[0011]优选地,将标准待调度任务放入至执行队列进行调度处理,包括:
[0012]记录标准待调度任务在执行队列中的开始执行时间;
[0013]判断执行队列是否为空;
[0014]若不为空,则判断开始执行时间是否在当前执行窗口的可执行时间内;
[0015]若在可执行时间内,则并发执行工作线程中已分配的标准待调度任务以 便于调度线程等待工作线程的全部返回结果。
[0016]优选地,获取当前执行窗口内的调度配置参数,包括:
[0017]判断当前的执行窗口内是否有待调度的任务;
[0018]若是,则获取调度配置参数。
[0019]优选地,在等待时间未达到标准待调度任务的最大执行时间时,还包括:
[0020]当等待时间未达到最大执行时间时,则控制调度线程根据调度配置参数 获取当
前的标准待调度任务以便进入至将标准待调度任务放入至执行队列进 行调度处理的步骤。
[0021]优选地,在等待时间达到标准待调度任务的最大执行时间时,还包括:
[0022]将当前的执行窗口的可执行时间设置为0。
[0023]优选地,在放弃标准待调度任务之后,还包括:
[0024]将放弃的标准待调度任务作为失败任务;
[0025]将失败任务放置在下一个执行窗口内执行。
[0026]优选地,调度配置参数包括标准待调度任务的任务量、最大执行时间、 可执行时间和工作线程的数量。
[0027]为解决上述技术问题,本专利技术还提供一种任务的调度装置,包括:
[0028]获取模块,用于获取当前执行窗口内的调度配置参数以便调度线程根据 调度配置参数获取当前的标准待调度任务;
[0029]调度模块,用于将标准待调度任务放入至执行队列进行调度处理以便调 度线程等待线程池内工作线程的全部返回结果;
[0030]判断模块,用于记录调度线程的等待时间并判断等待时间是否达到标准 待调度任务的最大执行时间,若达到,则触发放弃模块;
[0031]放弃模块,用于放弃标准待调度任务,调整调度配置参数并返回至获取 当前执行窗口内的调度配置参数的步骤。
[0032]为解决上述技术问题,本专利技术还提供一种任务的调度装置,包括:
[0033]存储器,用于存储计算机程序;
[0034]处理器,用于执行计算机程序时实现如上述任务的调度方法的步骤。
[0035]为解决上述技术问题,本专利技术还提供一种计算机可读存储介质,计算机 可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述 任务的调度方法的步骤。
[0036]本专利技术提供的一种任务的调度方法,获取当前执行窗口内的调度配置参 数进而获取当前的标准待调度任务,将标准待调度任务放入至执行队列进行 调度处理以便调度线程等待工作线程的全部返回结果;记录调度线程的等待 时间并判断等待时间是否达到标准待调度任务的最大执行时间;若达到,则 说明下游压力过大,并放弃标准待调度任务,同时动态调整调度配置参数以 便后续当前执行窗口内获取下一个标准待调度任务。该方法通过对大批量任 务分成多个标准待调度任务,同时拆分成多个执行窗口,在一个执行窗口内 执行当前的标准待调度任务紧接着执行下一个标准待调度任务,也就是串行 执行调度任务,在进行调度处理时记录等待时间以实现及时感知任务执行给 下游的压力,若等待时间达到最大执行时间,则说明下游压力较大,放弃当 前的标准待调度任务并调整调度配置参数。避免通常情况下下游过载以及服 务器无法正常工作的问题,提高大批量任务并发调度的稳定性。
[0037]另外,本专利技术还提供了一种任务的调度装置及介质,具有如上述任务的 调度方法相同的有益效果。
附图说明
[0038]为了更清楚地说明本专利技术实施例,下面将对实施例中所需要使用的附图 做简单的介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例, 对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 这些附图获得其他的附图。
[0039]图1为本专利技术实施例提供的一种任务的调度方法的流程图;
[0040]图2为本专利技术实施例提供的一种任务的调度装置的结构图;
[0041]图3为本专利技术实施例提供的另一种任务的调度装置的结构图。
具体实施方式
[0042]下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而 不是全部实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出 创造性劳动前提下,所获得的所有其他实施例,都属于本专利技术保护范围。
[0043]本专利技术的核心是提供一种任务的调度方法、装置及介质,提高调度任务 的稳定性。
[0044]为了使本
的人员更好地理解本专利技术方案,下面结合附图和具体 实施方式对本专利技术作进一步的详细说明。
[0045]需要说明的是,在软件系统中,需要定时运行的任务有两类,一种每隔 一段固定时间执行一次,一种是本地时间到达某个钟点触发一次。通常情况 下,对于任务的定时在触发后一次性调度。本专利技术提供的任务的调度方法, 整个过程以执行窗口为单位,通过配置每隔一段固定时间执行一次的定时任 务,将大任务拆分到固定时间段内完成,两次定时任务触发点之间的时本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种任务的调度方法,其特征在于,包括:获取当前执行窗口内的调度配置参数以便调度线程根据所述调度配置参数获取当前的标准待调度任务;将所述标准待调度任务放入至执行队列进行调度处理以便所述调度线程等待线程池内工作线程的全部返回结果;记录所述调度线程的等待时间并判断所述等待时间是否达到所述标准待调度任务的最大执行时间;若达到,则放弃所述标准待调度任务,调整所述调度配置参数并返回至所述获取当前执行窗口内的调度配置参数的步骤。2.根据权利要求1所述的任务的调度方法,其特征在于,所述将所述标准待调度任务放入至执行队列进行调度处理,包括:记录所述标准待调度任务在所述执行队列中的开始执行时间;判断所述执行队列是否为空;若不为空,则判断所述开始执行时间是否在所述当前执行窗口的可执行时间内;若在所述可执行时间内,则并发执行所述工作线程中已分配的所述标准待调度任务以便于所述调度线程等待所述工作线程的所述全部返回结果。3.根据权利要求1所述的任务的调度方法,其特征在于,所述获取当前执行窗口内的调度配置参数,包括:判断所述当前的执行窗口内是否有待调度的任务;若是,则获取所述调度配置参数。4.根据权利要求1所述的任务的调度方法,其特征在于,在所述等待时间未达到所述标准待调度任务的最大执行时间时,还包括:当所述等待时间未达到所述最大执行时间时,则控制所述调度线程根据所述调度配置参数获取所述当前的标准待调度任务以便进入至所述将所述标准待调度任务放入至执行队列进行调度处理的步骤。5.根据权利要求2所述的任务的调度方法,其...

【专利技术属性】
技术研发人员:徐岷
申请(专利权)人:政采云有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1