一种任务执行器调度的方法及装置制造方法及图纸

本说明书公开了一种任务执行器调度的方法及装置，具体公开了，针对每个任务节点，根据确定的各任务节点内的各任务执行器对应的资源占用信息，以及预测的在下一任务处理周期内该任务节点需要处理的任务的任务数量，预测在下一任务处理周期内该任务节点内的各任务执行器在任务执行时需要占用该任务节点的资源的预期资源数量，并在该预期资源数量大于该任务节点对应的第一资源数量阈值时，将该任务节点内的至少部分任务执行器调度到预期资源数量不大于第一资源数量阈值的其他任务节点中。如此，在预测到在下一任务处理周期中可能存在任务节点出现过载现象时，可以及时将该任务节点内的任务执行器调度到其他的任务节点中，提升了系统性能。

【技术实现步骤摘要】
一种任务执行器调度的方法及装置
本说明书涉及互联网
，尤其涉及一种任务执行器调度的方法及装置。
技术介绍
伴随着物联网、无人驾驶等新兴技术的发展，数据分析处理的时效性要求随之越来越高，传统的数据分析处理方式也越来越难以满足实际的业务需求，因此大数据实时流计算应运而生。基于拓扑的分布式流数据实时计算系统，是一种常见的实现大数据实时流计算的系统，具备大数据实时处理的能力。该系统是由控制节点和至少一个任务节点构成计算集群，由研发人员预先设置好任务节点的数目。在进行实时流数据处理时，控制节点将应用拓扑的任务执行器均匀的分配到各个任务节点上，之后每个任务执行器不断的接收任务数据、处理任务数据，再将处理后得到的任务数据作为下一级任务执行器的输入任务数据发送给该下一级任务执行器，以实现流数据实时处理。上述任务执行器调度方案中，控制节点没有考虑到系统中各个任务节点的负载情况，如此，当存在任务节点出现过载现象时，该任务节点的应用性能将迅速下降，进而导致系统性能严重下降，影响用户体验。
技术实现思路
本说明书提供一种任务执行器调度本文档来自技高网...

【技术保护点】
1.一种任务执行器调度的方法，其特征在于，包括：/n确定各任务节点内的各任务执行器对应的资源占用信息，所述资源占用信息用于表征任务执行器执行任务时占用任务节点所提供的资源的数量；/n针对每个任务节点，根据该任务节点对应的历史任务执行记录，预测在下一任务处理周期内该任务节点需要处理的任务的任务数量，作为该任务节点对应的第一任务数量；/n根据该任务节点中各任务执行器对应的资源占用信息以及该任务节点对应的第一任务数量，预测在下一任务处理周期内该任务节点内的各任务执行器在任务执行时需要占用该任务节点的资源的资源数量，作为该任务节点对应的预期资源数量；/n若该任务节点对应的预期资源数量大于该任务节点对应...

【技术特征摘要】
1.一种任务执行器调度的方法，其特征在于，包括：
确定各任务节点内的各任务执行器对应的资源占用信息，所述资源占用信息用于表征任务执行器执行任务时占用任务节点所提供的资源的数量；
针对每个任务节点，根据该任务节点对应的历史任务执行记录，预测在下一任务处理周期内该任务节点需要处理的任务的任务数量，作为该任务节点对应的第一任务数量；
根据该任务节点中各任务执行器对应的资源占用信息以及该任务节点对应的第一任务数量，预测在下一任务处理周期内该任务节点内的各任务执行器在任务执行时需要占用该任务节点的资源的资源数量，作为该任务节点对应的预期资源数量；
若该任务节点对应的预期资源数量大于该任务节点对应的第一资源数量阈值，将该任务节点内的至少部分任务执行器调度到符合预设调度条件的其他任务节点中，其中，针对每个其他任务节点，若该其他任务节点对应的预期资源数量不大于该其他任务节点对应的第一资源数量阈值，确定该其他任务节点为符合所述预设调度条件的其他任务节点。


2.如权利要求1所述的方法，其特征在于，确定各任务节点内的各任务执行器对应的资源占用信息，具体包括：
针对各任务节点内的每个任务执行器，根据包含该任务执行器的任务节点对应的历史任务执行记录，确定该任务执行器在各历史任务处理周期中处理过的历史任务的任务总数，以及该任务执行器在处理所述历史任务时占用该任务执行器所属任务节点提供的资源的资源总量；
根据所述任务总数以及所述资源总量，确定出该任务执行器处理历史任务时占用该任务执行器所属任务节点提供的资源的平均资源数量，并根据所述平均资源数量，确定该任务执行器对应的资源占用信息。


3.如权利要求1所述的方法，其特征在于，针对每个任务节点，根据该任务节点对应的历史任务执行记录，预测在下一任务处理周期内该任务节点需要处理的任务的任务数量，作为该任务节点对应的第一任务数量，具体包括：
针对该任务节点内的每个任务执行器，根据所述历史任务执行记录，预测在下一任务处理周期内该任务执行器需要处理的任务的任务数量，作为该任务执行器对应的第二任务数量；
根据该任务节点内的每个任务执行器对应的第二任务数量，确定所述第一任务数量。


4.如权利要求3所述的方法，其特征在于，针对该任务节点内的每个任务执行器，根据所述历史任务执行记录，预测在下一任务处理周期内该任务执行器需要处理的任务的任务数量，作为该任务执行器对应的第二任务数量，具体包括：
根据所述历史任务执行记录，确定该任务执行器对应的至少一个上级任务执行器；
根据预测出的所述至少一个上级任务执行器在下一任务周期内需要处理的任务的任务数量，预测该任务执行器在下一任务处理周期内该任务执行器需要处理的任务的任务数量，作为该任务执行器对应的第二任务数量。


5.如权利要求1所述的方法，其特征在于，将该任务节点内的至少部分任务执行器调度到符合预设调度条件的其他任务节点中，具体包括：
从该任务节点内的各任务执行器中选取一个任务执行器，作为待调度任务执行器；
将所述待调度任务执行器调度到...

【专利技术属性】
技术研发人员：刘胜超，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11