一种流数据任务调度方法和装置制造方法及图纸

本申请公开了一种流数据任务调度方法，应用于任务调度系统，包括：基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的集群运行参数；基于任务状态参数和集群运行参数中至少一项，确定目标任务的调度状态；基于目标任务的调度状态，对目标任务进行任务调度。采用本方案，可以结合任务的运行状态和节点的运行状态，综合判断集群运行的健康程度，从而可以及时、准确的感知到任务处理或集群运行的异常状态，进而能够在流数据任务的处理过程出现异常时及时进行任务调度，有利于降低人工维护成本，提高流数据处理平台的稳定性。

A scheduling method and device for streaming data tasks

【技术实现步骤摘要】
一种流数据任务调度方法和装置
本申请涉及计算机
，尤其涉及一种流数据任务调度方法和装置。
技术介绍
流数据(又可称为流式数据)，指顺序、大量、快速、连续到达数据处理节点(可以具体为计算机、计算机集群等)的数据序列。流数据通常由大量数据源持续生成，可以理解为一个随时间延续而无限增长的动态数据集合。在很多应用场景中，例如，日志审计、性能数据监控、网络监控、传感器网络、航空航天、气象测控、金融服务等，JStorm、Flink等实时流数据处理平台均可广泛应用。但是，由于流数据会持续不间断的大量产生，因此，流数据处理平台(也可称为流数据处理系统)将需要长时间、不间断地运行，以处理流数据任务(又可称为流计算作业)。因此，亟需一种能够在流数据任务的处理过程出现异常时进行任务调度的方法，以降低人工维护成本，提高流数据处理平台的稳定性。
技术实现思路
本申请实施例提供一种流数据任务调度方法和装置，用于在流数据任务的处理过程出现异常时进行任务调度，旨在降低人工维护成本，提高流数据处理系统的稳定性。本申请实施例采用下述技术方案：第一方面，本申请实施例提供一种流数据任务调度方法，应用于任务调度系统，所述任务调度系统用于调度流数据任务，所述流数据任务由流数据处理系统处理，其中，所述方法包括：基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的集群运行参数；基于所述任务状态参数和所述集群运行参数中至少一项，确定所述目标任务的调度状态；基于所述目标任务的调度状态，对所述目标任务进行任务调度；其中，所述流数据处理系统中包含至少一个集群，所述目标集群为所述至少一个集群中任一个，所述目标任务为被分发至所述目标集群处理的流数据任务，所述目标节点为所述目标集群中的流数据处理节点。优选的，本申请实施例第一方面提供的方法中，在基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的运行参数之前，所述方法还包括以下至少一项：根据所述目标任务中数据过满队列的数量、所述目标任务中流数据的持续堆积时间和所述目标任务的处理状态中至少一项，确定所述任务状态参数；根据所述目标节点的内存状态、无效数据回收状态和节点连通状态中至少一项，确定所述节点状态参数。优选的，本申请实施例第一方面提供的方法中，所述方法还包括以下至少一项：根据所述目标任务中数据过满队列的数量，确定负载指数，所述负载指数与所述数据过满队列的数量负相关；根据所述目标任务中流数据的持续堆积时间，确定堆积指数，所述堆积指数与所述持续堆积时间负相关；根据所述目标任务的处理状态，确定状态指数，其中，所述处理状态为正常处理时，所述状态指数取为预设上限值，所述处理状态为处理失败时，所述状态指数取为预设下限值。优选的，本申请实施例第一方面提供的方法中，根据所述目标任务中数据过满队列的数量、所述目标任务中流数据的持续堆积时间和所述目标任务的处理状态中至少一项，确定所述任务状态参数，包括：对所述负载指数、所述堆积指数和所述状态指数进行加权计算，得到所述任务状态参数。优选的，本申请实施例第一方面提供的方法中，对所述负载指数、所述堆积指数和所述状态指数进行加权计算时，所述负载指数的权重、所述堆积指数的权重和所述状态指数的权重依次递增。优选的，本申请实施例第一方面提供的方法中，所述方法还包括：根据所述目标节点的可用内存量，确定内存指数，所述内存指数与所述可用内存量正相关；根据所述无效数据回收的消耗时长，确定回收指数，所述回收指数与所述消耗时长负相关；根据所述目标节点的节点连通状态，确定连通指数，其中，所述节点连通状态为正常连通时，所述连通指数取为预设上限值，所述节点连通状态为连通失败时，所述连通指数取为预设下限值。优选的，本申请实施例第一方面提供的方法中，根据所述目标节点的内存状态、无效数据回收状态和节点连通状态中至少一项，确定所述节点状态参数，包括：对所述内存指数、所述回收指数和所述连通指数进行加权计算，得到所述节点状态参数。优选的，本申请实施例第一方面提供的方法中，对所述内存指数、所述回收指数和所述连通指数进行加权计算时，所述内存指数的权重、所述回收指数的权重和所述连通指数的权重依次递增。优选的，本申请实施例第一方面提供的方法中，基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的集群运行参数，包括：基于所述任务状态参数，确定所述目标任务中异常任务的数量；根据所述异常任务的数量，确定所述目标集群的作业运行参数，所述作业运行参数与所述异常任务的数量负相关；基于所述节点状态参数，确定所述目标节点中异常节点的数量；根据所述异常节点的数量，确定所述目标集群的节点运行参数，所述节点运行参数与所述异常节点的数量负相关；基于所述作业运行参数和所述节点运行参数，确定所述目标集群的集群运行参数。优选的，本申请实施例第一方面提供的方法中，基于所述作业运行参数和所述节点运行参数，确定所述目标集群的集群运行参数，包括：对所述作业运行参数和所述节点运行参数进行加权计算，得到所述目标集群的集群运行参数。优选的，本申请实施例第一方面提供的方法中，在对所述作业运行参数和所述节点运行参数进行加权计算时，所述作业运行参数的权重小于所述节点运行参数的权重。优选的，本申请实施例第一方面提供的方法中，基于所述任务状态参数，确定所述目标任务的调度状态，包括以下至少一项：在目标任务的任务状态参数小于或等于预设阈值的情况下，若该目标任务的负载指数或者堆积指数小于预设数值，则确定该目标任务的调度状态为待扩容状态；在目标任务的任务状态参数小于或等于预设阈值的情况下，确定该目标任务的调度状态为待迁移状态。优选的，本申请实施例第一方面提供的方法中，基于所述集群运行参数，确定所述目标任务的调度状态，包括：在目标集群的集群运行参数小于或者等于预设阈值的情况下，确定所述目标任务的调度状态为待迁移状态。优选的，本申请实施例第一方面提供的方法中，基于所述目标任务的调度状态，对所述目标任务进行任务调度，包括：在目标任务的调度状态为待迁移状态的情况下，确定该目标任务已停止，并将该目标任务调度至第一集群处理；其中，所述第一集群为所述至少一个集群中不同于所述目标集群的集群，且所述第一集群的可用资源不小于该目标任务所需资源。优选的，本申请实施例第一方面提供的方法中，在将该目标任务调度至所述至少一个集群中的第一集群处理之后，所述方法还包括：确定所述第一集群的新集群运行参数；若所述新集群运行参数低于所述第一集群的原集群运行参数，则将所述目标任务标记为缺陷任务；发送第一告警消息，所述第一告警消息用于提示用户对所述缺陷任务进行修复。优选的，本申请实施例第一方面提供的方法中，基于所述目标任务的调度状态，对所述目标任本文档来自技高网...

【技术保护点】
1.一种流数据任务调度方法，应用于任务调度系统，所述任务调度系统用于调度流数据任务，所述流数据任务由流数据处理系统处理，其中，所述方法包括：/n基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的集群运行参数；/n基于所述任务状态参数和所述集群运行参数中至少一项，确定所述目标任务的调度状态；/n基于所述目标任务的调度状态，对所述目标任务进行任务调度；/n其中，所述流数据处理系统中包含至少一个集群，所述目标集群为所述至少一个集群中任一个，所述目标任务为被分发至所述目标集群处理的流数据任务，所述目标节点为所述目标集群中的流数据处理节点。/n

【技术特征摘要】
1.一种流数据任务调度方法，应用于任务调度系统，所述任务调度系统用于调度流数据任务，所述流数据任务由流数据处理系统处理，其中，所述方法包括：
基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的集群运行参数；
基于所述任务状态参数和所述集群运行参数中至少一项，确定所述目标任务的调度状态；
基于所述目标任务的调度状态，对所述目标任务进行任务调度；
其中，所述流数据处理系统中包含至少一个集群，所述目标集群为所述至少一个集群中任一个，所述目标任务为被分发至所述目标集群处理的流数据任务，所述目标节点为所述目标集群中的流数据处理节点。


2.根据权利要求1所述方法，其中，在基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的运行参数之前，所述方法还包括以下至少一项：
根据所述目标任务中数据过满队列的数量、所述目标任务中流数据的持续堆积时间和所述目标任务的处理状态中至少一项，确定所述任务状态参数；
根据所述目标节点的内存状态、无效数据回收状态和节点连通状态中至少一项，确定所述节点状态参数。


3.根据权利要求2所述方法，其中，所述方法还包括以下至少一项：
根据所述目标任务中数据过满队列的数量，确定负载指数，所述负载指数与所述数据过满队列的数量负相关；
根据所述目标任务中流数据的持续堆积时间，确定堆积指数，所述堆积指数与所述持续堆积时间负相关；
根据所述目标任务的处理状态，确定状态指数，其中，所述处理状态为正常处理时，所述状态指数取为预设上限值，所述处理状态为处理失败时，所述状态指数取为预设下限值。


4.根据权利要求3所述方法，其中，根据所述目标任务中数据过满队列的数量、所述目标任务中流数据的持续堆积时间和所述目标任务的处理状态中至少一项，确定所述任务状态参数，包括：
对所述负载指数、所述堆积指数和所述状态指数进行加权计算，得到所述任务状态参数。


5.根据权利要求4所述方法，其中，对所述负载指数、所述堆积指数和所述状态指数进行加权计算时，所述负载指数的权重、所述堆积指数的权重和所述状态指数的权重依次递增。


6.根据权利要求2所述方法，其中，所述方法还包括：
根据所述目标节点的可用内存量，确定内存指数，所述内存指数与所述可用内存量正相关；
根据所述无效数据回收的消耗时长，确定回收指数，所述回收指数与所述消耗时长负相关；
根据所述目标节点的节点连通状态，确定连通指数，其中，所述节点连通状态为正常连通时，所述连通指数取为预设上限值，所述节点连通状态为连通失败时，所述连通指数取为预设下限值。


7.根据权利要求6所述方法，其中，根据所述目标节点的内存状态、无效数据回收状态和节点连通状态中至少一项，确定所述节点状态参数，包括：
对所述内存指数、所述回收指数和所述连通指数进行加权计算，得到所述节点状态参数。


8.根据权利要求7所述方法，其中，对所述内存指数、所述回收指数和所述连通指数进行加权计算时，所述内存指数的权重、所述回收指数的权重和所述连通指数的权重依次递增。


9.根据权利要求1～8之任一所述方法，其中，基于目标任务的任务状态参数和目标节点的节点状态参数，确定目标集群的集群运行参数，包括：
基于所述任务状态参数，确定所述目标任务中异常任务的数量；
根据所述异常任务的数量，确定所述目标集群的作业运行参数，所述作业运行参数与所述异常任务的数量负相关；
基于所述节点状态参数，确定所述目标节点中异常节点的数量；
根据所述异常节点的数量，确定所述目标集群的节点运行参数，所述节点运行参数与所述异常节点的数量负相关；
基于所述作业运行参数和所述节点运行参数，确定所述目标集群的集群运行参数。


10.根据权利要求9所述方法，其中，基于所述作业运行参数和所述节点运行参数，确定所述目标集群的集群运行参数，包括：
对所述作业运行参数和所述节点运行参数进行加权计算，得到所述目标集群的集群运行参数。


11.根据权利要求10所述方法，其中，在对所述作业运行参数和所述节点运行参数进行加权计算时，所述作业运行参数的权重小于所述节点运行参数的权重。


12.根据权利要求1所述方法，其中，基于所述任务状态参数，确定所述目标任务的调度状态，包括以下至少一项：
在目标任务的任务状态参数小于或等于预设阈值的情况下，若该目标任务的负载指数或者堆积指数小于预设数值，则确定该目标任务的调度状态为待扩容状态；
在目标任务的任务状态参数小于或等于预设阈值的情况下，确定该目标任务的调度状态为待迁移状态。


13.根据权利要求1所述方法，其中，基于所述集群运行参数，确定所述目标任务的调度状态，包括：
在目标集群的集...

【专利技术属性】
技术研发人员：王煜骢，酆晓杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY