本申请提供一种任务调度方法、装置、电子设备、存储介质及产品，涉及数据分析技术领域。该方法应用于调度器，包括：获取目标任务集和包含多个节点的节点集群；其中，目标任务集包含多个待调度任务；确定与预先建立的资源成本模型对应的目标函数，并根据改进蚁群算法，确定与目标函数取最小值时对应的最优解；根据最优解，在节点集群中确定多个待调度任务匹配的调度节点，并将多个待调度任务分配给调度节点。上述方式能够保证在任务调度时降低节点集群的资源成本。群的资源成本。群的资源成本。
【技术实现步骤摘要】
任务调度方法、装置、电子设备、存储介质及产品
[0001]本申请涉及数据分析
，尤其涉及一种任务调度方法、装置、电子设备、存储介质及产品。
技术介绍
[0002]随着数据量的激增，大数据、云计算的技术和组件也层出不穷，变得越来越丰富，比如批处理组件(Hive、Spark)、流处理组件(Storm、Spark Streaming、Flink Stream)等。越来越多的人开始关注由于集群的任务调度的异同，导致的成本问题。该任务调度是指在特定的限制下对任务按计算和资源分配进行调度的一个过程。该过程可以被视为任务放置和资源之间的映射，具体体现在特定的优化目标。
[0003]以分布式集群(例如Dolphin集群)为例，在分布式集群环境下进行任务调度时，由于分布式集群下各节点的性能不同，以及分布式集群中的节点能力和网络带宽的不同，分布式集群中节点的资源在每个时刻所承受的负载变化很大。目前Dolphin集群所采用的调度器自身部署有以下三种算法：随机调度算法、轮询调度算法和机器资源权重算法。大量的任务在不同的调度方式下，其放置位置也有所不同。
[0004]上述随机调度算法负载均衡能力差。与随机调度算法相比，轮询调度算法虽然在一定程度上能够使任务分布的更加均匀，但是其存在集群整体的资源成本高的弊端。而机器资源权重算法是基于资源调度和负载均衡的目标进行的优化，可能无法利用到成本较低的节点，因此现有技术存在资源利用不合理，资源成本开销大的技术问题。
技术实现思路
[0005]本申请提供了一种任务度方法、装置、电子设备、存储介质及产品，用以解决资源成本开销大的问题。
[0006]根据本申请的第一方面，提供了一种任务调度方法，应用于调度器，包括：
[0007]获取目标任务集和包含多个节点的节点集群；其中，所述目标任务集包含多个待调度任务；
[0008]确定与预先建立的资源成本模型对应的目标函数，并根据改进蚁群算法，确定与所述目标函数取最小值时对应的最优解；
[0009]根据所述最优解，在所述节点集群中确定所述多个待调度任务匹配的调度节点，并将所述多个待调度任务分配给所述调度节点。
[0010]可选地，建立所述资源成本模型，包括：
[0011]针对所述节点集群中的每个节点，获取所述节点的资源单价和所述节点执行对应待调度任务所需的资源使用时间；
[0012]根据所述节点的资源单价和所述资源使用时间建立资源成本模型。
[0013]可选地，所述根据所述节点的资源单价和所述资源使用时间建立资源成本模型，包括：
[0014]针对所述节点集群中的每个节点，将所述节点的资源单价和所述资源使用时间的乘积结果确定为所述节点执行对应待调度任务的资源成本；
[0015]确定用于对所有所述节点执行对应待调度任务的资源成本进行累加计算的公式，并将所述公式确定为资源成本模型。
[0016]可选地，所述节点包括中央处理器和内存，所述资源使用时间包括中央处理器使用时间和内存使用时间；
[0017]将所述节点的资源单价和所述资源使用时间的乘积结果确定为所述节点执行对应待调度任务的资源成本，包括：
[0018]将所述中央处理器的资源单价和所述中央处理器使用时间的乘积结果确定为所述节点执行对应待调度任务的中央处理器资源成本；
[0019]将所述内存的资源单价和所述内存使用时间的乘积结果确定为所述节点执行对应待调度任务的内存资源成本；
[0020]将所述中央处理器资源成本和内存资源成本的相加结果确定为所述节点执行对应待调度任务的资源成本。
[0021]可选地，所述根据改进蚁群算法，确定与所述目标函数取最小值时对应的最优解，包括：
[0022]初始化所述目标任务集对应的任务数组、所述目标任务集对应的资源成本需求数组和所述节点集群对应的节点数组；
[0023]将所述任务数组和所述节点数组作为所述改进蚁群算法的输入，并将所述资源成本需求数据作为所述改进蚁群算法的约束条件；
[0024]利用所述改进蚁群算法进行迭代计算，得到与所述目标函数取最小值时对应的最优解。
[0025]可选地，所述利用所述改进蚁群算法进行迭代计算，得到与所述目标函数取最小值时对应的最优解，包括：
[0026]S1：初始化所述改进蚁群算法的以下参数：信息启发因子、期望启发因子、信息素、蚂蚁数量和最大迭代次数；
[0027]S2：更新当前迭代次数；
[0028]S3：针对每只携带所有所述待调度任务的蚂蚁，将所述蚂蚁的起始点随机分配到所述节点集群中的任意节点上，以使所述蚂蚁按照预设的概率公式，通过轮盘赌的方式为每个所述调度任务分配满足预设条件的节点，并进行所述信息素的局部更新；其中，所述概率公式的参数包括：所述信息启发因子、所述期望启发因子、所述信息素和所述资源成本模型输出的函数值，所述预设条件包括所述约束条件；
[0029]S4：判断所有的蚂蚁是否遍历完；若是，则执行S5；若否，则继续执行S3；
[0030]S5：确定所述目标函数在当前迭代中取最小值时对应的备选最优解，并进行所述信息素的全局更新；
[0031]S6：判断当前迭代次数是否达到所述最大迭代次数；若否，则执行S2；若是，则迭代结束，并执行S7；
[0032]S7：将所述备选最优解作为最优解进行输出。
[0033]可选地，所述获取目标任务集，包括：
[0034]将预设的关联任务组中的所有待执行任务按照预执行的先后次序建立拓扑图；
[0035]根据所述拓扑图将所有所述待执行任务按层次划分为不同的任务集；
[0036]从所有的所述任务集中选择一个所述任务集作为目标任务集。
[0037]根据本申请的第二方面，提供了一种任务调度装置，应用于调度器，包括：
[0038]获取模块，用于获取目标任务集和包含多个节点的节点集群；其中，所述目标任务集包含多个待调度任务；
[0039]确定模块，用于确定与预先建立的资源成本模型对应的目标函数，并根据改进蚁群算法，确定与所述目标函数取最小值时对应的最优解；
[0040]确定分配模块，用于根据所述最优解，在所述节点集群中确定所述多个待调度任务匹配的调度节点，并将所述多个待调度任务分配给所述调度节点。
[0041]根据本申请的第三方面，提供了一种电子设备，包括：至少一个处理器和存储器；
[0042]所述存储器存储计算机执行指令；
[0043]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面所述的任务调度方法。
[0044]根据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面所述的任务调度方法。
[0045]根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务调度方法，其特征在于，应用于调度器，包括：获取目标任务集和包含多个节点的节点集群；其中，所述目标任务集包含多个待调度任务；确定与预先建立的资源成本模型对应的目标函数，并根据改进蚁群算法，确定与所述目标函数取最小值时对应的最优解；根据所述最优解，在所述节点集群中确定所述多个待调度任务匹配的调度节点，并将所述多个待调度任务分配给所述调度节点。2.根据权利要求1所述的方法，其特征在于，建立所述资源成本模型，包括：针对所述节点集群中的每个节点，获取所述节点的资源单价和所述节点执行对应待调度任务所需的资源使用时间；根据所述节点的资源单价和所述资源使用时间建立资源成本模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述节点的资源单价和所述资源使用时间建立资源成本模型，包括：针对所述节点集群中的每个节点，将所述节点的资源单价和所述资源使用时间的乘积结果确定为所述节点执行对应待调度任务的资源成本；确定用于对所有所述节点执行对应待调度任务的资源成本进行累加计算的公式，并将所述公式确定为资源成本模型。4.根据权利要求3所述的方法，其特征在于，所述节点包括中央处理器和内存，所述资源使用时间包括中央处理器使用时间和内存使用时间；将所述节点的资源单价和所述资源使用时间的乘积结果确定为所述节点执行对应待调度任务的资源成本，包括：将所述中央处理器的资源单价和所述中央处理器使用时间的乘积结果确定为所述节点执行对应待调度任务的中央处理器资源成本；将所述内存的资源单价和所述内存使用时间的乘积结果确定为所述节点执行对应待调度任务的内存资源成本；将所述中央处理器资源成本和内存资源成本的相加结果确定为所述节点执行对应待调度任务的资源成本。5.根据权利要求1所述的方法，其特征在于，所述根据改进蚁群算法，确定与所述目标函数取最小值时对应的最优解，包括：初始化所述目标任务集对应的任务数组、所述目标任务集对应的资源成本需求数组和所述节点集群对应的节点数组；将所述任务数组和所述节点数组作为所述改进蚁群算法的输入，并将所述资源成本需求数据作为所述改进蚁群算法的约束条件；利用所述改进蚁群算法进行迭代计算，得到与所述目标函数取最小值时对应的最优解。6.根据权利要求5所述的方法，其特征在于，所述利用所述改进蚁群算法进行迭代计算，得到与所述目标函数取最小值时对应的最优解，包括：S1：初始...
【专利技术属性】
技术研发人员：戴红希，张世宜，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。