基于分布式平台的资源调度方法、装置、设备及介质制造方法及图纸

本申请提供一种基于分布式平台的资源调度方法、装置、设备及介质，涉及资源调度技术领域。其中，该方法通过获取预设时间段内历史任务的运行参数，运行参数包括实际资源消耗参数和任务类型；根据历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，目标任务的任务类型与历史任务的任务类型相同；根据目标任务的初始资源申请参数，为目标任务分配目标资源并执行目标任务，应用本申请实施例，可以在满足了目标任务执行所需的目标资源的情况下，提高资源利用率。

【技术实现步骤摘要】
基于分布式平台的资源调度方法、装置、设备及介质
本申请涉及资源调度
，特别涉及一种基于分布式平台的资源调度方法、装置、设备及介质。
技术介绍
大数据计算领域中，流处理任务和批处理任务作为两种重要的任务处理方式，其中，流处理任务主要是对实时传输的数据项进行处理；批处理任务则主要是操作大容量静态数据集，并在计算过程完成后返回结果。现有的，对于流、批处理任务的资源分配来说，一般都是依用户申请进行分配。但由于现有的资源分配方法比较单一，会存在用户申请的资源大于任务运行所需资源，因此，存在资源浪费的问题。
技术实现思路
本申请的目的在于，针对上述现有技术中的不足，提供一种基于分布式平台的资源调度方法、装置、设备及介质，可以提高资源利用率。为实现上述目的，本申请实施例采用的技术方案如下：第一方面，本专利技术提供一种基于分布式平台的资源调度方法，包括：获取预设时间段内历史任务的运行参数，所述运行参数包括实际资源消耗参数和任务类型；根据所述历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，所述目标任务的任务类型与所述历史任务的任务类型相同；根据所述目标任务的初始资源申请参数，为所述目标任务分配目标资源并执行所述目标任务。在可选的实施方式中，所述根据所述历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，包括：获取所述历史任务的初始资源申请参数；若确定所述历史任务的初始资源申请参数和实际资源消耗参数满足预设条件，则根据预设算法，对所述历史任务的初始资源申请参数进行调节，获取所述目标任务的初始资源申请参数。在可选的实施方式中，所述为所述目标任务分配目标资源并执行所述目标任务，包括：若所述目标任务执行过程中实际资源消耗参数大于目标任务对应的预设资源阈值，则关闭所述目标任务，保存所述目标任务的运行状态，确定是否还有可分配目标资源；若确定还有可分配目标资源，则为所述目标任务增加分配所述目标资源，并根据所述目标任务的运行状态重启执行所述目标任务。在可选的实施方式中，所述确定是否还有可分配目标资源，包括：监测获取当前其他任务的实际运行参数，所述实际运行参数包括：实际资源消耗参数和任务类型；根据当前所述其他任务的实际运行参数和所述其他任务对应的预设资源阈值，确定所述其他任务是否还有可分配目标资源；若确定还有可分配目标资源，则为所述目标任务增加分配所述目标资源，并根据所述目标任务的运行状态重启执行所述目标任务，包括：若确定还有可分配目标资源，则将所述可分配目标资源动态分配给所述目标任务，并根据所述目标任务的运行状态重启执行所述目标任务。在可选的实施方式中，所述确定是否还有可分配目标资源，包括：根据预留可分配资源，确定是否还有可分配目标资源；若确定还有可分配目标资源，则为所述目标任务增加分配所述目标资源，并根据所述目标任务的运行状态重启执行所述目标任务，包括：若确定还有可分配目标资源，则将所述可分配目标资源动态分配给所述目标任务，并根据所述目标任务的运行状态重启执行所述目标任务。在可选的实施方式中，所述确定是否还有可分配目标资源之后，还包括：若确定无可分配目标资源，则向用户终端发送告警信息，所述告警信息包括目标任务标识。在可选的实施方式中，若所述目标任务包括多个批处理任务，所述方法还包括：响应于分时处理确认指令，控制多个所述批处理任务按预设规则分时执行。第二方面，本专利技术提供一种基于分布式平台的资源调度装置，包括：获取模块，用于获取预设时间段内历史任务的运行参数，所述运行参数包括实际资源消耗参数和任务类型；确定模块，用于根据所述历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，所述目标任务的任务类型与所述历史任务的任务类型相同；分配模块，用于根据所述目标任务的初始资源申请参数，为所述目标任务分配目标资源并执行所述目标任务。在可选的实施方式中，所述确定模块，具体用于获取所述历史任务的初始资源申请参数；若确定所述历史任务的初始资源申请参数和实际资源消耗参数满足预设条件，则根据预设算法，对所述历史任务的初始资源申请参数进行调节，获取所述目标任务的初始资源申请参数。在可选的实施方式中，所述分配模块，具体用于若所述目标任务执行过程中实际资源消耗参数大于目标任务对应的预设资源阈值，则关闭所述目标任务，保存所述目标任务的运行状态，确定是否还有可分配目标资源；若确定还有可分配目标资源，则为所述目标任务增加分配所述目标资源，并根据所述目标任务的运行状态重启执行所述目标任务。在可选的实施方式中，所述分配模块，具体用于监测获取当前其他任务的实际运行参数，所述实际运行参数包括：实际资源消耗参数和任务类型；根据当前所述其他任务的实际运行参数和所述其他任务对应的预设资源阈值，确定所述其他任务是否还有可分配目标资源；若确定还有可分配目标资源，则将所述可分配目标资源动态分配给所述目标任务，并根据所述目标任务的运行状态重启执行所述目标任务。在可选的实施方式中，所述分配模块，具体用于根据预留可分配资源，确定是否还有可分配目标资源；若确定还有可分配目标资源，则将所述可分配目标资源动态分配给所述目标任务，并根据所述目标任务的运行状态重启执行所述目标任务。在可选的实施方式中，所述分配模块，还用于若确定无可分配目标资源，则向用户终端发送告警信息，所述告警信息包括目标任务标识。在可选的实施方式中，若所述目标任务包括多个批处理任务，所述资源调度装置，还包括：控制模块，用于响应于分时处理确认指令，控制多个所述批处理任务按预设规则分时执行。第三方面，本专利技术提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式任一所述基于分布式平台的资源调度方法的步骤。第四方面，本专利技术提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如前述实施方式任一所述基于分布式平台的资源调度方法的步骤。本申请的有益效果是：本申请实施例提供的基于分布式平台的资源调度方法、装置、设备及介质中，通过获取预设时间段内历史任务的运行参数，运行参数包括实际资源消耗参数和任务类型；根据历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，目标任务的任务类型与历史任务的任务类型相同；根据目标任务的初始资源申请参数，为目标任务分配目标资源并执行目标任务，应用本申请实施例，可以在满足了目标任务执行所需的目标资源的情况下，提高资源利用率。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此本文档来自技高网...

【技术保护点】
1.一种基于分布式平台的资源调度方法，其特征在于，包括：/n获取预设时间段内历史任务的运行参数，所述运行参数包括实际资源消耗参数和任务类型；/n根据所述历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，所述目标任务的任务类型与所述历史任务的任务类型相同；/n根据所述目标任务的初始资源申请参数，为所述目标任务分配目标资源并执行所述目标任务。/n

【技术特征摘要】
1.一种基于分布式平台的资源调度方法，其特征在于，包括：
获取预设时间段内历史任务的运行参数，所述运行参数包括实际资源消耗参数和任务类型；
根据所述历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，所述目标任务的任务类型与所述历史任务的任务类型相同；
根据所述目标任务的初始资源申请参数，为所述目标任务分配目标资源并执行所述目标任务。


2.根据权利要求1所述的方法，其特征在于，所述根据所述历史任务的实际资源消耗参数，确定目标任务的初始资源申请参数，包括：
获取所述历史任务的初始资源申请参数；
若确定所述历史任务的初始资源申请参数和实际资源消耗参数满足预设条件，则根据预设算法，对所述历史任务的初始资源申请参数进行调节，获取所述目标任务的初始资源申请参数。


3.根据权利要求1所述的方法，其特征在于，所述为所述目标任务分配目标资源并执行所述目标任务，包括：
若所述目标任务执行过程中实际资源消耗参数大于目标任务对应的预设资源阈值，则关闭所述目标任务，保存所述目标任务的运行状态，确定是否还有可分配目标资源；
若确定还有可分配目标资源，则为所述目标任务增加分配所述目标资源，并根据所述目标任务的运行状态重启执行所述目标任务。


4.根据权利要求3所述的方法，其特征在于，所述确定是否还有可分配目标资源，包括：
监测获取当前其他任务的实际运行参数，所述实际运行参数包括：实际资源消耗参数和任务类型；
根据当前所述其他任务的实际运行参数和所述其他任务对应的预设资源阈值，确定所述其他任务是否还有可分配目标资源；
若确定还有可分配目标资源，则为所述目标任务增加分配所述目标资源，并根据所述目标任务的运行状态重启执行所述目标任务，包括：
若确定还有可分配目标资源，则将所述可分配目标资源动态分配给所述目标任务，并根据所述目标任务的运行状态重启执行所述目标任务。

【专利技术属性】
技术研发人员：程健，孙春，廖强，李玮，
申请(专利权)人：成都佳华物链云科技有限公司，
类型：发明
国别省市：四川;51