本申请适用于强化学习技术领域，提供了一种任务调度方法、装置、电子设备及可读存储介质。所述方法包括：获取待调度任务；对待调度任务进行划分，获得多个层级任务，层级任务包括待调度子任务；按照预设层级顺序，将多个层级任务输入至基于强化学习的已训练调度模型，获得已训练调度模型输出的每个层级任务的最优任务计算顺序；按照预设层级顺序计算层级任务；针对每个层级任务，按照最优任务计算顺序计算待调度子任务。本申请能够有效调节集群计算资源的均衡性，使数据的计算更加合理安全，减少因某个时间段内集群计算资源不足而导致任务失败，也减少某个时间段内集群计算资源没有充分使用导致计算资源浪费的情况。有充分使用导致计算资源浪费的情况。有充分使用导致计算资源浪费的情况。
【技术实现步骤摘要】
一种任务调度方法、装置、电子设备及可读存储介质
[0001]本申请属于强化学习
，尤其涉及一种任务调度方法、装置、电子设备及可读存储介质。
技术介绍
[0002]离线数据仓库中不同的层级有不同的计算任务，不同的计算任务消耗的计算资源存在差异。
[0003]集群计算时，集群体系通常由多个分机构成，指挥分机工作的进程称为主机，分机运行时，可以接收计算请求，并计算本地的网格文件，将计算结果返回到主机。但集群是随机选择任务计算的，使得集群的计算资源会因离线数据仓库的不同任务消耗的计算资源而存在差异，也会因同一时间任务数量的不同而存在差异。最终导致集群计算资源在不同时间段消耗水平的均值存在很大差异。
技术实现思路
[0004]本申请实施例提供了一种任务调度方法、装置、电子设备、计算机可读存储介质和计算机程序产品，可以解决集群计算离线数据仓库的层级任务时存在的集群计算资源在不同时间段消耗水平的均值有很大差异的问题。
[0005]第一方面，本申请实施例提供了一种任务调度方法，包括：
[0006]获取待调度任务；
[0007]对所述待调度任务进行划分，获得多个层级任务，所述层级任务包括待调度子任务；
[0008]按照预设层级顺序，将多个所述层级任务输入至基于强化学习的已训练调度模型，获得所述已训练调度模型输出的每个所述层级任务的最优任务计算顺序，所述最优任务计算顺序为所述已训练调度模型中每个集群状态的目标反馈值最高的待调度子任务，所述目标反馈值用于表征集群计算所述待调度子任务后所述集群的承载值；
[0009]按照所述预设层级顺序计算所述层级任务；
[0010]针对每个所述层级任务，按照所述最优任务计算顺序计算所述待调度子任务。
[0011]可选的，所述将多个所述层级任务输入至基于强化学习的已训练调度模型中之前，还包括：
[0012]获取训练任务；
[0013]将所述训练任务进行划分，获得多个层级训练任务，所述层级训练任务包括训练子任务，所述层级训练任务用于训练基于强化学习的调度模型；
[0014]在训练所述调度模型的过程中，在所述调度模型按照预设层级顺序将多个所述层级训练任务放入所述集群后，确定对应每个所述层级训练任务的模型参数，所述模型参数包括每个时间步的所述集群状态和所述训练子任务的目标反馈值；
[0015]当所述调度模型基于所述模型参数，在每个所述集群状态中选择目标反馈值最高
的训练子任务，获得所述已训练调度模型。
[0016]可选的，将所述训练任务进行划分，获得多个层级训练任务，包括：
[0017]对所述训练任务进行分割，获得多个所述训练子任务；
[0018]将所述训练子任务进行层级划分，获得多个所述层级训练任务；
[0019]在每个所述层级训练任务中，当存在具有依赖关系的训练子任务，将所述具有依赖关系的训练子任务的计算顺序进行编排，获得非独立子任务组，所述层级训练任务包括所述非独立子任务组和/或独立子任务。
[0020]可选的，所述在所述调度模型按照预设层级顺序将多个所述层级训练任务放入所述集群后，确定对应每个所述层级训练任务的模型参数，包括：
[0021]针对每个所述层级训练任务，每个时间步执行下述步骤，直至全部所述训练子任务计算完毕：
[0022]在所述调度模型将待计算任务集中目标非独立子任务组和/或目标独立子任务放入所述集群后，确定所述目标非独立子任务组的目标反馈值和/或所述目标独立子任务的目标反馈值；
[0023]确定所述集群的所述集群状态；
[0024]其中，所述待计算任务集包括除去历史时间步中目标反馈值最高的训练子任务后的训练子任务，所述调度模型将所述目标非独立子任务组放入所述集群为将所述目标非独立子任务组的训练子任务按照对应的编排顺序放入所述集群中。
[0025]可选的，所述确定所述目标非独立子任务组的目标反馈值和/或所述目标独立子任务的目标反馈值，包括：
[0026]在所述集群计算所述目标非独立子任务组后，计算所述集群的当前承载值；
[0027]基于预设对应关系，确定所述当前承载值对应的目标奖励值，得到所述目标非独立子任务组的目标反馈值；
[0028]在所述集群计算所述目标独立子任务后，计算所述集群的所述当前承载值；
[0029]基于所述预设对应关系，确定所述当前承载值对应的所述目标奖励值，得到所述目标独立子任务的目标反馈值，所述预设对应关系用于表征所述集群的承载值与奖励值之间的关系。
[0030]可选的，所述预设对应关系为所述集群的承载值与奖励值的线性变化关系。
[0031]可选的，所述预设层级任务顺序为维表层，数据明细层，数据服务层，数据应用层。
[0032]第二方面，本申请实施例提供了一种任务调度装置，包括：
[0033]获取模块，用于获取待调度任务；
[0034]任务划分模块，用于对所述待调度任务进行划分，获得多个层级任务，所述层级任务包括待调度子任务；
[0035]任务调度模块，用于按照预设层级顺序，将多个所述层级任务输入至基于强化学习的已训练调度模型，获得所述已训练调度模型输出的每个所述层级任务的最优任务计算顺序，所述最优任务计算顺序为所述已训练调度模型中每个集群状态的目标反馈值最高的待调度子任务，所述目标反馈值用于表征所述已训练调度模型计算所述待调度子任务后集群的承载值；
[0036]任务计算模块，用于按照所述预设层级顺序计算所述层级任务；
[0037]还用于针对每个所述层级任务，按照所述最优任务计算顺序计算所述待调度子任务。
[0038]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的方法。
[0039]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的方法。
[0040]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。
[0041]本申请实施例与现有技术相比存在的有益效果是：
[0042]本申请实施例通过获取待调度任务；对待调度任务进行划分，获得多个层级任务，层级任务包括待调度子任务；按照预设层级顺序，将多个层级任务输入至基于强化学习的已训练调度模型，获得已训练调度模型输出的最优任务计算顺序，能够有效调节集群计算资源的均衡性，使数据的计算更加合理安全，减少因某个时间段内集群计算资源不足而导致任务失败的情况，也减少某个时间段内集群计算资源没有充分使用导致计算资源浪费的情况。
[0043]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：获取待调度任务；对所述待调度任务进行划分，获得多个层级任务，所述层级任务包括待调度子任务；按照预设层级顺序，将多个所述层级任务输入至基于强化学习的已训练调度模型，获得所述已训练调度模型输出的每个所述层级任务的最优任务计算顺序，所述最优任务计算顺序为所述已训练调度模型中每个集群状态的目标反馈值最高的待调度子任务，所述目标反馈值用于表征集群计算所述待调度子任务后所述集群的承载值；按照所述预设层级顺序计算所述层级任务；针对每个所述层级任务，按照所述最优任务计算顺序计算所述待调度子任务。2.根据权利要求1所述的方法，其特征在于，所述将多个所述层级任务输入至基于强化学习的已训练调度模型中之前，还包括：获取训练任务；将所述训练任务进行划分，获得多个层级训练任务，所述层级训练任务包括训练子任务，所述层级训练任务用于训练基于强化学习的调度模型；在训练所述调度模型的过程中，在所述调度模型按照预设层级顺序将多个所述层级训练任务放入所述集群后，确定对应每个所述层级训练任务的模型参数，所述模型参数包括每个时间步的所述集群状态和所述训练子任务的目标反馈值；当所述调度模型基于所述模型参数，在每个所述集群状态中选择目标反馈值最高的训练子任务，获得所述已训练调度模型。3.根据权利要求2所述的方法，其特征在于，将所述训练任务进行划分，获得多个层级训练任务，包括：对所述训练任务进行分割，获得多个所述训练子任务；将所述训练子任务进行层级划分，获得多个所述层级训练任务；在每个所述层级训练任务中，当存在具有依赖关系的训练子任务，将所述具有依赖关系的训练子任务的计算顺序进行编排，获得非独立子任务组，所述层级训练任务包括所述非独立子任务组和/或独立子任务。4.根据权利要求3所述的方法，其特征在于，所述在所述调度模型按照预设层级顺序将多个所述层级训练任务放入所述集群后，确定对应每个所述层级训练任务的模型参数，包括：针对每个所述层级训练任务，每个时间步执行下述步骤，直至全部所述训练子任务计算完毕：在所述调度模型将待计算任务集中目标非独立子任务组和/或目标独立子任务放入所述集群后，确定所述目标非独立子任务组的目标反馈值和/或所述目标独立子任务的目标反馈值；确定所述集群的所...
【专利技术属性】
技术研发人员：毛弘亚，
申请(专利权)人：深圳派氪司科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。