设备调度方法、装置、电子设备及可读存储介质制造方法及图纸

本公开涉及计算机技术领域，尤其涉及一种设备调度方法、装置、电子设备及可读存储介质，用于包括多个处理设备的分布式系统，通过确定多个待处理任务对应的任务属性匹配得到对应的相关历史任务参数。根据对应的相关历史任务参数确定待处理任务的预测处理参数，再根据分布式系统中的处理设备数量、每个处理设备的参数、以及多个待处理任务的预测处理参数绘制的希尔伯特曲线确定包括最多并行处理任务数量的任务处理方案。本公开实施例通过相关的历史任务预测每个待处理任务处理过程的情况，得到据预测处理参数并生成任务处理方案，以根据任务处理方案进行处理设备调度，提高分布式系统的任务处理效率、降低计算成本。降低计算成本。降低计算成本。

【技术实现步骤摘要】
设备调度方法、装置、电子设备及可读存储介质


[0001]本公开涉及计算机
，尤其涉及一种设备调度方法、装置、电子设备及可读存储介质。

技术介绍

[0002]在分布式系统进行机器学习等任务处理时，需要执行多个任务。但在任务被执行前不清楚每个任务需要的任务时长以及占用的计算资源，难以预先为每个任务预先调度对应的计算资源，导致出现任务冲突或浪费资源的情况。

技术实现思路

[0003]有鉴于此，本公开提出了一种设备调度方法、装置、电子设备及可读存储介质，旨在提高任务处理效率并降低计算成本。
[0004]根据本公开的第一方面，提供了一种设备调度方法，用于包括多个处理设备的分布式系统，所述方法包括：确定多个待处理任务对应的任务属性；根据对应的所述任务属性匹配所述待处理任务的相关历史任务参数；根据对应的相关历史任务参数确定所述待处理任务的预测处理参数；根据所述分布式系统中包括的处理设备数量、每个所述处理设备的参数、以及所述多个待处理任务的预测处理参数确定任务处理方案，所述任务处理方案中包括所述分布式系统能够并行处理的最多待处理任务数量；所述根据所述分布式系统中包括的处理设备数量、每个所述处理设备的参数、以及所述多个待处理任务的预测处理参数确定任务处理方案，包括：根据所述分布式系统中包括的处理设备数量和每个所述处理设备的参数确定资源空间；根据所述多个待处理任务的预测处理参数和所述资源空间生成希尔伯特曲线；根据所述希尔伯特曲线确定任务处理方案。
[0005]在一种可能的实现方式中，所述根据对应的所述任务属性匹配所述待处理任务的相关历史任务参数，包括：根据所述待处理任务对应的任务属性匹配至少一个相关历史任务；根据所述至少一个相关历史任务对应的任务时间和占用资源确定历史任务参数。
[0006]在一种可能的实现方式中，所述根据对应的相关历史任务参数确定所述待处理任务的预测处理参数，包括：根据所述相关历史任务参数训练分类模型得到参数预测模型；将所述待处理任务的任务属性输入所述参数预测模型，输出对应的预测处理参数。
[0007]在一种可能的实现方式中，所述分类模型为逻辑回归模型。
[0008]在一种可能的实现方式中，所述资源空间为包括多个子空间的网格形空间，每个所述子空间表征所述分布式系统中的一个处理设备，所述希尔伯特曲线占用所述资源空间中全部子空间。
[0009]在一种可能的实现方式中，所述根据所述希尔伯特曲线确定任务处理方案，包括：确定所述希尔伯特曲线在每个所述子空间位置对应的待处理任务；根据所述希尔伯特曲线对应不同的待处理任务数量确定任务处理方案。
[0010]在一种可能的实现方式中，所述任务处理方案中还包括所述分布式系统中每个所述处理设备对应的待处理任务，所述处理设备对应的待处理任务为所述处理设备所在子空间位置对应的待处理任务。
[0011]在一种可能的实现方式中，所述预测处理参数包括预测处理时长和预测占用资源。
[0012]根据本公开的第二方面，提供了一种设备调度装置，用于包括多个处理设备的分布式系统，所述装置包括：属性确定模块，用于确定多个待处理任务对应的任务属性；第一参数确定模块，用于根据对应的所述任务属性匹配所述待处理任务的相关历史任务参数；第二参数确定模块，用于根据对应的相关历史任务参数确定所述待处理任务的预测处理参数；方案生成模块，用于根据所述分布式系统中包括的处理设备数量、每个所述处理设备的参数、以及所述多个待处理任务的预测处理参数确定任务处理方案，所述任务处理方案中包括所述分布式系统能够并行处理的最多待处理任务数量；所述方案生成模块，包括：资源空间确定子模块，用于根据所述分布式系统中包括的处理设备数量和每个所述处理设备的参数确定资源空间；曲线绘制子模块，用于根据所述多个待处理任务的预测处理参数和所述资源空间生成希尔伯特曲线；处理方案生成子模块，用于根据所述希尔伯特曲线确定任务处理方案。
[0013]在一种可能的实现方式中，所述第一参数确定模块，包括：相关任务匹配子模块，用于根据所述待处理任务对应的任务属性匹配至少一个相关历史任务；历史参数确定子模块，用于根据所述至少一个相关历史任务对应的任务时间和占用资源确定历史任务参数。
[0014]在一种可能的实现方式中，所述第二参数确定模块，包括：模型训练子模块，用于根据所述相关历史任务参数训练分类模型得到参数预测模型；预测参数确定子模块，用于将所述待处理任务的任务属性输入所述参数预测模型，输出对应的预测处理参数。
[0015]在一种可能的实现方式中，所述分类模型为逻辑回归模型。
[0016]在一种可能的实现方式中，所述资源空间为包括多个子空间的网格形空间，每个
所述子空间表征所述分布式系统中的一个处理设备，所述希尔伯特曲线占用所述资源空间中全部子空间。
[0017]在一种可能的实现方式中，所述处理方案生成子模块，包括：任务确定单元，用于确定所述希尔伯特曲线在每个所述子空间位置对应的待处理任务；处理方案生成单元，用于根据所述希尔伯特曲线对应不同的待处理任务数量确定任务处理方案。
[0018]在一种可能的实现方式中，所述任务处理方案中还包括所述分布式系统中每个所述处理设备对应的待处理任务，所述处理设备对应的待处理任务为所述处理设备所在子空间位置对应的待处理任务。
[0019]在一种可能的实现方式中，所述预测处理参数包括预测处理时长和预测占用资源。
[0020]根据本公开的第三方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。
[0021]根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
[0022]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
[0023]在本公开实施例中，通过确定多个待处理任务对应的任务属性，根据对应的任务属性匹配得到每个待处理任务的相关历史任务参数。根据对应的相关历史任务参数确定待处理任务的预测处理参数，再根据分布式系统中的处理设备数量、每个处理设备的参数、以及多个待处理任务的预测处理参数确定包括最多并行处理任务数量的任务处理方案。本公开实施例通过相关的历史任务预测每个待处理任务处理过程的情况，得到据预测处理参数并生成任务处理方案，以根据任务处理方案进行处理设备调度，提高分布式系统的任务处理效率、降低计算成本。
[0024]根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
[0025]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
...

【技术保护点】

【技术特征摘要】
1.一种设备调度方法，用于包括多个处理设备的分布式系统，其特征在于，所述方法包括：确定多个待处理任务对应的任务属性；根据对应的所述任务属性匹配所述待处理任务的相关历史任务参数；根据对应的相关历史任务参数确定所述待处理任务的预测处理参数；根据所述分布式系统中包括的处理设备数量、每个所述处理设备的参数、以及所述多个待处理任务的预测处理参数确定任务处理方案，所述任务处理方案中包括所述分布式系统能够并行处理的最多待处理任务数量；所述根据所述分布式系统中包括的处理设备数量、每个所述处理设备的参数、以及所述多个待处理任务的预测处理参数确定任务处理方案，包括：根据所述分布式系统中包括的处理设备数量和每个所述处理设备的参数确定资源空间；根据所述多个待处理任务的预测处理参数和所述资源空间生成希尔伯特曲线；根据所述希尔伯特曲线确定任务处理方案。2.根据权利要求1所述的方法，其特征在于，所述根据对应的所述任务属性匹配所述待处理任务的相关历史任务参数，包括：根据所述待处理任务对应的任务属性匹配至少一个相关历史任务；根据所述至少一个相关历史任务对应的任务时间和占用资源确定历史任务参数。3.根据权利要求1所述的方法，其特征在于，所述根据对应的相关历史任务参数确定所述待处理任务的预测处理参数，包括：根据所述相关历史任务参数训练分类模型得到参数预测模型；将所述待处理任务的任务属性输入所述参数预测模型，输出对应的预测处理参数。4.根据权利要求3所述的方法，其特征在于，所述分类模型为逻辑回归模型。5.根据权利要求1所述的方法，其特征在于，所述资源空间为包括多个子空间的网格形空间，每个所述子空间表征所述分布式系统中的一个处理设备，所述希尔伯特曲线占用所述资源空间中全部子空间。6.根据权利要求5所述的方法，其特征在于，所述根据所述希尔伯特曲线确定任务处理...

【专利技术属性】
技术研发人员：卢亿雷，武永卫，
申请(专利权)人：清华大学，
类型：发明
国别省市：