任务分配方法、装置、存储介质及计算机设备制造方法及图纸

本申请提供的任务分配方法、装置、存储介质及计算机设备，当有待分配任务时，可以先确定该待分配任务的优先级，并统计各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况，进而可以根据各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况，确定将待分配任务分配至各个计算中心的预计完成时间以及每一计算中心的任务平衡度，这样对该待分配任务进行分配时，即可根据各个计算中心的预计完成时间、任务平衡度以及待分配任务的优先级，确定处理待分配任务的目标计算中心，并将待分配任务分配至该目标计算中心，这样既可以提高数据处理效率，又可以优化资源利用率。优化资源利用率。优化资源利用率。

【技术实现步骤摘要】
任务分配方法、装置、存储介质及计算机设备


[0001]本申请涉及计算机
，尤其涉及一种任务分配方法、装置、存储介质及计算机设备。

技术介绍

[0002]目前，在为多个计算中心分配处理任务时，主要是通过任务分发中心根据不同的任务类型，各个计算中心的有效资源，动态分配任务到各个计算中心配置的调度中心，并通过调度中心分配处理任务给计算中心内的若干个工作节点进行处理。例如，当需要利用GPU资源进行脱敏计算任务时，可以通过任务分发中心向各个计算中心分配脱敏计算任务。
[0003]现有的脱敏计算任务分配时，任务分发中心主要根据待脱敏数据的存放地址创建脱敏任务在对应的计算中心，由于待脱敏数据的种类较多，每一种待脱敏数据的处理时间相差也比较大，各个计算中心因为资源的差异，处理能力也各异，这样容易导致某个计算中心的任务积压严重、处理能力失衡，进而无法完成业务数据的及时脱敏，无法满足业务目标。

技术实现思路

[0004]本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中的任务分配方式容易导致某个计算中心的任务积压严重、处理能力失衡，进而无法完成业务数据的及时脱敏，无法满足业务目标的技术缺陷。
[0005]本申请提供了一种任务分配方法，所述方法包括：
[0006]获取待分配任务及所述待分配任务的优先级；
[0007]统计各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况；
[0008]根据各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况，确定将所述待分配任务分配至各个计算中心的预计完成时间以及每一计算中心的任务平衡度；
[0009]基于各个计算中心的预计完成时间、任务平衡度以及所述待分配任务的优先级，确定处理所述待分配任务的目标计算中心，并将所述待分配任务分配至所述目标计算中心。
[0010]可选地，所述统计各个计算中心的每一工作节点的当前工作情况，包括：
[0011]针对每一计算中心：
[0012]统计该计算中心中工作节点的数量、正在处理任务的工作节点处理任务的任务类型、任务量和已处理时长，以及该计算中心在处理不同类型任务时的实时权重；其中，该计算中心在处理不同类型任务时的实时权重包括该计算中心在处理本计算中心不同类型任务时的实时权重以及该计算中心在处理其他计算中心不同类型任务时的实时权重；
[0013]根据该计算中心在处理不同类型任务时的实时权重、所述正在处理任务的工作节
点处理任务的任务类型、任务量和已处理时长，计算所述正在处理任务的工作节点处理任务的剩余处理时长；
[0014]将该计算中心中工作节点的数量、所述正在处理任务的工作节点处理任务的剩余处理时长作为该计算中心的每一工作节点的当前工作情况。
[0015]可选地，所述统计该计算中心在处理不同类型任务时的实时权重，包括：
[0016]获取该计算中心在预设历史时段内处理的历史任务对应的任务类型、实际任务量以及实际处理时长；
[0017]对于不同类型的历史任务，根据该历史任务的实际任务量和实际处理时长，计算该历史任务的实际处理速度；
[0018]依据不同类型的历史任务的实际处理速度确定不同类型的历史任务的实际权重，并将不同类型的历史任务的实际权重与预先通过基准测试配置的不同类型的测试任务的测试权重进行比对，得到比对结果；
[0019]根据所述比对结果确定该计算中心在处理不同类型任务时的实时权重。
[0020]可选地，所述不同类型的测试任务的测试权重的配置过程，包括：
[0021]预先配置不同类型的测试任务，并确定各个类型的测试任务对应的测试任务量；
[0022]分别对不同类型的测试任务进行基准测试，得到各个类型的测试任务对应的测试时长；
[0023]根据各个类型的测试任务对应的测试时长以及测试任务量，计算各个类型的测试任务对应的测试速度；
[0024]按照不同类型的测试任务对应的测试速度配置不同类型的测试任务的测试权重。
[0025]可选地，所述根据该计算中心在处理不同类型任务时的实时权重、所述正在处理任务的工作节点处理任务的任务类型、任务量和已处理时长，计算所述正在处理任务的工作节点处理任务的剩余处理时长，包括：
[0026]根据该计算中心在处理不同类型任务时的实时权重，以及所述正在处理任务的工作节点处理任务的任务类型，确定所述正在处理任务的工作节点处理任务的实时权重；
[0027]通过所述正在处理任务的工作节点处理任务的实时权重以及任务量，计算所述正在处理任务的工作节点处理任务的总处理时长；
[0028]将所述正在处理任务的工作节点处理任务的总处理时长减去所述已处理时长，得到所述正在处理任务的工作节点处理任务的剩余处理时长。
[0029]可选地，所述统计各个计算中心的任务调度队列的当前排队情况，包括：
[0030]针对每一计算中心：
[0031]统计该计算中心的任务调度队列中每一待处理任务的队列位置、任务类型、优先级和任务量，以及该计算中心在处理不同类型任务时的实时权重；
[0032]根据该计算中心在处理不同类型任务时的实时权重、每一待处理任务的任务类型和任务量，计算每一待处理任务的总处理时长；
[0033]将所述任务调度队列中每一待处理任务的队列位置、优先级以及总处理时长作为所述任务调度队列的当前排队情况。
[0034]可选地，所述根据各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况，确定将所述待分配任务分配至各个计算中心的预计完
成时间，包括：
[0035]针对每一计算中心：
[0036]根据该计算中心的每一工作节点的当前工作情况以及该计算中心的任务调度队列的当前排队情况，计算将所述待分配任务分配至该计算中心的最短等待时长；
[0037]获取该计算中心在处理不同类型任务时的实时权重，以及所述待分配任务的任务类型和任务量；
[0038]根据所述待分配任务的任务类型和任务量，以及该计算中心在处理不同类型任务时的实时权重，计算将所述待分配任务分配至该计算中心的预计处理时长；
[0039]根据所述最短等待时长和所述预计处理时长，计算将所述待分配任务分配至该计算中心的预计完成时间。
[0040]可选地，该计算中心的每一工作节点的当前工作情况包括该计算中心中工作节点的数量和正在处理任务的工作节点处理任务的剩余处理时长；该计算中心的任务调度队列的当前排队情况包括该任务调度队列中每一待处理任务的队列位置、优先级以及总处理时长；
[0041]所述根据该计算中心的每一工作节点的当前工作情况以及该计算中心的任务调度队列的当前排队情况，计算将所述待分配任务分配至该计算中心的最短等待时长，包括：
[0042]确定该计算中心的任务调度队列中优先级不小于所述待分配任务优先级的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务分配方法，其特征在于，所述方法包括：获取待分配任务及所述待分配任务的优先级；统计各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况；根据各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况，确定将所述待分配任务分配至各个计算中心的预计完成时间以及每一计算中心的任务平衡度；基于各个计算中心的预计完成时间、任务平衡度以及所述待分配任务的优先级，确定处理所述待分配任务的目标计算中心，并将所述待分配任务分配至所述目标计算中心。2.根据权利要求1所述的任务分配方法，其特征在于，所述统计各个计算中心的每一工作节点的当前工作情况，包括：针对每一计算中心：统计该计算中心中工作节点的数量、正在处理任务的工作节点处理任务的任务类型、任务量和已处理时长，以及该计算中心在处理不同类型任务时的实时权重；其中，该计算中心在处理不同类型任务时的实时权重包括该计算中心在处理本计算中心不同类型任务时的实时权重以及该计算中心在处理其他计算中心不同类型任务时的实时权重；根据该计算中心在处理不同类型任务时的实时权重、所述正在处理任务的工作节点处理任务的任务类型、任务量和已处理时长，计算所述正在处理任务的工作节点处理任务的剩余处理时长；将该计算中心中工作节点的数量、所述正在处理任务的工作节点处理任务的剩余处理时长作为该计算中心的每一工作节点的当前工作情况。3.根据权利要求2所述的任务分配方法，其特征在于，所述统计该计算中心在处理不同类型任务时的实时权重，包括：获取该计算中心在预设历史时段内处理的历史任务对应的任务类型、实际任务量以及实际处理时长；对于不同类型的历史任务，根据该历史任务的实际任务量和实际处理时长，计算该历史任务的实际处理速度；依据不同类型的历史任务的实际处理速度确定不同类型的历史任务的实际权重，并将不同类型的历史任务的实际权重与预先通过基准测试配置的不同类型的测试任务的测试权重进行比对，得到比对结果；根据所述比对结果确定该计算中心在处理不同类型任务时的实时权重。4.根据权利要求3所述的任务分配方法，其特征在于，所述不同类型的测试任务的测试权重的配置过程，包括：预先配置不同类型的测试任务，并确定各个类型的测试任务对应的测试任务量；分别对不同类型的测试任务进行基准测试，得到各个类型的测试任务对应的测试时长；根据各个类型的测试任务对应的测试时长以及测试任务量，计算各个类型的测试任务对应的测试速度；按照不同类型的测试任务对应的测试速度配置不同类型的测试任务的测试权重。
5.根据权利要求2所述的任务分配方法，其特征在于，所述根据该计算中心在处理不同类型任务时的实时权重、所述正在处理任务的工作节点处理任务的任务类型、任务量和已处理时长，计算所述正在处理任务的工作节点处理任务的剩余处理时长，包括：根据该计算中心在处理不同类型任务时的实时权重，以及所述正在处理任务的工作节点处理任务的任务类型，确定所述正在处理任务的工作节点处理任务的实时权重；通过所述正在处理任务的工作节点处理任务的实时权重以及任务量，计算所述正在处理任务的工作节点处理任务的总处理时长；将所述正在处理任务的工作节点处理任务的总处理时长减去所述已处理时长，得到所述正在处理任务的工作节点处理任务的剩余处理时长。6.根据权利要求1所述的任务分配方法，其特征在于，所述统计各个计算中心的任务调度队列的当前排队情况，包括：针对每一计算中心：统计该计算中心的任务调度队列中每一待处理任务的队列位置、任务类型、优先级和任务量，以及该计算中心在处理不同类型任务时的实时权重；根据该计算中心在处理不同类型任务时的实时权重、每一待处理任务的任务类型和任务量，计算每一待处理任务的总处理时长；将所述任务调度队列中每一待处理任务的队列位置、优先级以及总处理时长作为所述任务调度队列的当前排队情况。7.根据权利要求1
‑
6中任一项所述的任务分配方法，其特征在于，所述根据各个计算中心的每一工作节点的当前工作情况以及各个计算中心的任务调度队列的当前排队情况，确定将所述待分配任务分配至各个计算中心的预计完成时间，包括：针对每一计算中心：根据该计算中心的每一工作节点的当前工作情况以及该计算中心的任务调度队列的当前排队情况，计算将所述待分配任务分配至该计算中心的最短等待时长；获取该计算中心在处理不同类型任务时的实时权重，以及所述待分配任务的任务类型和任务量；根据所述待分配任务的任务类型和任务量，以及该计算中心在处理不同类型任务时的实时权重，计算将所述待分配任务分配至该计算中心的预计处理时长；根据所述最短等待时长和所述预计处理时长，计算将所述待分配任务分配至该计算中心的预计完成时间。8.根据权利要求7所述的任务分配方法，其特征在于，该计算中心的每一工作节点的当前工作情况包括该计算中心中工作节点的数量和正在处理任务的工作节点处理任务的剩余处理时长；该计算中心...

【专利技术属性】
技术研发人员：魏飞，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：