数据任务处理方法技术

本申请涉及一种数据任务处理方法

【技术实现步骤摘要】
数据任务处理方法、装置、电子设备及存储介质


[0001]本申请涉及大数据处理
，尤其涉及一种数据任务处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着数字化转型的推进，企业所需处理的数据量也持续快速增长，这要求有海量的计算资源对大数据进行分析
。
对此，为了实现海量的计算资源，以及保证计算资源的高可用，通常在不同的区域部署集群，且每个区域可部署多个集群，每个集群均可用于对数据进行分析处理
。
[0003]然而，上述部署方式对用户使用大数据计算服务带来诸多不便，例如针对大量的集群，用户通常选择任一个集群处理数据任务，这就导致选择处理数据任务的集群并非处理该数据任务的最佳集群，从而导致数据任务运行缓慢
、
浪费专线资源
、
计算集群利用率较低等问题
。

技术实现思路

[0004]本申请提供了一种数据任务处理方法
、
装置
、
电子设备及存储介质，以解决现有技术中的针对大量的集群，用户通常选择任一个集群处理数据任务，这就导致选择处理数据任务的集群并非处理该数据任务的最佳集群，从而导致数据任务运行缓慢
、
浪费专线资源
、
计算集群利用率较低等问题
。
[0005]第一方面，本申请提供了一种数据任务处理方法，所述方法应用于数据处理系统，所述数据处理系统包括位于不同区域的处理节点，任意两个所述处理节点之间通过专线互联，每个所述处理节点包括多个子处理节点，所述方法包括：
[0006]获取目标数据任务，以及处理所述目标数据任务的传输数据量，所述传输数据量包括位于同一处理节点的多个不同子处理节点之间的传输数据量，和
/
或，位于不同处理节点的多个子处理节点之间通过专线传输的传输数据量；
[0007]确定多个候选子处理节点；
[0008]针对每一所述候选子处理节点，根据所述传输数据量，确定通过所述候选子处理节点处理所述目标数据任务所对应的所述数据处理系统的资源消耗评估值；
[0009]根据所述资源消耗评估值，从多个候选子处理节点中确定目标子处理节点，并通过所述目标子处理节点处理所述目标数据任务
。
[0010]作为一个可能的实现方式，确定处理所述目标数据任务的传输数据量，包括：
[0011]确定预设历史时间段内是否存在与所述目标数据任务相同的历史数据任务；
[0012]在确定所述预设历史时间段内存在所述历史数据任务的情况下，从所述历史数据任务的历史处理记录中，确定所述历史数据任务对应的历史输入数据和历史输出数据；
[0013]确定在获取所述历史输入数据时对应的历史输入数据传输量，以及在发送所述历史输出数据时对应的历史输出数据传输量；
[0014]将所述历史输入数据传输量和所述历史输出数据传输量，确定为处理所述目标数据任务的传输数据量
。
[0015]作为一个可能的实现方式，所述根据所述传输数据量，确定通过所述候选子处理节点处理所述目标数据任务所对应的所述数据处理系统的资源消耗评估值，包括：
[0016]从所述传输数据量中，确定需要通过目标专线传输的跨专线数据量，以及每一目标专线对应的目标跨专线数据量；
[0017]根据所述目标跨专线数据量，确定每一所述目标专线的专线负载率；
[0018]从所述传输数据量中，确定所述候选子处理节点所需处理的处理数据量；
[0019]根据所述处理数据量，确定所述候选子处理节点处理所述目标数据任务的计算资源负载率；
[0020]基于所述跨专线数据量
、
每一所述目标专线的专线负载率，以及所述计算资源负载率，确定所述候选子处理节点处理所述目标数据任务的资源消耗评估值
。
[0021]作为一个可能的实现方式，所述从所述传输数据量中，确定需要通过目标专线传输的跨专线数据量，以及每一目标专线对应的目标跨专线数据量，包括：
[0022]从所述历史数据任务的历史处理记录中，确定所述历史输入数据所在的至少一个第一子处理节点，以及所述历史输出数据所在的至少一个第二子处理节点；
[0023]确定第一子处理节点是否与所述候选子处理节点位于同一处理节点，以及所述第二子处理节点是否与所述候选子处理节点位于同一处理节点；
[0024]在确定所述第一子处理节点与所述候选子处理节点不位于同一处理节点的情况下，将所述第一子处理节点与所述候选子处理节点之间的专线确定为第一目标专线，并将所述历史输入数据传输量归入跨专线数据量和所述第一目标专线对应的目标跨专线数据量；
[0025]在确定所述第二子处理节点与所述候选子处理节点不位于同一处理节点的情况下，将所述第二子处理节点与所述候选子处理节点之间的专线确定为第二目标专线，并将所述历史输出数据传输量归入跨专线数据量和所述第二目标专线对应的目标跨专线数据量
。
[0026]作为一个可能的实现方式，所述根据所述目标跨专线数据量，确定每一所述目标专线的专线负载率，包括：
[0027]针对每一所述目标专线，确定对应的所述目标跨专线数据量与所述目标专线的当前剩余资源量之比，得到所述目标专线的专线负载率
。
[0028]作为一个可能的实现方式，所述从所述传输数据量中，确定所述候选子处理节点所需处理的处理数据量，包括：
[0029]将所述历史输入数据传输量确定为所述候选子处理节点所需处理的处理数据量；
[0030]所述根据所述处理数据量，确定所述候选子处理节点处理所述目标数据任务的计算资源负载率，包括：
[0031]确定所述候选子处理节点当前的剩余计算资源量；
[0032]将所述处理数据量除以所述剩余计算资源量，得到所述候选子处理节点处理所述目标数据任务的计算资源负载率
。
[0033]作为一个可能的实现方式，所述基于所述跨专线数据量
、
每一所述目标专线的专
线负载率，以及所述计算资源负载率，确定所述候选子处理节点处理所述目标数据任务的资源消耗评估值，包括：
[0034]从多个目标专线的专线负载率中，确定最大专线负载率；
[0035]获取所述候选子处理节点对应的等级分值，其中所述候选子处理节点的等级分值与所述资源消耗评估值成正比；
[0036]将所述跨专线数据量
、
所述最大负载率
、
所述计算资源负载率，以及所述等级分值进行加权求和，得到所述候选子处理节点对应的资源消耗评估值
。
[0037]作为一个可能的实现方式，所述根据所述资源消耗评估值，从多个候选子处理节点中确定目标子处理节点，包括：
[0038]将所述资源消耗评估值最小的候选子处理节点，确定为目标子处理节点
。
[0039]第二方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据任务处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括位于不同区域的处理节点，任意两个所述处理节点之间通过专线互联，每个所述处理节点包括多个子处理节点，所述方法包括：获取目标数据任务，以及处理所述目标数据任务的传输数据量，所述传输数据量包括位于同一处理节点的多个不同子处理节点之间的传输数据量，和
/
或，位于不同处理节点的多个子处理节点之间通过专线传输的传输数据量；确定多个候选子处理节点；针对每一所述候选子处理节点，根据所述传输数据量，确定通过所述候选子处理节点处理所述目标数据任务所对应的所述数据处理系统的资源消耗评估值；根据所述资源消耗评估值，从多个候选子处理节点中确定目标子处理节点，并通过所述目标子处理节点处理所述目标数据任务
。2.
根据权利要求1所述的方法，其特征在于，确定处理所述目标数据任务的传输数据量，包括：确定预设历史时间段内是否存在与所述目标数据任务相同的历史数据任务；在确定所述预设历史时间段内存在所述历史数据任务的情况下，从所述历史数据任务的历史处理记录中，确定所述历史数据任务对应的历史输入数据和历史输出数据；确定在获取所述历史输入数据时对应的历史输入数据传输量，以及在发送所述历史输出数据时对应的历史输出数据传输量；将所述历史输入数据传输量和所述历史输出数据传输量，确定为处理所述目标数据任务的传输数据量
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述传输数据量，确定通过所述候选子处理节点处理所述目标数据任务所对应的所述数据处理系统的资源消耗评估值，包括：从所述传输数据量中，确定需要通过目标专线传输的跨专线数据量，以及每一目标专线对应的目标跨专线数据量；根据所述目标跨专线数据量，确定每一所述目标专线的专线负载率；从所述传输数据量中，确定所述候选子处理节点所需处理的处理数据量；根据所述处理数据量，确定所述候选子处理节点处理所述目标数据任务的计算资源负载率；基于所述跨专线数据量
、
每一所述目标专线的专线负载率，以及所述计算资源负载率，确定所述候选子处理节点处理所述目标数据任务的资源消耗评估值
。4.
根据权利要求3所述的方法，其特征在于，所述从所述传输数据量中，确定需要通过目标专线传输的跨专线数据量，以及每一目标专线对应的目标跨专线数据量，包括：从所述历史数据任务的历史处理记录中，确定所述历史输入数据所在的至少一个第一子处理节点，以及所述历史输出数据所在的至少一个第二子处理节点；确定第一子处理节点是否与所述候选子处理节点位于同一处理节点，以及所述第二子处理节点是否与所述候选子处理节点位于同一处理节点；在确定所述第一子处理节点与所述候选子处理节点不位于同一处理节点的情况下，将所述第一子处理节点与所述候选子处理节点之间的专线确定为第一目标专线，并将所述历
史输入数据传输量归入跨专线数据量和所述第一目标专线对应的目标跨专线数据量；在确定所述第二子处理节点与所述候选子处理节点不位于同一处理节点的情况下，将所述第二子处理节点与所述候选子处理节点之间的专线确定为第二目标专线，并将所述历史输出数据传输量归入跨专线数据量...

【专利技术属性】
技术研发人员：刘骋昺，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：