一种基于ETL服务器的任务处理方法、系统和电子设备技术方案

本申请提供了一种基于ETL服务器的任务处理方法、系统和电子设备，涉及数据计算技术领域，包括获取目标任务的任务处理请求，基于所述目标任务请求调取用户需求和所述目标任务的任务处理流程图；识别所述任务处理流程图的若干任务节点，基于所述任务节点的位置确定多个待处理子任务的执行顺序和相互关系；依照所述待处理子任务的执行顺序和相互关系对所述待处理子任务进行分级，得到分级结果；基于负载预测模型预测每个所述待处理子任务的执行时间和执行成本，结合所述待处理子任务的分级结果和所述用户需求，确定目标优化方案；基于所述目标优化方案将所述待处理子任务分配给多个ETL服务器进行任务处理，提高所述目标任务的处理效率。务的处理效率。务的处理效率。

【技术实现步骤摘要】
一种基于ETL服务器的任务处理方法、系统和电子设备


[0001]本专利技术涉及数据计算
，尤其涉及一种基于ETL服务器的任务处理方法、系统和电子设备。

技术介绍

[0002]一个传统的ETL工具执行ETL本地机器上的作业，可以访问多个本地或远程源系统。运行时ETL工具通过网络连接到可能托管在远程机器上的数据库，并将数据提取到本地机器，在本地转换数据，并将转换后的数据加载到位于网络中另一台远程机器上的目标数据库。在大型企业中，可能有数百个这样的ETL工具并行运行的作业。但ETL中包含众多的调度任务作业，如何有效管理这些调度，提高ETL执行效率，是提高整个数据处理能力的关键。
[0003]当源或目标数据存在于某个其他位置(例如，云系统)时，可能需要大量时间来将数据提取到本地机器，然后将转换后的数据加载回云系统。这增加了完成时间，也增加了本地机器上执行的负载ETL工作。这可能会导致网络超时、ETL由于内存不足、作业崩溃、ETL工作挂起或永远运行、网络拥塞等问题。如果通过额外增加硬件来换取处理能力的提升，以提高ETL调度多任务的效率，还存在增加硬件开销及提高制造成本的问题。
[0004]因此，提出一种基于ETL服务器的任务处理方法、系统和电子设备。

技术实现思路

[0005]本说明书提供一种基于ETL服务器的任务处理方法、系统和电子设备，基于所述任务处理流程图确认分级结果，结合所述用户需求确定目标优化方案，基于所述目标优化方案将所述待处理子任务分配给多个ETL服务器进行任务处理以提高所述目标任务的处理效率。
[0006]本申请提供的一种基于ETL服务器的任务处理方法采用如下的技术方案，包括：
[0007]获取目标任务的任务处理请求，基于所述目标任务请求调取用户需求和所述目标任务的任务处理流程图；
[0008]识别所述任务处理流程图的若干任务节点，基于所述任务节点的位置确定多个待处理子任务的执行顺序和相互关系；
[0009]依照所述待处理子任务的执行顺序和相互关系对所述待处理子任务进行分级，得到分级结果；
[0010]基于负载预测模型预测每个所述待处理子任务的执行时间和执行成本，结合所述待处理子任务的分级结果和所述用户需求，确定目标优化方案；
[0011]基于所述目标优化方案将所述待处理子任务分配给多个ETL服务器进行任务处理，提高所述目标任务的处理效率。
[0012]可选的，所述基于所述任务节点的位置确定多个待处理子任务的执行顺序和相互关系，包括：
[0013]所述一个所述待处理子任务包括至少一个任务节点；
[0014]基于所述任务节点的先后顺序，确定所述待处理子任务的执行顺序。
[0015]可选的，所述依照所述待处理子任务的执行顺序和相互关系对所述待处理子任务进行分级，得到分级结果，包括：
[0016]依照所述待处理子任务的执行顺序的先后，所述待处理子任务的主优先级依次降低；
[0017]依照所述待处理子任务的相互关系的大小，同一主优先级的所述待处理子任务的次优先级依次降低。
[0018]可选的，所述基于负载预测模型预测每个所述待处理子任务的执行时间和执行成本，结合所述待处理子任务的分级结果和所述用户需求，确定目标优化方案，包括：
[0019]基于负载预测模型预测每个所述待处理子任务的预计执行时间和预计执行成本；
[0020]基于负载预测模型结合所述待处理子任务的预计执行时间、预计执行成本和分级结果，确定多个任务优化方案，所述任务优化方案包括最小时间方案、最小成本方案、最大成本内的最小时间方案、最大时间内的最小成本方案；
[0021]基于所述用户需求，从所述多个任务优化方案中确定所述目标优化方案。
[0022]可选的，所述任务节点包括输出任务节点和输入任务节点；
[0023]如果所述待处理子任务仅包括输出任务节点，则所述待处理子任务为起始子任务；
[0024]如果所述待处理子任务仅包括输入任务节点，则所述待处理子任务为最终子任务。
[0025]可选的，所述起始子任务包括若干待处理内容；
[0026]基于所述待处理内容的来源，查找与其处于同一网络的所述ETL服务器，作为第一ETL服务器；
[0027]优先分配所述第一ETL服务器处理所述待处理内容。
[0028]本申请提供的一种基于ETL服务器的任务处理系统采用如下的技术方案，包括：
[0029]获取模块，用于获取目标任务的任务处理请求，基于所述目标任务请求调取用户需求和所述目标任务的任务处理流程图；
[0030]识别模块，用于识别所述任务处理流程图的若干任务节点，基于所述任务节点的位置确定多个待处理子任务的执行顺序和相互关系；
[0031]分级模块，用于依照所述待处理子任务的执行顺序和相互关系对所述待处理子任务进行分级，得到分级结果；
[0032]方案确定模块，用于基于负载预测模型预测每个所述待处理子任务的执行时间和执行成本，结合所述待处理子任务的分级结果和所述用户需求，确定目标优化方案；
[0033]分配模块，用于基于所述目标优化方案将所述待处理子任务分配给多个ETL服务器进行任务处理，提高所述目标任务的处理效率。
[0034]可选的，所述识别模块，包括：
[0035]识别子模块，用于识别所述任务处理流程图，获取若干任务节点；
[0036]关联子模块，用于基于所述任务节点的位置确定多个待处理子任务的执行顺序和相互关系；
[0037]所述关联子模块，包括：
[0038]子任务构建单元，用于所述一个所述待处理子任务包括至少一个任务节点；
[0039]顺序确定单元，用于基于所述任务节点的先后顺序，确定所述待处理子任务的执行顺序。
[0040]可选的，所述分级模块，包括：
[0041]主优先级判定子模块，用于依照所述待处理子任务的执行顺序的先后，依次降低所述待处理子任务的主优先级；
[0042]次优先级判定子模块，用于依照所述待处理子任务的相互关系的大小，依次降低同一主优先级的所述待处理子任务的次优先级。
[0043]可选的，所述方案确定模块，包括：
[0044]预测子模块，用于基于负载预测模型预测每个所述待处理子任务的预计执行时间和预计执行成本；
[0045]方案汇总子模块，用于基于负载预测模型结合所述待处理子任务的预计执行时间、预计执行成本和分级结果，确定多个任务优化方案，所述任务优化方案包括最小时间方案、最小成本方案、最大成本内的最小时间方案、最大时间内的最小成本方案；
[0046]方案确定子模块，用于基于所述用户需求，从所述多个任务优化方案中确定所述目标优化方案。
[0047]可选的，所述任务节点包括输出任务节点和输入任务节点；
[0048]如果所述待处理子任务仅包括输出任务节点，则所述待处理子任务为起始子任务；
[0049本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ETL服务器优化任务处理方法，其特征在于，包括：获取目标任务的任务处理请求，基于所述目标任务请求调取用户需求和所述目标任务的任务处理流程图；识别所述任务处理流程图的若干任务节点，基于所述任务节点的位置确定多个待处理子任务的执行顺序和相互关系；依照所述待处理子任务的执行顺序和相互关系对所述待处理子任务进行分级，得到分级结果；基于负载预测模型预测每个所述待处理子任务的执行时间和执行成本，结合所述待处理子任务的分级结果和所述用户需求，确定目标优化方案；基于所述目标优化方案将所述待处理子任务分配给多个ETL服务器进行任务处理，提高所述目标任务的处理效率。2.如权利要求1所述的方法，其特征在于，所述基于所述任务节点的位置确定多个待处理子任务的执行顺序和相互关系，包括：一个所述待处理子任务包括至少一个任务节点；基于所述任务节点的先后顺序，确定所述待处理子任务的执行顺序。3.如权利要求1所述的方法，其特征在于，所述依照所述待处理子任务的执行顺序和相互关系对所述待处理子任务进行分级，得到分级结果，包括：依照所述待处理子任务的执行顺序的先后，所述待处理子任务的主优先级依次降低；依照所述待处理子任务的相互关系的大小，同一主优先级的所述待处理子任务的次优先级依次降低。4.如权利要求1所述的方法，其特征在于，所述基于负载预测模型预测每个所述待处理子任务的执行时间和执行成本，结合所述待处理子任务的分级结果和所述用户需求，确定目标优化方案，包括：基于负载预测模型预测每个所述待处理子任务的预计执行时间和预计执行成本；基于负载预测模型结合所述待处理子任务的预计执行时间、预计执行成本和分级结果，确定多个任务优化方案，所述任务优化方案包括最小时间方案、最小成本方案、最大成本内的最小时间方案、最大时间内的最小成本方案；基于所述...

【专利技术属性】
技术研发人员：肖识战，
申请(专利权)人：医利捷上海信息科技有限公司，
类型：发明
国别省市：