本公开涉及一种数据作业的调整方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：根据数据库中待处理的目标数据作业的上游数据作业和作业依赖关系，确定目标数据作业对应的数据作业关系图，其中，所述数据作业关系图中的节点与数据作业一一对应；根据预设的优化对象，确定所述数据作业关系图中每个节点的节点权重，所述节点权重与所述优化对象相匹配；根据所述优化对象及所述节点权重确定以所述目标数据作业节点为终点的目标数据作业链路；对所述目标数据作业链路进行调整，直至调整后的目标数据作业链路满足所述优化对象的预设要求。采用本方法能够适用于不同场景的不同优化需求，提升了数据作业的调整效果。果。果。
【技术实现步骤摘要】
数据作业的调整方法、装置、计算机设备和存储介质
[0001]本公开涉及数据作业
，特别是涉及一种数据作业的调整方法、装置、计算机设备和存储介质。
技术介绍
[0002]数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境，主要研究和解决从数据库中获取信息的问题。在数据仓库中进行数据作业时，通常需要通过多个数据作业节点完成目标数据作业。
[0003]数据作业过程中，数据作业节点或数据作业时间具有不可控性，无法确定目标数据作业最终的完成时间。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够优化数据作业效果的数据作业的调整方法、装置、计算机设备、存储介质和计算机程序产品。
[0005]第一方面，本公开实施例提供了一种数据作业的调整方法。所述方法包括：
[0006]根据数据库中待处理的目标数据作业的上游数据作业和作业依赖关系，确定目标数据作业对应的数据作业关系图，其中，所述数据作业关系图中的节点与数据作业一一对应；
[0007]根据预设的优化对象，确定所述数据作业关系图中每个节点的节点权重，所述节点权重与所述优化对象相匹配；
[0008]根据所述优化对象及所述节点权重确定以所述目标数据作业节点为终点的目标数据作业链路；
[0009]对所述目标数据作业链路进行调整，直至调整后的目标数据作业链路满足所述优化对象的预设要求。
[0010]在其中一个实施例中，所述预设的优化对象包括数据作业耗时；所述根据预设的优化对象，确定所述数据作业关系图中每个节点的节点权重，所述节点权重与所述优化对象相匹配，包括：
[0011]获取所述数据作业关系图中的每个数据作业对应的数据作业耗时；
[0012]根据所述数据作业耗时确定对应的节点权重，其中，所述节点权重与所述数据作业耗时之间为正相关关联关系或负相关关联关系。
[0013]在其中一个实施例中，所述根据所述优化对象及所述节点权重确定以所述目标数据作业节点为终点的目标数据作业链路，包括：
[0014]确定所述数据作业关系图中的初始节点和终点，其中，所述终点与目标数据作业相对应；
[0015]根据所述节点权重利用预设路径算法，确定从所述初始节点至所述终点的满足预设条件的数据作业链路；
[0016]确定所述满足预设条件的数据作业链路为目标数据作业链路。
[0017]在其中一个实施例中，所述对所述目标数据作业链路进行调整，直至调整后的目标数据作业链路满足所述优化对象的预设要求，包括：
[0018]获取所述预设的优化对象对应的目标数据作业耗时；
[0019]在所述目标数据作业链路的数据作业耗时大于所述目标数据作业耗时的情况下，调整所述目标数据作业链路，直至调整后的目标数据作业链路的数据作业耗时小于等于所述目标数据作业耗时。
[0020]在其中一个实施例中，所述获取所述数据作业关系图中的每个数据作业对应的数据作业耗时，包括：
[0021]获取所述数据作业关系图中的数据作业在预设历史时段内的历史数据作业耗时；
[0022]确定所述历史数据作业耗时的平均耗时为所述数据作业对应的数据作业耗时；
[0023]获取所述数据作业关系图中的每个数据作业对应的数据作业耗时。
[0024]在其中一个实施例中，所述预设的优化对象包括数据作业层级。
[0025]第二方面，本公开实施例还提供了一种数据作业的调整装置。所述装置包括：
[0026]第一确定模块，用于根据数据库中待处理的目标数据作业的上游数据作业和作业依赖关系，确定目标数据作业对应的数据作业关系图，其中，所述数据作业关系图中的节点与数据作业一一对应；
[0027]第二确定模块，用于根据预设的优化对象，确定所述数据作业关系图中每个节点的节点权重，所述节点权重与所述优化对象相匹配；
[0028]第三确定模块，用于根据所述优化对象及所述节点权重确定以所述目标数据作业节点为终点的目标数据作业链路；
[0029]调整模块，用于对所述目标数据作业链路进行调整，直至调整后的目标数据作业链路满足所述优化对象的预设要求。
[0030]在其中一个实施例中，所述预设的优化对象包括数据作业耗时；所述第二确定模块，包括：
[0031]获取模块，用于获取所述数据作业关系图中的每个数据作业对应的数据作业耗时；
[0032]确定子模块，用于根据所述数据作业耗时确定对应的节点权重，其中，所述节点权重与所述数据作业耗时之间为正相关关联关系或负相关关联关系。
[0033]在其中一个实施例中，所述第三确定模块，包括：
[0034]第一确定子模块，用于确定所述数据作业关系图中的初始节点和终点，其中，所述终点与目标数据作业相对应；
[0035]第二确定子模块，用于根据所述节点权重利用预设路径算法，确定从所述初始节点至所述终点的满足预设条件的数据作业链路；
[0036]第三确定子模块，用于确定所述满足预设条件的数据作业链路为目标数据作业链路。
[0037]在其中一个实施例中，所述调整模块，包括：
[0038]获取子模块，用于获取所述预设的优化对象对应的目标数据作业耗时；
[0039]调整子模块，用于在所述目标数据作业链路的数据作业耗时大于所述目标数据作
业耗时的情况下，调整所述目标数据作业链路，直至调整后的目标数据作业链路的数据作业耗时小于等于所述目标数据作业耗时。
[0040]在其中一个实施例中，所述获取模块，包括：
[0041]第一获取子模块，用于获取所述数据作业关系图中的数据作业在预设历史时段内的历史数据作业耗时；
[0042]确定子模块，用于确定所述历史数据作业耗时的平均耗时为所述数据作业对应的数据作业耗时；
[0043]第二获取子模块，用于获取所述数据作业关系图中的每个数据作业对应的数据作业耗时。
[0044]在其中一个实施例中，所述预设的优化对象包括数据作业层级。
[0045]第三方面，本公开实施例还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本公开实施例中任一项所述的方法的步骤。
[0046]第四方面，本公开实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本公开实施例中任一项所述的方法的步骤。
[0047]第五方面，本公开实施例还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开实施例中任一项所述的方法的步骤。
[0048]本公开实施例，根据数据库中待处理的目标数据作业的上游数据作业和作业依赖关系，确定目标数据作业对应的数据作业关系图，并根据预设的优化对象确定关系图中每个节点的节点权重，确定得到目标数据作业链路，对目标数据作业链路进行调本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据作业的调整方法，其特征在于，所述方法包括：根据数据库中待处理的目标数据作业的上游数据作业和作业依赖关系，确定目标数据作业对应的数据作业关系图，其中，所述数据作业关系图中的节点与数据作业一一对应；根据预设的优化对象，确定所述数据作业关系图中每个节点的节点权重，所述节点权重与所述优化对象相匹配；根据所述优化对象及所述节点权重确定以所述目标数据作业节点为终点的目标数据作业链路；对所述目标数据作业链路进行调整，直至调整后的目标数据作业链路满足所述优化对象的预设要求。2.根据权利要求1所述的方法，其特征在于，所述预设的优化对象包括数据作业耗时；所述根据预设的优化对象，确定所述数据作业关系图中每个节点的节点权重，所述节点权重与所述优化对象相匹配，包括：获取所述数据作业关系图中的每个数据作业对应的数据作业耗时；根据所述数据作业耗时确定对应的节点权重，其中，所述节点权重与所述数据作业耗时之间为正相关关联关系或负相关关联关系。3.根据权利要求2所述的方法，其特征在于，所述根据所述优化对象及所述节点权重确定以所述目标数据作业节点为终点的目标数据作业链路，包括：确定所述数据作业关系图中的初始节点和终点，其中，所述终点与目标数据作业相对应；根据所述节点权重利用预设路径算法，确定从所述初始节点至所述终点的满足预设条件的数据作业链路；确定所述满足预设条件的数据作业链路为目标数据作业链路。4.根据权利要求2所述的方法，其特征在于，所述对所述目标数据作业链路进行调整，直至调整后的目标数据作业链路满足所述优化对象的预设要求，包括：获取所述预设的优化对象对应的目标数据作业耗时；在所述目标数据作业链路的数据作业耗时大于所述目标数据作业耗时的情况下，调整所述目标数据作业链路，直至调整后的目标数据作业链路的数据作业耗时小于等于所述目标数据作业耗时。5.根据权利要求2所述的方法，其特征在于，所述获取所述数据作业关系图中的每个数据作业对应的数据作业耗时，包括：获取所述数据作业关系图中的数据作业在预设历史时段内的历史数据作业耗时；确定所述历史数据作业耗时的平均耗时为所述数据作业对应的数据作业耗时；获取所述数据作业关系图中的每个数据作业对应的数据作业耗时。6.根据权利要求1所述的方法，其特征在于，所述预设的优化对象包括数据作业层级。7.一种数据作业的调整装置，其特征在于，所述装置包括：第一确定模块，用于根据数据库中待处理的目标数据作业的上游数据作业和作业依赖关系，确定目标数据作业对应的数据作业关系图，其中，所述数据作业关系图中的节点与数据作业一一对应；第二确...
【专利技术属性】
技术研发人员：姜婷，张连明，王喆，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。