一种数据产出时效处理方法、装置、存储介质及设备制造方法及图纸

本申请实施例提供一种数据产出时效处理方法、装置、存储介质及设备，该方法中，向业务搜集目标作业的期望产出时间，通过数据血缘层层递归，获取全链路上的所有作业的信息，以此确定上下游关系，之后，基于各作业在预设时间段内的历史执行记录，计算得到历史平均开始时间和历史平均耗时，再结合目标作业的期望产出时间，基于血缘全链路自动配置各作业的期望产出时间和期望开始时间。如此，实现数据产出时效的自动化配置，降低了时间与人力成本，同时提高了合理性。提高了合理性。提高了合理性。

【技术实现步骤摘要】
一种数据产出时效处理方法、装置、存储介质及设备


[0001]本申请涉及数据处理
，具体而言，涉及一种数据产出时效处理方法、装置、存储介质及设备。

技术介绍

[0002]目前，企业对数据产出的时效性要求越来越高。现今大部分企业通过监控调度平台作用产出时间来进行服务保障，支持血缘追溯、监控配置、短信预警。然而，这些工具在整个服务保障流程中仅提供监控服务，作业的基准时效依赖于人工进行一一配置，需要耗费大量时间与人力成本，而且容易出现配置的合理性不足的问题。

技术实现思路

[0003]本申请实施例的目的在于提供一种数据产出时效处理方法、装置、存储介质及设备，旨在解决针对作业的基准时效的配置方案存在的严重依赖于人工，需要耗费大量时间与人力成本，而且配置的合理性不足的问题。
[0004]第一方面，本申请实施例提供的一种数据产出时效处理方法，包括：
[0005]从业务侧获取目标作业的期望产出时间，并通过数据血缘层层递归，获取所述目标作业的全链路上的所有作业的信息；
[0006]基于所述所有作业中每个作业在预设时间段内的历史执行记录，确定每个作业的历史平均开始时间和历史平均耗时；
[0007]根据所述目标作业的期望产出时间、每个作业的历史平均开始时间和历史平均耗时，配置各作业的期望产出时间和期望开始时间，其中，当前层作业的期望产出时间基于所述当前层的所有一级下游作业的历史平均开始时间计算得到，所述当前层作业的期望开始时间基于所述当前层作业的期望产出时间和所述历史平均耗时计算得到。
[0008]在上述实现过程中，向业务搜集目标作业的期望产出时间，通过数据血缘层层递归，获取全链路上的所有作业的信息，以此确定上下游关系，之后，基于各作业在预设时间段内的历史执行记录，计算得到历史平均开始时间和历史平均耗时，再结合目标作业的期望产出时间，基于血缘全链路自动配置各作业的期望产出时间和期望开始时间。如此，实现数据产出时效的自动化配置，降低了时间与人力成本，同时提高了合理性。
[0009]进一步地，在一些实施例中，所述历史平均耗时是将所述作业在预设时间段内的历史耗时从小到大排列后，顺序处于95％位置的值。
[0010]在上述实现过程中，采取每个作业在近1个月的P95的耗时作为历史平均耗时，可以确定出准确、有效的期望开始时间，有利于实现数据产出时效的优化管理。
[0011]进一步地，在一些实施例中，所述目标作业是核心数据对应的作业，所述核心数据基于以下方式获取得到：
[0012]将数据资产依据目标影响因素对应的权重计算得分；所述目标影响因素包括用户部门数、访问用户数、管理层访问数；
[0013]根据所述得分，将所述数据资产划分为核心数据、重要数据和一般数据。
[0014]在上述实现过程中，针对核心数据解析数据资产的血缘，可以打通应用资产
‑
应用库
‑
大数据平台，即端
‑
端的血缘，从而进行差异化、精细化的时效管理。
[0015]进一步地，在一些实施例中，所述方法包括：
[0016]监控各作业的实际产出时间，若所述实际产出时间晚于对应的期望产出时间，确定所述作业发生延迟；
[0017]当核心数据对应的作业发生延迟时，生成问题登记清单并传递至所述作业的责任人。
[0018]在上述实现过程中，当核心数据发生延迟时，系统可以自动生成一个问题登记清单给作业开发属主，以自动进行延迟影响评估、跟进时效问题解决、登记问题产生原因等，实现时效异常问题的管理。
[0019]进一步地，在一些实施例中，所述方法还包括：
[0020]当任一作业发生延迟时，判断所述作业是否处于报错状态或满足第一条件；所述第一条件是所述作业的实际耗时减去历史平均耗时的差值大于实际产出时间减去历史平均结束时间之间的差值；
[0021]若是，确定所述延迟是所述作业导致的异常，否则确定所述延迟是目标上游作业导致的异常；所述目标上游作业是实际产出时间最晚的上游作业；
[0022]若所述目标上游作业是全链路中最顶层的作业，且所述作业满足第二条件，确定所述延迟是平台导致的异常；所述第二条件是所述作业的实际产出时间减去历史平均结束时间之间的差值小于预设值。
[0023]在上述实现过程中，提供一种异常问题自动定位方案，可以实现对异常问题的自动定位，为优化管理提供数据支持。
[0024]进一步地，在一些实施例中，所述方法还包括：
[0025]当监控到所述目标作业的上游作业发生延迟时，判断所述上游作业是否影响所述目标作业的产出，是则输出预警。
[0026]在上述实现过程中，通过异常问题自动定位的反向推导，实现延迟影响目标作业的智能预估。
[0027]进一步地，在一些实施例中，所述方法还包括：
[0028]统计各作业的延迟次数和报错次数，基于统计结果确定待优化的作业；
[0029]将所述待优化的作业的统计结果推送至对应的责任人，以使所述责任人对所述待优化的作业进行优化。
[0030]在上述实现过程中，系统自动识别出待优化的作业，进而推送给数据责任人评估、优化，如此，实现时效优化管理。
[0031]第二方面，本申请实施例提供的一种数据产出时效处理装置，包括：
[0032]获取模块，用于从业务侧获取目标作业的期望产出时间，并通过数据血缘层层递归，获取所述目标作业的全链路上的所有作业的信息；
[0033]确定模块，用于基于所述所有作业中每个作业在预设时间段内的历史执行记录，确定每个作业的历史平均开始时间和历史平均耗时；
[0034]配置模块，用于根据所述目标作业的期望产出时间、每个作业的历史平均开始时
间和历史平均耗时，配置各作业的期望产出时间和期望开始时间，其中，当前层作业的期望产出时间基于所述当前层的所有一级下游作业的历史平均开始时间计算得到，所述当前层作业的期望开始时间基于所述当前层作业的期望产出时间和所述历史平均耗时计算得到。
[0035]第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
[0036]第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
[0037]第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
[0038]本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。
[0039]为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据产出时效处理方法，其特征在于，包括：从业务侧获取目标作业的期望产出时间，并通过数据血缘层层递归，获取所述目标作业的全链路上的所有作业的信息；基于所述所有作业中每个作业在预设时间段内的历史执行记录，确定每个作业的历史平均开始时间和历史平均耗时；根据所述目标作业的期望产出时间、每个作业的历史平均开始时间和历史平均耗时，配置各作业的期望产出时间和期望开始时间，其中，当前层作业的期望产出时间基于所述当前层的所有一级下游作业的历史平均开始时间计算得到，所述当前层作业的期望开始时间基于所述当前层作业的期望产出时间和所述历史平均耗时计算得到。2.根据权利要求1所述的方法，其特征在于，所述历史平均耗时是将所述作业在预设时间段内的历史耗时从小到大排列后，顺序处于95％位置的值。3.根据权利要求1所述的方法，其特征在于，所述目标作业是核心数据对应的作业，所述核心数据基于以下方式获取得到：将数据资产依据目标影响因素对应的权重计算得分；所述目标影响因素包括用户部门数、访问用户数、管理层访问数；根据所述得分，将所述数据资产划分为核心数据、重要数据和一般数据。4.根据权利要求1所述的方法，其特征在于，所述方法包括：监控各作业的实际产出时间，若所述实际产出时间晚于对应的期望产出时间，确定所述作业发生延迟；当核心数据对应的作业发生延迟时，生成问题登记清单并传递至所述作业的责任人。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当任一作业发生延迟时，判断所述作业是否处于报错状态或满足第一条件；所述第一条件是所述作业的实际耗时减去历史平均耗时的差值大于实际产出时间减去历史平均结束时间之间的差值；若是，确定所述延迟是所述作业导致的异常，否则确定所述延迟是目标上游作业导致的异常；所述目标...

【专利技术属性】
技术研发人员：肖体爱，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：