数据处理方法技术

本发明专利技术公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、设备及计算机可读存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法
、
设备及计算机可读存储介质
。

技术介绍

[0002]目前，数据仓库中的
ETL(Extract
‑
Transform
‑
Load
，抽取转换加载
)
过程，通过对源系统中的数据进行采集
、
清洗
、
处理，并落地为文件保存形式，然后加载到目标系统的数据库中，供目标系统分析使用
(
也存在部分端到端的场景，即源系统数据采集后不落地为文件，而是直接加载到目标系统数据库中
)。
不同的
ETL
作业之间构成了网状结构的
ETL
作业链路，它们之间可能存在依赖关系，例如
A
作业需要等待源系统的日终处理步骤
(
通常以日终条件的形式存在
)
完成才能开始执行，
C
作业需要等待
A...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：定时获取作业运行日志表中查询状态为运行中的第一作业，获取各个所述第一作业的已运行时长和数据文件大小；基于所述已运行时长
、
数据文件大小
、
各个所述第一作业对应的历史平均运行时长及历史平均数据文件大小，确定所述第一作业中的第一异常作业；获取所述第一异常作业中与白名单配置表匹配的作业；若与白名单配置表匹配的作业中存在已运行时长大于最大可运行时长的作业，则对大于最大可运行时长的作业执行干预操作
。2.
如权利要求1所述的数据处理方法，其特征在于，所述基于所述已运行时长
、
数据文件大小
、
各个所述第一作业对应的历史平均运行时长及历史平均数据文件大小，确定所述第一作业中的第一异常作业的步骤之后，还包括：获取所述第一异常作业中与白名单配置表未匹配的第二异常作业；在所述数据文件大小获取所述第二异常作业对应的当前已处理文件大小，并获取第二异常作业对应的历史平均文件大小；基于所述第二异常作业对应的历史平均运行时长
、
当前已处理文件大小以及历史平均文件大小，确定所述第二异常作业对应的当日理论运行时间；在所述第二异常作业中，获取当日理论运行时间小于或等于对应已运行时长的第一待干预作业，并对所述第一待干预作业执行干预操作
。3.
如权利要求2所述的数据处理方法，其特征在于，所述确定所述第二异常作业对应的当日理论运行时间的步骤之后，还包括：在所述第二异常作业中，获取当日理论运行时间大于已运行时长的第三异常作业；基于所述第三异常作业对应的已运行时长
、
当前已处理文件大小以及历史平均文件大小，确定所述第三异常作业对应的当日预测需运行耗时；获取当日预测需运行耗时与已运行时长之间的时间差；在第三异常作业中，获取时间差大于或等于对应历史平均运行时长的第二待干预作业，并对所述第二待干预作业执行干预操作
。4.
如权利要求3所述的数据处理方法，其特征在于，所述获取当日预测需运行耗时与已运行时长之间的时间差的步骤之后，还包括：在第三异常作业中，获取时间差小于对应历史平均运行时长的第四异常作业；终止所述第四异常作业对应的进程，并重启所述第四异常作业对应的进程
。5...

【专利技术属性】
技术研发人员：凌洪飞，高锦锋，庞潮飘，蔡岳衡，孙伟，李海峰，宾传华，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：