基于ETL的数据处理方法、装置、存储介质以及电子设备制造方法及图纸

本发明专利技术公开了一种基于ETL的数据处理方法、装置、存储介质以及电子设备。该方法包括：在ETL过程中执行原始语句处理原始数据的情况下，确定原始数据中处理结果为错误结果的目标数据；将目标数据的唯一标识写入到限定语句中，其中，限定语句用于限定数据的处理范围；为第一语句添加限定语句，得到目标语句，其中，第一语句为按照目标数据的处理结果的错误类型对原始语句进行调整后得到的语句，第一语句用于重新处理原始数据；执行目标语句。本发明专利技术解决了使用ETL处理数据的效率低的技术问题。决了使用ETL处理数据的效率低的技术问题。决了使用ETL处理数据的效率低的技术问题。

【技术实现步骤摘要】
基于ETL的数据处理方法、装置、存储介质以及电子设备


[0001]本专利技术涉及ETL领域，具体而言，涉及一种基于ETL的数据处理方法、装置、存储介质以及电子设备。

技术介绍

[0002]现有技术中，在基于ETL处理数据，例如查询、采集上传、转换、保存数据的过程中，经常会出现数据处理失败的情况。而对于失败的情况，一般的做法是修复脚本后，对批量数据进行全量的重新处理。
[0003]然而，上述方法无疑造成使用ETL处理数据的效率低。

技术实现思路

[0004]本专利技术实施例提供了一种基于ETL的数据处理方法、装置、存储介质以及电子设备，以至少解决使用ETL处理数据的效率低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种基于ETL的数据处理方法，包括：在ETL过程中执行原始语句处理原始数据的情况下，确定上述原始数据中处理结果为错误结果的目标数据；将上述目标数据的唯一标识写入到限定语句中，其中，上述限定语句用于限定数据的处理范围；为第一语句添加上述限定语句，得到目标语句，其中，上述第一语句为按照上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ETL的数据处理方法，其特征在于，包括：在ETL过程中执行原始语句处理原始数据的情况下，确定所述原始数据中处理结果为错误结果的目标数据；将所述目标数据的唯一标识写入到限定语句中，其中，所述限定语句用于限定数据的处理范围；为第一语句添加所述限定语句，得到目标语句，其中，所述第一语句为按照所述目标数据的所述处理结果的错误类型对所述原始语句进行调整后得到的语句，所述第一语句用于重新处理所述原始数据；执行所述目标语句。2.根据权利要求1所述的方法，其特征在于，所述在ETL过程中执行原始语句处理原始数据的情况下，确定所述原始数据中处理结果为错误结果的目标数据包括：确定所述原始语句所处于的所述ETL的目标步骤，其中，所述ETL包括多个步骤；获取所述目标步骤对应的错误类型；在所述处理结果的类型为所述错误类型中的一项的情况下，确定所述处理结果为所述错误结果。3.根据权利要求1所述的方法，其特征在于，在将所述目标数据的唯一标识写入到限定语句中之前，所述方法还包括：遍历所述原始数据中的每一个数据类型下的数据值；在任意一个数据类型下的所有数据值均不同的情况下，将所述任意一个数据类型确定为第一数据类型；从所述第一数据类型中选择一个数据类型作为所述唯一标识所在的目标数据类型；将所述目标数据类型下的数据值确定为所述唯一标识；或者接收配置指令，其中，所述配置指令用于从所述原始数据中的所有数据类型中选择一个数据类型作为所述唯一标识所在的目标数据类型；在所述配置指令所指示的数据类型中的数据值中存在重复的数据值的情况下，发送提示消息，其中，所述提示消息用于提示所述配置指令配置的目标数据类型中存在重复的数据值。4.根据权利要求1所述的方法，其特征在于，所述将所述目标数据的唯一标识写入到限定语句中包括：遍历所述限定语句，得到所述限定语句中的第一待替换字符与第二待替换字符；使用所述唯一标识所在的数据类型替换所述第一待替换字符；在所述目标数据为一行的情况下，使用所述目标数据的所述唯一标识替换所述第二待替换字符；在所述目标数据为多行的情况下，将每一行的所述唯一标识前后连接并以限定字符分割；使用连接并分割后的唯...

【专利技术属性】
技术研发人员：向魏伟，
申请(专利权)人：北京金迅瑞博网络技术有限公司，
类型：发明
国别省市：