基于ETL的数据处理方法、装置、存储介质以及电子设备制造方法及图纸

本发明专利技术公开了一种基于ETL的数据处理方法、装置、存储介质以及电子设备。该方法包括：在ETL过程中执行原始语句处理原始数据的情况下，确定原始数据中处理结果为错误结果的目标数据；将目标数据的唯一标识写入到限定语句中，其中，限定语句用于限定数据的处理范围；为第一语句添加限定语句，得到目标语句，其中，第一语句为按照目标数据的处理结果的错误类型对原始语句进行调整后得到的语句，第一语句用于重新处理原始数据；执行目标语句。本发明专利技术解决了使用ETL处理数据的效率低的技术问题。决了使用ETL处理数据的效率低的技术问题。决了使用ETL处理数据的效率低的技术问题。

【技术实现步骤摘要】
基于ETL的数据处理方法、装置、存储介质以及电子设备


[0001]本专利技术涉及ETL领域，具体而言，涉及一种基于ETL的数据处理方法、装置、存储介质以及电子设备。

技术介绍

[0002]现有技术中，在基于ETL处理数据，例如查询、采集上传、转换、保存数据的过程中，经常会出现数据处理失败的情况。而对于失败的情况，一般的做法是修复脚本后，对批量数据进行全量的重新处理。
[0003]然而，上述方法无疑造成使用ETL处理数据的效率低。

技术实现思路

[0004]本专利技术实施例提供了一种基于ETL的数据处理方法、装置、存储介质以及电子设备，以至少解决使用ETL处理数据的效率低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种基于ETL的数据处理方法，包括：在ETL过程中执行原始语句处理原始数据的情况下，确定上述原始数据中处理结果为错误结果的目标数据；将上述目标数据的唯一标识写入到限定语句中，其中，上述限定语句用于限定数据的处理范围；为第一语句添加上述限定语句，得到目标语句，其中，上述第一语句为按照上述目标数据的上述处理结果的错误类型对上述原始语句进行调整后得到的语句，上述第一语句用于重新处理上述原始数据；执行上述目标语句。
[0006]根据本专利技术实施例的另一方面，提供了一种基于ETL的数据处理装置，包括：第一确定模块，用于在ETL过程中执行原始语句处理原始数据的情况下，确定上述原始数据中处理结果为错误结果的目标数据；写入模块，用于将上述目标数据的唯一标识写入到限定语句中，其中，上述限定语句用于限定数据的处理范围；添加模块，用于为第一语句添加上述限定语句，得到目标语句，其中，上述第一语句为按照上述目标数据的上述处理结果的错误类型对上述原始语句进行调整后得到的语句，上述第一语句用于重新处理上述原始数据；执行模块，用于执行上述目标语句。
[0007]作为一种可选的示例，上述第一确定模块包括：第一确定单元，用于确定上述原始语句所处于的上述ETL的目标步骤，其中，上述ETL包括多个步骤；获取单元，用于获取上述目标步骤对应的错误类型；第二确定单元，用于在上述处理结果的类型为上述错误类型中的一项的情况下，确定上述处理结果为上述错误结果。
[0008]作为一种可选的示例，上述装置还包括：处理模块，用于在将上述目标数据的唯一标识写入到限定语句中之前，遍历上述原始数据中的每一个数据类型下的数据值；在任意一个数据类型下的所有数据值均不同的情况下，将上述任意一个数据类型确定为第一数据类型；从上述第一数据类型中选择一个数据类型作为上述唯一标识所在的目标数据类型；将上述目标数据类型下的数据值确定为上述唯一标识；或者接收配置指令，其中，上述配置指令用于从上述原始数据中的所有数据类型中选择一个数据类型作为上述唯一标识所在
的目标数据类型；在上述配置指令所指示的数据类型中的数据值中存在重复的数据值的情况下，发送提示消息，其中，上述提示消息用于提示上述配置指令配置的目标数据类型中存在重复的数据值。
[0009]作为一种可选的示例，上述写入模块包括：替换单元，用于遍历上述限定语句，得到上述限定语句中的第一待替换字符与第二待替换字符；使用上述唯一标识所在的数据类型替换上述第一待替换字符；在上述目标数据为一行的情况下，使用上述目标数据的上述唯一标识替换上述第二待替换字符；在上述目标数据为多行的情况下，将每一行的上述唯一标识前后连接并以限定字符分割；使用连接并分割后的唯一标识替换上述第二待替换字符。
[0010]作为一种可选的示例，上述装置还包括：第二确定模块，用于在将上述目标数据的唯一标识写入到限定语句中之前，将上述目标数据存入到待重传数据表中；将上述待重传数据表中的上述目标数据、上述目标数据的处理结果的错误类型和上述原始语句发送给目标对象；将上述目标对象返回的语句确定为上述第一语句；将上述目标对象从上述目标数据中选择重传的数据作为新的上述目标数据。
[0011]作为一种可选的示例，在将上述目标数据的唯一标识写入到限定语句中之前，上述装置还包括：第三确定模块，用于将上述目标数据存入到待重传数据表中；在上述待重传数据表中的数据满足重传条件的情况下，将上述原始语句确定为上述第一语句。
[0012]作为一种可选的示例，上述第三确定模块包括：第三确定单元，用于在上述待重传数据表中的数据的行数达到预定行数的情况下，确定满足上述重传条件；或者在上述待重传数据表中的数据在单位时间内的增幅超出预定增幅的情况下，确定满足上述重传条件；或者在上述待重传数据表中的数据被指定重新处理的情况下，确定满足上述重传条件。
[0013]根据本专利技术实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被处理器运行时执行上述基于ETL的数据处理方法。
[0014]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的基于ETL的数据处理方法。
[0015]在本专利技术实施例中，采用了在ETL过程中执行原始语句处理原始数据的情况下，确定上述原始数据中处理结果为错误结果的目标数据；将上述目标数据的唯一标识写入到限定语句中，其中，上述限定语句用于限定数据的处理范围；为第一语句添加上述限定语句，得到目标语句，其中，上述第一语句为按照上述目标数据的上述处理结果的错误类型对上述原始语句进行调整后得到的语句，上述第一语句用于重新处理上述原始数据；执行上述目标语句的方法，由于在上述方法中，在ETL过程中处理数据时，如果原始语句处理原始数据出错，则可以按照错误类型将原始语句调整为第一语句，并且将限定语句添加到第一语句中，从而可以通过限定语句，限定重新执行的第一语句的范围，保证重新处理的数据时出错的数据而不是全量数据，从而实现了减少使用ETL处理数据过程中出错的情况下数据的处理量的目的，进而解决了使用ETL处理数据的效率低的技术问题。
附图说明
[0016]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本发
明的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0017]图1是根据本专利技术实施例的一种可选的基于ETL的数据处理方法的流程图；
[0018]图2是根据本专利技术实施例的一种可选的基于ETL的数据处理方法的内存队列图；
[0019]图3是根据本专利技术实施例的另一种可选的基于ETL的数据处理方法的流程图；
[0020]图4是根据本专利技术实施例的又一种可选的基于ETL的数据处理方法的流程图；
[0021]图5是根据本专利技术实施例的又一种可选的基于ETL的数据处理方法的流程图；
[0022]图6是根据本专利技术实施例的又一种可选的基于ETL的数据处理方法的流程图；
[0023]图7是根据本专利技术实施例的又一种可选的基于ETL的数据处理方法的流程图；
[0024]图8是根据本专利技术实施例的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ETL的数据处理方法，其特征在于，包括：在ETL过程中执行原始语句处理原始数据的情况下，确定所述原始数据中处理结果为错误结果的目标数据；将所述目标数据的唯一标识写入到限定语句中，其中，所述限定语句用于限定数据的处理范围；为第一语句添加所述限定语句，得到目标语句，其中，所述第一语句为按照所述目标数据的所述处理结果的错误类型对所述原始语句进行调整后得到的语句，所述第一语句用于重新处理所述原始数据；执行所述目标语句。2.根据权利要求1所述的方法，其特征在于，所述在ETL过程中执行原始语句处理原始数据的情况下，确定所述原始数据中处理结果为错误结果的目标数据包括：确定所述原始语句所处于的所述ETL的目标步骤，其中，所述ETL包括多个步骤；获取所述目标步骤对应的错误类型；在所述处理结果的类型为所述错误类型中的一项的情况下，确定所述处理结果为所述错误结果。3.根据权利要求1所述的方法，其特征在于，在将所述目标数据的唯一标识写入到限定语句中之前，所述方法还包括：遍历所述原始数据中的每一个数据类型下的数据值；在任意一个数据类型下的所有数据值均不同的情况下，将所述任意一个数据类型确定为第一数据类型；从所述第一数据类型中选择一个数据类型作为所述唯一标识所在的目标数据类型；将所述目标数据类型下的数据值确定为所述唯一标识；或者接收配置指令，其中，所述配置指令用于从所述原始数据中的所有数据类型中选择一个数据类型作为所述唯一标识所在的目标数据类型；在所述配置指令所指示的数据类型中的数据值中存在重复的数据值的情况下，发送提示消息，其中，所述提示消息用于提示所述配置指令配置的目标数据类型中存在重复的数据值。4.根据权利要求1所述的方法，其特征在于，所述将所述目标数据的唯一标识写入到限定语句中包括：遍历所述限定语句，得到所述限定语句中的第一待替换字符与第二待替换字符；使用所述唯一标识所在的数据类型替换所述第一待替换字符；在所述目标数据为一行的情况下，使用所述目标数据的所述唯一标识替换所述第二待替换字符；在所述目标数据为多行的情况下，将每一行的所述唯一标识前后连接并以限定字符分割；使用连接并分割后的唯...

【专利技术属性】
技术研发人员：向魏伟，
申请(专利权)人：北京金迅瑞博网络技术有限公司，
类型：发明
国别省市：