一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取补数事件的恢复信息；获取至少两个任务实例的数据信息；根据该至少两个任务实例之间的依赖关系和该至少两个任务实例的数据信息，从该至少两个任务实例中确定至少一个问题任务实例；对该至少一个问题任务实例执行数据生成操作。本公开中，电子设备可以仅对某一任务实例的部分下游任务实例(即问题任务实例)，具体为受问题数据影响的任务实例执行数据生成操作，能够减少资源浪费，提升数据处理的效率。的效率。的效率。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，当某一任务实例生成的数据出现质量问题时，补数装置可以对该任务实例的全部下游任务实例执行阻断操作；并且当该生成的数据恢复正常时，可以对该全部下游任务实例执行恢复操作。
[0003]但是，上述生成的数据可能只会影响到该全部下游任务实例中的部分下游任务实例。如此，上述对全部下游任务实例执行阻断操作或恢复操作的方法，可能会消耗大量资源，造成资源浪费。

技术实现思路

[0004]本公开提供一种数据处理方法、装置、电子设备及存储介质，解决了补数装置对某一任务实例的全部下游任务实例执行阻断操作或恢复操作时，消耗大量资源，造成资源浪费的技术问题。
[0005]本公开实施例的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种数据处理方法。该方法可以包括：获取补数事件的恢复信息，该恢复信息包括至少两个任务实例的标识以及该至少两个任务实例之间的依赖关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取补数事件的恢复信息，所述恢复信息包括至少两个任务实例的标识以及所述至少两个任务实例之间的依赖关系；获取所述至少两个任务实例的数据信息，其中，一个任务实例的数据信息包括所述任务实例的输入信息和所述任务实例的输出信息；根据所述至少两个任务实例之间的依赖关系和所述至少两个任务实例的数据信息，从所述至少两个任务实例中确定至少一个问题任务实例，所述问题任务实例用于表征生成的数据存在质量问题的任务实例，所述至少一个问题任务实例的数量小于所述至少两个任务实例的数量；对所述至少一个问题任务实例执行数据生成操作。2.根据权利要求1所述的数据处理方法，其特征在于，所述获取所述至少两个任务实例的数据信息，包括：获取所述至少两个任务实例各自对应的任务详情，其中，一个任务实例对应的任务详情包括所述任务实例对应的查询语句；对所述至少两个任务实例各自对应的查询语句进行哈希处理，得到所述至少两个任务实例各自对应的哈希值；在已存储的目标对应关系中存在第一哈希值的情况下，从所述目标对应关系表中获取第一任务实例的数据信息，所述目标对应关系中包括多个任务实例的数据信息以及所述多个任务实例各自对应的哈希值，所述第一哈希值为所述第一任务实例对应的哈希值，所述第一任务实例为所述至少两个任务实例中的一个。3.根据权利要求2所述的数据处理方法，其特征在于，所述方法还包括：在所述目标对应关系中不存在所述第一哈希值的情况下，解析所述第一任务实例对应的查询语句，以得到所述第一任务实例的数据信息；将所述第一哈希值和所述第一任务实例的数据信息添加至所述目标对应关系中。4.根据权利要求1所述的数据处理方法，其特征在于，一个任务实例的输入信息中包括输入字段，所述任务实例的输出信息中包括输出字段，所述根据所述至少两个任务实例之间的依赖关系和所述至少两个任务实例的数据信息，从所述至少两个任务实例中确定至少一个问题任务实例，包括：当当前任务实例为问题任务实例时，确定所述当前任务实例的直接下游任务实例对应的输入字段中，是否存在所述当前任务实例对应的输出字段，所述当前任务实例为所述至少两个任务实例中的一个，所述直接下游任务实例为与所述当前任务实例存在依赖关系的下...

【专利技术属性】
技术研发人员：钱佳，张蕤，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：