一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取初始补数事件的恢复信息和固定任务实例集合；基于该恢复信息和该固定任务实例集合，从多个任务实例中确定至少两个目标任务实例；基于该恢复信息和至少一个待剪枝任务实例确定目标恢复信息；执行目标补数事件，以根据该目标恢复信息，使该至少两个目标任务实例中的每一个目标任务实例生成数据。本公开中，电子设备可以指示数量更少的任务实例生成数据，以得到用户需要的数据，能够保障下游数据的及时产出。同时，由于无需对该至少一个待剪枝任务实例执行数据生成操作，可以减少资源浪费，缩短用户需求数据的生产周期。缩短用户需求数据的生产周期。缩短用户需求数据的生产周期。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，当某一任务实例生成的数据出现质量问题时，补数装置可以对该任务实例的全部下游任务实例执行阻断操作；并且当该生成的数据恢复正常时，可以对该全部下游任务实例执行恢复操作。
[0003]但是，在一种情况下，用户需要的数据可能只是基于该全部下游任务实例中的部分任务实例生成的。如此，对该全部下游任务实例中的每一个下游任务实例执行阻断操作和/或恢复操作，可能会浪费大量的资源，延长用户需求数据的生产周期。

技术实现思路

[0004]本公开提供一种数据处理方法、装置、电子设备及存储介质，解决了补数装置对某一任务实例的全部下游任务实例执行阻断操作和/或恢复操作，浪费大量资源，延长用户需求数据的生产周期的技术问题。
[0005]本公开实施例的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种数据处理方法。该方法可以包括：获取初始补数事件的恢复信息和固定任务实例集合，该恢复信息包括多个任务实例的标识，以及该多个任务实例之间的依赖关系，该固定任务实例集合包括至少两个固定任务实例；基于该恢复信息和该固定任务实例集合，从该多个任务实例中确定至少两个目标任务实例，该至少两个目标任务实例中包括该至少两个固定任务实例；基于该恢复信息以及至少一个待剪枝任务实例确定目标恢复信息，该目标恢复信息包括该至少两个目标任务实例的标识，以及该至少两个目标任务实例之间的依赖关系，该目标恢复信息为目标补数事件的恢复信息，该至少一个待剪枝任务实例为该多个任务实例中除该至少两个目标任务实例以外的任务实例；执行该目标补数事件，以根据该目标恢复信息，使该至少两个目标任务实例中的每一个目标任务实例生成数据。
[0007]可选地，上述从该多个任务实例中确定至少两个目标任务实例具体包括：当第一任务实例属于该固定任务实例集合时，确定该第一任务实例为目标任务实例，该第一任务实例为该多个任务实例中的一个。
[0008]可选地，上述从该多个任务实例中确定至少两个目标任务实例具体包括：当该第一任务实例不属于该固定任务实例集合时，确定该第一任务实例存在下游任务实例，该第一任务实例为该多个任务实例中的一个；当该第一任务实例不是该多个任务实例中的根任务实例，并且该第一任务实例对应的下游任务实例中存在固定任务实例时，将该第一任务实例确定为目标任务实例。
[0009]可选地，上述基于该恢复信息以及至少一个待剪枝任务实例确定目标恢复信息具
体包括：基于该初始补数事件的恢复信息，生成初始有向无环图，该初始有向无环图为该初始补数事件对应的有向无环图，该初始有向无环图包括任务实例节点以及边，该任务实例节点用于表征任务实例，该边用于连接具有依赖关系的任务实例节点；对该初始有向无环图中包括的至少一个待剪枝任务实例节点执行剪枝操作，得到目标有向无环图，该至少一个待剪枝任务实例节点为该至少一个待剪枝任务实例表征的节点。
[0010]可选地，当前任务实例节点为该目标有向无环图中的根节点或该目标有向无环图中的非根节点，上述根据该目标恢复信息，使该至少两个目标任务实例中的每一个目标任务实例生成数据具体包括：当该当前任务实例节点为该非根节点时，确定该当前任务实例节点的直接上游成功节点的数量，该直接上游成功节点为该当前任务实例节点的直接上游节点中运行状态为运行成功的节点，该直接上游节点为与该当前任务实例节点之间存在边的上游任务实例节点；当该直接上游成功节点的数量等于该直接上游节点的数量时；确定当前任务实例开始生成数据，该当前任务实例为该当前任务实例节点表征的任务实例。
[0011]可选地，上述目标恢复信息还包括该至少两个目标任务实例的优先级，上述数据处理方法还包括：当该直接上游成功节点的数量等于该直接上游节点的数量，并且该直接上游节点与待识别任务实例节点的直接上游节点相同时，确定待识别任务实例的优先级是否高于该当前任务实例的优先级，其中，该待识别任务实例节点为该目标有向无环图包括的至少两个任务实例节点中，除该当前任务实例节点以外的任务实例节点，该待识别任务实例为该待识别任务实例节点表征的任务实例；当该待识别任务实例的优先级高于该当前任务实例的优先级时，确定该待识别任务实例优先开始生成数据。
[0012]可选地，上述数据处理方法还包括：当该第一任务实例不属于该固定任务实例集合，并且该第一任务实例对应的下游任务实例中不存在固定任务实例时，为该第一任务实例以及该第一任务实例对应的下游任务实例添加预设标识，该预设标识用于表征该第一任务实例以及该第一任务实例对应的下游任务实例不是目标任务实例，该第一任务实例为该多个任务实例中的一个。
[0013]根据本公开实施例的第二方面，提供一种数据处理装置。该装置可以包括：获取模块、确定模块以及处理模块；该获取模块，被配置为获取初始补数事件的恢复信息和固定任务实例集合，该恢复信息包括多个任务实例的标识，以及该多个任务实例之间的依赖关系，该固定任务实例集合包括至少两个固定任务实例；该确定模块，被配置为基于该恢复信息和该固定任务实例集合，从该多个任务实例中确定至少两个目标任务实例，该至少两个目标任务实例中包括该至少两个固定任务实例；该确定模块，还被配置为基于该恢复信息以及至少一个待剪枝任务实例确定目标恢复信息，该目标恢复信息包括该至少两个目标任务实例的标识，以及该至少两个目标任务实例之间的依赖关系，该目标恢复信息为目标补数事件的恢复信息，该至少一个待剪枝任务实例为该多个任务实例中除该至少两个目标任务实例以外的任务实例；该处理模块，被配置为执行该目标补数事件，以根据该目标恢复信息，使该至少两个目标任务实例中的每一个目标任务实例生成数据。
[0014]可选地，该确定模块，具体被配置为当该第一任务实例属于该固定任务实例集合时，确定该第一任务实例为目标任务实例，该第一任务实例为该多个任务实例中的一个。
[0015]可选地，该确定模块，具体被配置为当第一任务实例不属于该固定任务实例集合时，确定该第一任务实例存在下游任务实例，该第一任务实例为该多个任务实例中的一个；
该确定模块，具体还被配置为当该第一任务实例不是该多个任务实例中的根任务实例，并且该第一任务实例对应的下游任务实例中存在固定任务实例时，将该第一任务实例确定为目标任务实例。
[0016]可选地，该处理模块，具体被配置为基于该初始补数事件的恢复信息，生成初始有向无环图，该初始有向无环图为该初始补数事件对应的有向无环图，该初始有向无环图包括任务实例节点以及边，该任务实例节点用于表征任务实例，该边用于连接具有依赖关系的任务实例节点；该处理模块，具体还被配置为对该初始有向无环图中包括的至少一个待剪枝任务实例节点执行剪枝操作，得到目标有向无环图，该至少一个待剪枝任务实例节点为该至少一个待剪枝任务实例表征的节点；该确定模块，具体被配置为基于该目标有向无环图，确定该目标恢复信息。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取初始补数事件的恢复信息和固定任务实例集合，所述恢复信息包括多个任务实例的标识，以及所述多个任务实例之间的依赖关系，所述固定任务实例集合包括至少两个固定任务实例；基于所述恢复信息和所述固定任务实例集合，从所述多个任务实例中确定至少两个目标任务实例，所述至少两个目标任务实例中包括所述至少两个固定任务实例；基于所述恢复信息以及至少一个待剪枝任务实例确定目标恢复信息，所述目标恢复信息包括所述至少两个目标任务实例的标识，以及所述至少两个目标任务实例之间的依赖关系，所述目标恢复信息为目标补数事件的恢复信息，所述至少一个待剪枝任务实例为所述多个任务实例中除所述至少两个目标任务实例以外的任务实例；执行所述目标补数事件，以根据所述目标恢复信息，使所述至少两个目标任务实例中的每一个目标任务实例生成数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述从所述多个任务实例中确定至少两个目标任务实例，包括：当第一任务实例属于所述固定任务实例集合时，确定所述第一任务实例为目标任务实例，所述第一任务实例为所述多个任务实例中的一个。3.根据权利要求1所述的数据处理方法，其特征在于，所述从所述多个任务实例中确定至少两个目标任务实例，包括：当第一任务实例不属于所述固定任务实例集合时，确定所述第一任务实例存在下游任务实例，所述第一任务实例为所述多个任务实例中的一个；当所述第一任务实例不是所述多个任务实例中的根任务实例，并且所述第一任务实例对应的下游任务实例中存在固定任务实例时，将所述第一任务实例确定为目标任务实例。4.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述恢复信息以及至少一个待剪枝任务实例确定目标恢复信息，包括：基于所述初始补数事件的恢复信息，生成初始有向无环图，所述初始有向无环图为所述初始补数事件对应的有向无环图，所述初始有向无环图包括任务实例节点以及边，所述任务实例节点用于表征任务实例，所述边用于连接具有依赖关系的任务实例节点；对所述初始有向无环图中包括的至少一个待剪枝任务实例节点执行剪枝操作，得到目标有向无环图，所述至少一个待剪枝任务实例节点为所述至少一个待剪枝任务实例表征的节点；基于所述目标有向无环图，确定所述目标恢复信息。5.根据权利要求4所述的数据处理方法，其特征在于，当前任务实例节点为所述目标有向无环图中的根节点或所述目标有向无环图中的非根节点，所述根据所述目标恢复信息，使所述至少两个目标任务实例中的每一个目标任务实例生成数据，包括：当所述当前任务实例节点为所述非根节点时，确定所述当前任务实例节点的直接上游成功节点的数量，所述直接上游成功节点为所述当前任务实例节点的直接上游节点中运行状态为运行成功的节点，所述直接上...

【专利技术属性】
技术研发人员：钱佳，张蕤，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：