多级数据流转任务的执行方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种多级数据流转任务的执行方法及装置、电子设备、存储介质，该方法包括：根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其子节点之间存在数据流转任务；依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。本申请上述实施例提供的技术方案，依据该任务节点树逐级处理数据流转任务，避免了多余的等待时间，从而有效地提高了多级数据流转任务地处理效率。

Implementation method and device, electronic equipment and storage medium of multi-level data flow task

【技术实现步骤摘要】
多级数据流转任务的执行方法及装置、电子设备、存储介质
本申请涉及计算机
，特别涉及一种多级数据流转任务的执行方法及装置、电子设备、计算机可读存储介质。
技术介绍
在涉及数据的业务中，存在数据集之间相互同步数据的需求。将源数据集中的待同步数据存储至目标数据集的过程称为数据流转。在实际业务环境中，一个数据流转过程中的目标数据集也可能是其它数据集的源数据集，在这种情况下，各级源数据集和目标数据集之间的多次数据流转构成了一次多级数据流转。一般，在处理多级数据流转时，会配置多个数据流转任务。通过周期性检查上游的数据流转任务，以在上游的数据流转任务完成后继续处理下游的数据流转任务。该措施不可避免多余的等待时间，若多级数据流转任务的层级较多，则会叠加产生非常多的等待时间，这会降低多级数据流转任务的处理效率。
技术实现思路
本申请实施例的目的在于提供一种多级数据流转任务的执行方法及装置，电子设备、计算机可读存储介质，用以提高多级数据流转任务的处理效率。本申请实施例提供了一种多级数据流转任务的执行方法，所述方法包括：...

【技术保护点】
1.一种多级数据流转任务的执行方法，其特征在于，包括：/n根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务；/n依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。/n

【技术特征摘要】
1.一种多级数据流转任务的执行方法，其特征在于，包括：
根据预设的配置信息生成任务节点树；其中，所述任务节点树包括多个数据集节点，所述任务节点树中每一父节点与其对应的子节点之间存在数据流转任务；
依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的所述数据流转任务。


2.根据权利要求1所述的方法，其特征在于，所述依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务，包括：
将所述任务节点树中的根节点加入预设的源数据集列表；其中，加入所述源数据集列表的数据集节点为源数据集节点；
查找所述源数据集列表中的源数据集节点的待同步数据，并缓存所述待同步数据；
判断所述源数据集列表是否为空，如果所述源数据集列表不为空，在所述任务节点树中确定所述源数据集列表中源数据集节点的子节点，并将已缓存的所述待同步数据存储至所述子节点；
删除所述源数据集列表中的源数据集节点，并判断所述子节点是否为所述任务节点树的叶子节点；
若任一子节点不是叶子节点，将所述子节点加入所述源数据集列表，并返回判断所述源数据集列表是否为空的步骤，直至所述源数据集列表为空。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所有子节点均为叶子节点，结束任务。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监控所述任务节点树的根节点，若所述根节点上产生增量的待同步数据，依据所述任务节点树，逐级执行每一父节点与其相对应的子节点之间的数据流转任务。


5.根据权利要求2或4所述的方法，其特征在于，在执行每一父节点与其相对应的子节点之间的数据流转任务时，所述方法还包括：
基于子节点所需数据的要求，对所述待同步数据进行过滤和标准化处理。


6.一种...

【专利技术属性】
技术研发人员：王俊威，王献周，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11