数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域，通过获取各数据任务和各所述数据任务的依赖关系，根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，建立各所述数据任务对应的数据处理平台的接口调用进程，根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，然后通过各所述数据处理平台处理各所述数据任务，以使各数据任务按照存储在十字链表的中的存储关系顺序处理，以解决现有技术中无法实现自动化数据处理的问题。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本申请涉及计算机
，特别是涉及数据处理方法、装置、电子设备及存储介质。
技术介绍
数据计算作为数据开发的核心部分，对于数据开发起着重要的作用，数据的准确性和快速性又依赖于数据计算系统的鲁棒性。数据开发过程中需要不同阶段的任务，不同的数据任务分布在不同的平台，经常会出现因为上游数据问题或程序漏洞等带来的下游数据重跑和恢复，但各个数据任务的平台是隔离的，每次恢复数据需要人工整理各任务的依赖关系，等到上游任务计算完才跑其下游任务，耗费了大量人力，无法实现自动化数据处理，非常不便。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术中无法实现自动化数据处理的问题。具体技术方案如下：第一方面，本申请实施例提供了数据处理方法，所述方法包括：获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；建立各所述数据任务对应的数据处理平台的接口调用进程；根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。可选的，所述根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务，包括：根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。可选的，在所述当前待处理任务在相应的数据处理平台处理后，所述方法还包括：生成完成文件；根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。可选的，所述根据所述各数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，包括：根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行链式存储。第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：第一获取模块，用于获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；存储模块，用于根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；建立模块，用于建立各所述数据任务对应的数据处理平台的接口调用进程；处理模块，用于根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。可选的，所述处理模块具体用于：根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。可选的，所述装置还包括：生成模块，用于生成完成文件；第二获取模块，用于根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；第三获取模块，用于获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。可选的，所述存储模块具体用于：根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行链式存储。第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中：所述处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的数据处理方法。第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的数据处理方法。第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的数据处理方法。本申请实施例提供的数据处理方法、装置、电子设备、存储介质及包含指令的计算机程序产品，通过获取各数据任务和各所述数据任务的依赖关系，根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，建立各所述数据任务对应的数据处理平台的接口调用进程，根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，然后通过各所述数据处理平台处理各所述数据任务，以使各数据任务按照存储在十字链表的中的存储关系顺序处理，以解决现有技术中无法实现自动化数据处理的问题。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a为本申请实施例的数据处理方法的一种示意图；图1b为本申请实施例的数据处理方法的数据任务依赖关系示意图；图1c为本申请实施例的数据处理方法的数据任务十字链表示意图；图2为本申请实施例的数据处理装置的一种示意图；图3为本申请实施例的电子设备的一种示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。为了解决现有技术中无法实现自动化数据处理的问题，本申请公开了一种数据处理方法，包括如下步骤：获取各数据任务和各上述数据任务的依赖关系，其中，各上述数据任务分别在相应的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；/n根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；/n建立各所述数据任务对应的数据处理平台的接口调用进程；/n根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台进行处理；
根据各所述数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表；
建立各所述数据任务对应的数据处理平台的接口调用进程；
根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务。


2.根据权利要求1所述的方法，其特征在于，所述根据所述数据任务十字链表，利用各所述接口调用进程调用各所述数据处理平台，以处理各所述数据任务，包括：
根据所述数据任务十字链表中记录的各所述数据任务的依赖关系，从所述数据任务十字链表中获取当前待处理任务；
获取所述当前待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理当前待处理任务相应的数据处理平台，以使所述当前待处理任务相应的数据处理平台处理所述当前待处理任务。


3.根据权利要求2所述的方法，其特征在于，在所述当前待处理任务在相应的数据处理平台处理后，所述方法还包括：
生成完成文件；
根据所述完成文件，从所述数据任务十字链表中获取下一待处理任务，所述下一待处理任务为所述当前待处理任务的下游任务；
获取所述下一待处理任务相应的数据处理平台的接口调用进程，根据所述接口调用进程调用所述处理下一待处理任务相应的数据处理平台，以使所述下一待处理任务相应的数据处理平台处理所述下一待处理任务。


4.根据权利要求1所述的方法，其特征在于，所述根据所述各数据任务的依赖关系，基于十字链表数据结构将所述各数据任务进行存储，得到数据任务十字链表，包括：
根据各所述数据任务的依赖关系将各所述数据任务作为节点顺序存储；
根据所述各数据任务的依赖关系，将各所述数据任务使用弧连接，使得各所述数据任务进行链式存储。


5.一种数据处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取各数据任务和各所述数据任务的依赖关系，其中，各所述数据任务分别在相应的数据处理平台...

【专利技术属性】
技术研发人员：康林，段效晨，秦占明，赵艳杰，罗廷方，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11