数据计算管理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种数据计算管理方法、装置、电子设备及存储介质，数据计算管理方法，包括：获取目标节点的配置信息，并基于所述配置信息确定所述目标节点的数据计算流程；从源数据库中抽取任务数据，并将任务数据写入所述目标节点对应的目标数据库；基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果。本发明专利技术提供的数据计算管理方法、装置、电子设备及存储介质，可以实现降低数据开发的技术要求，提高数据处理的灵活性，降低数据处理成本。降低数据处理成本。降低数据处理成本。

【技术实现步骤摘要】
数据计算管理方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据计算管理方法、装置、电子设备及存储介质。

技术介绍

[0002]在大数据时代，处理大数据已经不能仅仅依靠计算力就能够解决问题，计算力只是核心的基础，还需要结合不同的业务场景与算法相互结合，沉淀出一个完整的智能化平台。
[0003]目前智能化平台在处理数据时，缺乏灵活性。数据处理往往要根据对数据指标的具体需求进行定制化处理，一个数据指标只能使用特定的数据处理算法，不同指标很难直接共享数据算法，使得数据处理处理的灵活性较差，数据处理成本增高。
[0004]此外，目前的智能化平台在处理数据时，数据开发技术要求高。由于数据开发需要使用特定的工具、特定的开发语言，在当今数据处理技术飞速发展的背景下，数据开发过程对开发人员的技术要求非常高，需要熟悉和掌握特定数据处理工具和技能的技术人员才能完成此项工作，而普通运维人员往往无法胜任，导致数据处理需求的处理往往需要通过特定的流程才能得到处理，延误需求响应时间。
[0005]因此，需要提供一种方案，降低数据开发的技术要求，提高数据处理的灵活性，降低数据处理成本。

技术实现思路

[0006]本专利技术提供一种数据计算管理方法、装置、电子设备及存储介质，实现降低数据开发的技术要求，提高数据处理的灵活性，降低数据处理成本。
[0007]本专利技术提供一种数据计算管理方法，包括：
[0008]获取目标节点的配置信息，并基于所述配置信息确定所述目标节点的数据计算流程；
[0009]从源数据库中抽取任务数据，并将任务数据写入所述目标节点对应的目标数据库；
[0010]基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果。
[0011]根据本专利技术提供的数据计算管理方法，所述从源数据库中抽取任务数据，并将任务数据写入所述目标节点对应的目标数据库，包括：
[0012]基于所述源数据库的驱动程序，从所述源数据库中抽取任务数据；
[0013]基于所述目标数据库的驱动程序，以及数据抽取映射配置，将所述任务数据写入所述目标节点对应的目标数据库。
[0014]根据本专利技术提供的数据计算管理方法，所述基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果，包括：
[0015]基于所述数据计算流程，对所述任务数据进行MR计算或者SHELL处理。
[0016]根据本专利技术提供的数据计算管理方法，所述基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果，包括：
[0017]将所述数据计算流程对应的配置文件，编译成对应的JAVA类文件；
[0018]将所述目标数据库中的任务数据转化为实例信息；
[0019]基于所述JAVA类文件对所述实例信息进行运算处理，得到所述任务数据的处理结果。
[0020]根据本专利技术提供的数据计算管理方法，还包括：
[0021]展示多个数据计算组件；
[0022]接收输入的编辑指令，对多个目标数据计算组件设置属性，并将设置完属性的多个目标数据计算组件，组成数据计算流程。
[0023]根据本专利技术提供的数据计算管理方法，还包括：
[0024]在接收输入的编辑指令之前，接收输入的组件选取指令，并基于所述组件选取指令，将所述多个目标数据计算组件移动至编辑器区域；
[0025]其中，所述编辑器区域用于接收输入的编辑指令。
[0026]本专利技术还提供一种数据计算管理装置，包括：
[0027]流程确定模块，用于获取目标节点的配置信息，并基于所述配置信息确定所述目标节点的数据计算流程；
[0028]数据抽取模块，用于从源数据库中抽取任务数据，并将任务数据写入所述目标节点对应的目标数据库；
[0029]数据处理模块，用于基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果。
[0030]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据计算管理方法。
[0031]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据计算管理方法。
[0032]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据计算管理方法。
[0033]本专利技术提供的数据计算管理方法、装置、电子设备及存储介质，通过获取了用户输入的目标节点的配置信息之后，就可以确定数据计算流程，不需要用户进行编码处理，再执行数据抽取的步骤，结合数据计算流程，处于抽取的任务数据。整个过程只需要用户进行目标节点的配置即可，不需要具备数据开发的编码能力，因而提高了数据处理的灵活性，降低了数据处理成本。
附图说明
[0034]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些
附图获得其他的附图。
[0035]图1是本专利技术提供的数据计算管理方法的流程示意图之一；
[0036]图2是本专利技术提供的数据计算管理方法的流程示意图之二；
[0037]图3是本专利技术提供的数据计算管理装置的结构示意图；
[0038]图4是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0039]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0040]下面结合图1
‑
图4描述本专利技术的数据计算管理方法、装置、电子设备及存储介质。
[0041]如图1所示，本专利技术提供的一种数据计算管理方法，包括：
[0042]步骤110、获取目标节点的配置信息，并基于所述配置信息确定所述目标节点的数据计算流程。
[0043]可以理解的是，本专利技术采用双重工作流方案，分别完成数据计算方案的工作流管理和任务调度的工作流管理。
[0044]本专利技术提供了可视化的计算流程配置功能和无需编码的组件配置方案，实现可视化数据计算配置方案。
[0045]而且，本专利技术还可以实现数据血缘的查看和分析管理功能，可直观和便捷的查看、分析数据血缘和数据处理历史。
[0046]首先，任务调度的工作流管理主要解决面向数据仓位技术(ETL，Extract
‑
Transform
...

【技术保护点】

【技术特征摘要】
1.一种数据计算管理方法，其特征在于，包括：获取目标节点的配置信息，并基于所述配置信息确定所述目标节点的数据计算流程；从源数据库中抽取任务数据，并将任务数据写入所述目标节点对应的目标数据库；基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果。2.根据权利要求1所述的数据计算管理方法，其特征在于，所述从源数据库中抽取任务数据，并将任务数据写入所述目标节点对应的目标数据库，包括：基于所述源数据库的驱动程序，从所述源数据库中抽取任务数据；基于所述目标数据库的驱动程序，以及数据抽取映射配置，将所述任务数据写入所述目标节点对应的目标数据库。3.根据权利要求1所述的数据计算管理方法，其特征在于，所述基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果，包括：基于所述数据计算流程，对所述任务数据进行MR计算或者SHELL处理。4.根据权利要求1所述的数据计算管理方法，其特征在于，所述基于所述数据计算流程，对所述目标数据库中的任务数据进行处理，得到任务数据计算结果，包括：将所述数据计算流程对应的配置文件，编译成对应的JAVA类文件；将所述目标数据库中的任务数据转化为实例信息；基于所述JAVA类文件对所述实例信息进行运算处理，得到所述任务数据的处理结果。5.根据权利要求1
‑
4任一项所述的数据计算管理...

【专利技术属性】
技术研发人员：李中，徐晓刚，潘智峰，吕金国，刘玉龙，郭飞，朱俊杰，钱永丰，
申请(专利权)人：朗新数据科技有限公司，
类型：发明
国别省市：