一种数据加工方法及装置制造方法及图纸

本申请公开一种数据加工方法及装置，基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，获取数据加工任务的任务参数；基于所述任务参数与数据加工脚本之间的对应关系，获取所述数据加工任务的数据加工脚本；判断所述数据加工脚本是否包含公共函数，如果是，根据所述数据加工脚本与所述公共函数之间的对应关系调取所述数据加工脚本所对应的公共函数；将所述公共函数嵌入与之相对应的数据加工脚本的对应位置；基于所述数据加工任务的名称，获取所述任务参数的排序；基于所述任务参数的排序，获取所述数据加工脚本的执行顺序；在大数据程序框架下，按照所述执行顺序，执行所述数据加工脚本；生成所述数据加工任务的任务报表模板。的任务报表模板。的任务报表模板。

【技术实现步骤摘要】
一种数据加工方法及装置


[0001]本申请涉及互联网
，具体涉及一种数据加工方法及装置。

技术介绍

[0002]由于业务类型众多，客户资料众多，为便于使用和分析，将数据加工成数据报表是银行的常用手段。
[0003]对于海外分行来说，传统的数据加工方式是由总行为他们提供统一的数据库，各分行根据自己的需求各自加工需要的数据，由于各分行对数据加工需求的差异性不大，这种加工方式就会导致大量的重复加工。
[0004]除此之外，各海外分行在加工数据时，所使用的数据脚本有C语言、Java，加工过程要大量的使用存储过程来实现，导致开发系统耦合性高、扩展性弱，再加上所使用数据库本身的限制，导致其不能应对海量数据的加工。

技术实现思路

[0005]基于上述现有技术的不足，本申请提供了一种数据加工方法及装置，以解决现有技术中存在的大量的重复加工。
[0006]有鉴于此，本申请第一方面提供了一种数据加工方法，应用于大数据平台，所述方法包括：
[0007]基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，获取数据加工任务的任务参数；
[0008]基于所述任务参数与数据加工脚本之间的对应关系，获取所述数据加工任务的数据加工脚本；
[0009]判断所述数据加工脚本是否包含公共函数，如果是，根据所述数据加工脚本与所述公共函数之间的对应关系调取所述数据加工脚本所对应的公共函数，所述公共函数是预先提取不同数据加工脚本的公共处理逻辑之后生成的；
[0010]将所述公共函数嵌入与之相对应的数据加工脚本的对应位置，以便在执行所述数据加工脚本时，执行其所对应的公共函数；
[0011]基于所述数据加工任务的名称，获取所述任务参数的排序；
[0012]基于所述任务参数的排序，获取所述数据加工脚本的执行顺序；
[0013]在大数据程序框架下，按照所述执行顺序，执行所述数据加工脚本；
[0014]生成所述数据加工任务的任务报表模板。
[0015]本申请第二方面提供了一种数据加工装置，其特征在于，所述装置包括：
[0016]获取单元，用于基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，获取数据加工任务的任务参数；基于所述任务参数与数据加工脚本之间的对应关系，获取所述数据加工任务的数据加工脚本；
[0017]调取单元，用于判断所述数据加工脚本是否包含公共函数，如果是，根据所述数据
加工脚本与所述公共函数之间的对应关系调取所述数据加工脚本所对应的公共函数，所述公共函数是预先提取不同数据加工脚本的公共处理逻辑之后生成的；
[0018]嵌入单元，用于将所述公共函数嵌入与之相对应的数据加工脚本的对应位置，以便在执行所述数据加工脚本时，执行其所对应的公共函数；
[0019]所述获取单元还用于基于所述数据加工任务的名称，获取所述任务参数的排序；基于所述任务参数的排序，获取所述数据加工脚本的执行顺序；
[0020]生成单元，用于在大数据程序框架下，按照所述执行顺序，执行所述数据加工脚本；生成所述数据加工任务的任务报表模板。
[0021]在一种可能的实现方式中，所述获取单元还用于：
[0022]获取数据加工任务需求；
[0023]根据所述数据加工任务需求匹配相对应的任务报表模板；
[0024]返回所述任务报表模板。
[0025]在一种可能的实现方式中，所述获取单元还用于：
[0026]基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，从数据参数库中获取数据加工任务的任务参数，所述数据参数库是预先建立的。
[0027]在一种可能的实现方式中，所述获取单元还用于：
[0028]基于所述任务参数与数据加工脚本之间的对应关系，从hive数据库中获取所述数据加工任务的数据加工脚本。
[0029]在一种可能的实现方式中，所述生成单元还用于运用分布式系统基础框架Hadoop，在大数据平台上按照所述执行顺序执行所述数据加工脚本。
[0030]在一种可能的实现方式中，所述装置还包括构建单元，用于使用渐进式框架vue构建可视化管理平台，以便于管理任务参数、导出数据加工脚本。
[0031]另一方面，本申请实施例提供了一种电子设备，包括：
[0032]存储器和处理器；
[0033]其中，所述存储器，用于存储计算机程序；
[0034]所述处理器，用于执行所述计算机程序，以实现上述方面所述的数据加工方法。
[0035]另一方面，本申请实施例提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述方面所述的数据加工方法。
[0036]可见，本申请提供的一种数据加工方法基于数据加工任务的名称获取数据加工任务的任务参数，这种名称与任务参数相对应的方式有利于根据任务参数去调用对应的数据加工脚本，然后执行数据加工脚本，就可以实现对数据加工任务的加工，最后返回任务报表模板，这种使用统一的加工方法进行加工的方式，避免了数据的重复加工，在加工过程中采用统一的数据加工脚本，有效解决了开发系统耦合性高、扩展性弱的问题，而且通过在大数据平台上加工数据，可以实现对海量数据的处理，解决了传统处理方式中不能应对海量数据的加工的缺点。
附图说明
[0037]图1为本申请公开的一种数据加工方法流程图；
[0038]图2为本申请公开的一种具体的数据加工方法流程图；
[0039]图3为本申请公开的一种数据加工装置结构图；
[0040]图4为本申请公开的一种具体的数据加工装置结构图；
[0041]图5为本申请公开的一种具体的数据加工装置结构图；
[0042]图6为本申请公开的一种电子设备结构示意图。
具体实施方式
[0043]下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
[0044]参见图1所示，本申请实施例公开了一种数据加工方法,应用于大数据平台，该方法包括：
[0045]在可能的实施方式中，对于数据的加工是在大数据平台上实现的，区别于现有的数据加工方法，采用大数据平台加工数据，可以实现海量数据的加工，解决了传统的数据加工方式所采用的的数据批处理方式与关系型数据库所导致的无法应对海量数据的问题。
[0046]S11、基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，获取数据加工任务的任务参数；
[0047]在可能的实施方式中，预先配置数据参数库，在数据参数库中预先存储可能的加工任务的任务参数，将所述任务参数与数据加工任务的名称之间建立对应关系，以便于在后续本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加工方法，其特征在于，应用于大数据平台，所述方法包括：基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，获取数据加工任务的任务参数；基于所述任务参数与数据加工脚本之间的对应关系，获取所述数据加工任务的数据加工脚本；判断所述数据加工脚本是否包含公共函数，如果是，根据所述数据加工脚本与所述公共函数之间的对应关系调取所述数据加工脚本所对应的公共函数，所述公共函数是预先提取不同数据加工脚本的公共处理逻辑之后生成的；将所述公共函数嵌入与之相对应的数据加工脚本的对应位置，以便在执行所述数据加工脚本时，执行其所对应的公共函数；基于所述数据加工任务的名称，获取所述任务参数的排序；基于所述任务参数的排序，获取所述数据加工脚本的执行顺序；在大数据程序框架下，按照所述执行顺序，执行所述数据加工脚本；生成所述数据加工任务的任务报表模板。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取数据加工任务需求；根据所述数据加工任务需求匹配相对应的任务报表模板；返回所述任务报表模板。3.根据权利要求1所述的方法，其特征在于，所述基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，获取数据加工任务的任务参数，包括：基于数据加工任务的名称与数据加工任务的任务参数之间的对应关系，从数据参数库中获取数据加工任务的任务参数，所述数据参数库是预先建立的。4.根据权利要求1所述的方法，其特征在于，所述基于所述任务参数与数据加工脚本之间的对应关系，获取所述数据加工任务的数据加工脚本，包括：基于所述任务参数与数据加工脚本之间的对应关系，从hive数据库中获取所述数据加工任务的数据加工脚本。5.根据权利要求1所述的方法，其特征在于，所述在大数据程序框架下，按照所述执行顺序，执行所述数据加工脚本，包括：运用分布式系统基础框架H...

【专利技术属性】
技术研发人员：唐琳，李成伟，林春萍，钱家欣，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：