一种数据处理方法及装置制造方法及图纸

本申请提供一种数据处理方法、装置及计算机可读存储介质和电子设备。其中，所述方法包括：获取至少一个数据源中待处理的数据；按照预先设置的多个处理规则依次对所述待处理的数据进行处理；其中，所述多个处理规则为针对数据转换的不同处理阶段设置的规则；输出按照所述多个处理规则中的最后一个处理规则执行完数据处理后得到的目标数据。应用本申请，将处理规则与源代码解耦合，在需要改变处理规则时，无需改动源代码。

A data processing method and device

The application provides a data processing method, a device, a computer-readable storage medium and an electronic device. Among them, the method includes: acquiring the data to be processed in at least one data source; processing the data to be processed in turn according to the preset multiple processing rules; wherein, the multiple processing rules are the rules set for different processing stages of data conversion; outputting the data to be processed according to the last processing rule in the multiple processing rules The target data obtained after. The application decouples the processing rule and the source code. When the processing rule needs to be changed, the source code does not need to be changed.

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及数据处理
，尤其涉及一种数据处理方法、装置及计算机存储介质和电子设备。
技术介绍
在进行大数据处理时，处理过程通常包括数据抽取(Extract)、数据转换(Transform)、数据加载(Load)三个阶段。在相关技术中，数据转换的处理一般有两种方式：第一种是基于SQL，例如利用Where、Count、Max、Min等原生函数或者UDF函数(用户自定义的函数)，在源代码中编写Select语句，利用Select语句执行数据处理。第二种是基于脚本，使用脚本语言编写数据处理规则的代码，基于所述脚本中编写的代码执行数据处理。然而，不管是基于SQL还是基于脚本，都受限于固化开发方式，即数据处理规则的代码都是写死在源代码中的，如果不对源代码进行修改，也就无法改变数据处理规则，从而导致数据处理规则维护不便，且数据处理不够灵活。
技术实现思路
有鉴于此，本申请提供一种数据处理方法、装置及计算机存储介质和电子设备，用于解决上述的数据处理不够灵活，数据处理规则维护困难的问题。具体地，本申请是通过如下技术方案实现的：一种数据处理方法，所述方法包括：获取至少一个数据源中待处理的数据；按照预先设置的多个处理规则依次对所述待处理的数据进行处理；其中，所述多个处理规则为针对数据转换的不同处理阶段设置的规则；输出按照所述多个处理规则中的最后一个处理规则执行完数据处理后得到的目标数据。可选的，所述多个处理规则包括：预处理规则、计算规则；所述按照预先设置的多个处理规则依次对所述待处理的数据进行处理，具体包括：根据所述预处理规则，将所述待处理的数据合并到一张数据表中；根据所述计算规则，对所述数据表中数据进行计算，并将计算结果记录到所述数据表。可选的，所述多个处理规则还包括：聚合规则，所述方法还包括：根据所述聚合规则，对所述包含计算结果的数据表进行聚合操作，得到聚合结果。可选的，所述根据所述预处理规则，将所述待处理的数据合并到一张数据表中，具体包括：获取所述预处理规则中的数据合并SQL；基于所述数据合并SQL将所述待处理的数据合并到一张数据表中。可选的，所述获取至少一个数据源中待处理的数据，具体包括：获取预先设置的数据读取SQL；基于所述数据读取SQL从至少一个数据源中读取待处理的数据。可选的，在所述基于所述数据合并SQL将所述待处理的数据合并到一张数据表中之前，所述方法还包括：获取所述预处理规则中的数据过滤SQL；基于所述数据过滤SQL将至少一个数据源中待处理的数据进行过滤；所述基于所述数据合并SQL将所述待处理的数据合并到一张数据表中，具体包括：基于所述数据合并SQL将过滤后剩余的待处理的数据合并到一张数据表中。可选的，所述根据所述计算规则，对所述数据表中数据进行计算，并将计算结果记录到所述数据表，具体包括：获取所述计算规则的计算表达式；基于所述计算表达式对所述数据表中每行的数据进行计算；将每行的计算结果记录到该行的预设位置。可选的，所述数据表包括Excel表，所述计算表达式包括Excel函数表达式。可选的，所述根据所述聚合规则，对所述包含计算结果的数据表进行聚合操作，得到目标数据，具体包括：获取所述聚合规则的数据聚合SQL；基于所述数据聚合SQL将所述包含计算结果的数据表中对应每个数据源的结果数据聚合，得到每个数据源对应的结果数据；将每个数据源对应的结果数据确定为聚合结果。可选的，所述方法还包括：通过Spark技术，将每个处理规则处理结果缓存在内存，并在下一处理规则执行前从内存中获取上一处理规则缓存的处理结果。一种数据处理装置，所述装置包括：读取单元，获取至少一个数据源中待处理的数据；处理单元，按照预先设置的多个处理规则依次对所述待处理的数据进行处理；其中，所述多个处理规则为针对数据转换的不同处理阶段设置的规则；输出单元，输出按照所述多个处理规则中的最后一个处理规则执行完数据处理后得到的目标数据。一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一项所述的数据处理方法。一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；所述处理器被配置为上述任一项所述的数据处理方法。本申请实施例，提供了一种数据处理方案，通过将处理规则与代码解耦，在进行数据处理时，基于预先配置的处理规则对待处理的数据进行处理。如此，用户可以根据需求灵活配置处理规则，并在需要修改处理规则时，无需修改源代码，只要修改配置的处理规则即可。附图说明图1是本申请一示例性实施例示出的一种数据处理方法的流程图；图2是本申请一示例性实施例示出的一种数据处理适用的系统架构图；图3是本申请一示例性实施例示出的数据处理过程的示意图；图4是本申请一示例性实施例示出的一种数据处理装置的硬件结构图；图5是本申请一示例性实施例示出的一种数据处理装置的模块示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。图1是本申请一示例性实施例示出的一种数据处理的方法流程图，所述方法可以应用在数据处理的服务器(以下简称为服务器)中，该方法具体可以包括如下步骤：步骤110：获取至少一个数据源中待处理的数据。步骤120：按照预先设置的多个处理规则依次对所述待处理的数据进行处理；其中，所述多个处理规则为针对数据转换的不同处理阶段设置的规则。步骤130：输出按照所述多个处理规则中的最后一个处理规则执行完数据处理后得到的目标数据。本申请中，通过将处理规则与代码解耦，在进行数据处理时，基于预先配置的处理规则对待处理的数据进行处理。如此本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取至少一个数据源中待处理的数据；/n按照预先设置的多个处理规则依次对所述待处理的数据进行处理；其中，所述多个处理规则为针对数据转换的不同处理阶段设置的规则；/n输出按照所述多个处理规则中的最后一个处理规则执行完数据处理后得到的目标数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取至少一个数据源中待处理的数据；
按照预先设置的多个处理规则依次对所述待处理的数据进行处理；其中，所述多个处理规则为针对数据转换的不同处理阶段设置的规则；
输出按照所述多个处理规则中的最后一个处理规则执行完数据处理后得到的目标数据。


2.根据权利要求1所述的方法，其特征在于，所述多个处理规则包括：预处理规则、计算规则；
所述按照预先设置的多个处理规则依次对所述待处理的数据进行处理，具体包括：
根据所述预处理规则，将所述待处理的数据合并到一张数据表中；
根据所述计算规则，对所述数据表中数据进行计算，并将计算结果记录到所述数据表。


3.根据权利要求2所述的方法，其特征在于，所述多个处理规则还包括聚合规则，所述方法还包括：
根据所述聚合规则，对所述包含计算结果的数据表进行聚合操作，得到聚合结果。


4.根据权利要求2所述的方法，其特征在于，所述根据所述预处理规则，将所述待处理的数据合并到一张数据表中，具体包括：
获取所述预处理规则中的数据合并SQL；
基于所述数据合并SQL将所述待处理的数据合并到一张数据表中。


5.根据权利要求1所述的方法，其特征在于，所述获取至少一个数据源中待处理的数据，具体包括：
获取预先设置的数据读取SQL；
基于所述数据读取SQL从至少一个数据源中读取待处理的数据。


6.根据权利要求2所述的方法，其特征在于，在所述基于所述数据合并SQL将所述待处理的数据合并到一张数据表中之前，所述方法还包括：
获取所述预处理规则中的数据过滤SQL；
基于所述数据过滤SQL将至少一个数据源中待处理的数据进行过滤；
所述基于所述数据合并SQL将所述待处理的数据合并到一张数据表中，具体包括：
基于所述数据合并SQL将过滤后剩余的待处理的数据合并到...

【专利技术属性】
技术研发人员：王冬兴，郭庆芳，马帅，杜云帆，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11