一种数据处理方法技术

本公开提供了一种数据处理方法

【技术实现步骤摘要】
一种数据处理方法、装置、设备以及存储介质


[0001]本公开涉及数据处理领域，尤其涉及一种数据处理方法
、
装置
、
设备以及存储介质
。

技术介绍

[0002]随着社会的进步和信息通信技术的发展，大数据被广泛应用在各行各业
。
[0003]相关技术中，大数据通常需要建立数据仓库进行存储，而数据仓库中明细宽表是用于存储数据的常用表类型，在进行数据查询等处理时，需要采用明细宽表相关的数据处理语句
(
如
SQL
语句
)
直接对明细宽表中的数据进行处理，数据处理效率较低，因此，如何提高数据处理效率是目前亟需解决的一个技术问题
。

技术实现思路

[0004]为了解决上述技术问题，本公开提供了一种数据处理方法
、
装置
、
设备以及存储介质
。
[0005]第一方面，本公开提供了一种数据处理方法，所述方法应用于数据处理系统，所述数据处理系统中包括至少一个一级计算单元，各一级计算单元分别配置有数据处理方式
、
数据库表以及一级数据结构表，所述方法包括：
[0006]接收数据处理任务，并将所述数据处理任务对应的一级计算单元确定为目标一级计算单元；
[0007]从所述目标一级计算单元所配置的数据库表中获取待处理数据，并将所述待处理数据写入所述目标一级计算单元；
[0008]调用所述目标一级计算单元，利用所述目标一级计算单元所配置的数据处理方式，对所述待处理数据进行数据处理，得到一级处理结果数据；
[0009]将所述一级处理结果数据存储于所述目标一级计算单元所配置的一级数据结构表中
。
[0010]一种可选的实施方式中，所述数据处理系统中还包括至少一个二级计算单元，各二级计算单元分别配置有数据处理方式
、
一级数据结构表以及二级数据结构表，所述方法还包括：
[0011]将所述数据处理任务对应的二级计算单元确定为目标二级计算单元；
[0012]从所述目标二级计算单元所配置的一级数据结构表中读取一级处理结果数据，并将所述一级处理结果数据写入与所述目标二级计算单元；
[0013]调用所述目标二级计算单元，利用所述目标二级计算单元所配置的数据处理方式，对所述一级处理结果数据进行数据处理，得到二级处理结果数据；
[0014]将所述二级处理结果数据存储于所述目标二级计算单元所配置的二级数据结构表中
。
[0015]一种可选的实施方式中，所述将所述一级处理结果数据存储于所述目标一级计算
单元所配置的一级数据结构表中之前，还包括：
[0016]为所述数据处理任务对应的一级计算单元配置同一个一级数据结构表
。
[0017]一种可选的实施方式中，所述将所述一级处理结果数据存储于所述目标一级计算单元所配置的一级数据结构表中之后，还包括：
[0018]将所述一级数据结构表中的一级处理结果数据存储于备份数据库表中
。
[0019]一种可选的实施方式中，所述方法还包括：
[0020]当接收到回溯指令时，调用所述回溯指令对应的一级计算单元；
[0021]由所述一级计算单元基于所述一级计算单元所配置的数据库表和一级数据结构表执行所述回溯指令
。
[0022]一种可选的实施方式中，所述一级数据结构表和
/
或所述二级数据结构表包括
json
结构表或
Map
结构表
。
[0023]第二方面，本公开提供了一种数据处理装置，所述装置包括：
[0024]接收模块，用于接收数据处理任务，并将所述数据处理任务对应的一级计算单元确定为目标一级计算单元；
[0025]获取模块，用于从所述目标一级计算单元所配置的数据库表中获取待处理数据，并将所述待处理数据写入所述目标一级计算单元；
[0026]第一处理模块，用于调用所述目标一级计算单元，利用所述目标一级计算单元所配置的数据处理方式，对所述待处理数据进行数据处理，得到一级处理结果数据；
[0027]第一存储模块，用于将所述一级处理结果数据存储于所述目标一级计算单元所配置的一级数据结构表中
。
[0028]第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法
。
[0029]第四方面，本公开提供了一种数据处理设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法
。
[0030]第五方面，本公开提供了一种计算机程序产品，所述计算机程序产品包括计算机程序
/
指令，所述计算机程序
/
指令被处理器执行时实现上述的方法
。
[0031]本公开实施例提供的技术方案与现有技术相比至少具有如下优点：
[0032]本公开实施例提供的数据处理方法中，首先接收数据处理任务，并将该数据处理任务对应的一级计算单元确定为目标一级计算单元，从目标一级计算单元所配置的数据库表中获取待处理数据，并将该待处理数据写入目标一级计算单元，然后调用目标一级计算单元，利用该目标一级计算单元所配置的数据处理方式，对待处理数据进行数据处理，得到一级处理结果数据，将一级处理结果数据存储于目标一级计算单元所配置的一级数据结构表中
。
本公开通过设置一级计算单元，并利用一级计算单元所配置数据处理方式处理所配置数据库表中的待处理数据，提高了数据处理的效率
。
附图说明
[0033]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理
。
[0034]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图
。
[0035]图
1a
为本公开实施例提供的一种数据处理方法流程图；
[0036]图
1b
为本公开实施例提供的另一种数据处理方法流程图；
[0037]图2为本公开实施例提供的一种数据处理方法的执行过程流程图；
[0038]图3为本公开实施例提供的另一种数据处理方法流程图；
[0039]图4为本公开实施例提供的一种数据处理装置的结构示意图；
[0040]图5为本公开实施例提供的一种数据处理设备的结构示意图
。
具体实施方式
[0041]为了能够更清楚地理解本公开的上述目的
、...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统中包括至少一个一级计算单元，各一级计算单元分别配置有数据处理方式
、
数据库表以及一级数据结构表，所述方法包括：接收数据处理任务，并将所述数据处理任务对应的一级计算单元确定为目标一级计算单元；从所述目标一级计算单元所配置的数据库表中获取待处理数据，并将所述待处理数据写入所述目标一级计算单元；调用所述目标一级计算单元，利用所述目标一级计算单元所配置的数据处理方式，对所述待处理数据进行数据处理，得到一级处理结果数据；将所述一级处理结果数据存储于所述目标一级计算单元所配置的一级数据结构表中
。2.
根据权利要求1所述的方法，其特征在于，所述数据处理系统中还包括至少一个二级计算单元，各二级计算单元分别配置有数据处理方式
、
一级数据结构表以及二级数据结构表，所述方法还包括：将所述数据处理任务对应的二级计算单元确定为目标二级计算单元；从所述目标二级计算单元所配置的一级数据结构表中读取一级处理结果数据，并将所述一级处理结果数据写入所述目标二级计算单元；调用所述目标二级计算单元，利用所述目标二级计算单元所配置的数据处理方式，对所述一级处理结果数据进行数据处理，得到二级处理结果数据；将所述二级处理结果数据存储于所述目标二级计算单元所配置的二级数据结构表中
。3.
根据权利要求1所述的方法，其特征在于，所述将所述一级处理结果数据存储于所述目标一级计算单元所配置的一级数据结构表中之前，还包括：为所述数据处理任务对应的一级计算单元配置同一个一级数据结构表
。4.
根据权利要求1所述的方法，其特征在于，所述将所述一级处理结果数据存储于所述目标一级计算单元所配置的一级数据结构表中之后，还包括：将所述一级数据结构表中的一级处理结果数据存储于备份数据...

【专利技术属性】
技术研发人员：胡利超，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：