一种数据仓库数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供一种数据仓库数据处理方法、装置、电子设备和存储介质，方法包括：接收任务请求；任务请求携带有任务标识；基于任务标识解析目标任务；目标任务包含当前执行文件；当前执行文件包括执行描述信息和数据处理语句；基于执行描述信息，从当前数据集中确定待处理数据；当前数据集基于多个历史数据集确定；根据数据处理语句对待处理数据进行处理，得到目标数据；发送目标数据。通过本申请实施例的一种数据仓库数据处理方法，可以基于优化的处理任务进行数据处理，提高数据仓库任务的处理效率。处理效率。处理效率。

【技术实现步骤摘要】
一种数据仓库数据处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据仓库数据处理方法、装置、系统及存储介质。

技术介绍

[0002]随着大数据时代的到来，数据呈爆发式增长，越来越多的业务需要借助大数据能力进行数据分析，数仓的任务越来越多，链路越来越复杂。数据仓库中存储有大量的冗余数据，并且数据处理任务往往需要调用大量的数据，在数据处理业务需要越来越大的同时，对数据仓库的数据处理效率的需求也逐渐提高。
[0003]目前的数据仓库模型普遍从相同的数据源重复调用数据，或者进行重复多次相同数据处理，甚至存在多个任务从大量的数据源重复多次调用数据的情况，导致数据仓库模型处理任务效率低，占用大量链路。数据仓库的数据源和相应的处理任务都需要进行优化，以提高数据仓库任务的处理效率。

技术实现思路

[0004]针对现有技术存在的缺陷，本公开实施例提供一种数据仓库数据处理方法、装置、系统及存储介质，可以基于优化的处理任务进行数据处理，提高数据仓库任务的处理效率。
[0005]本申请实施例提供一种数据仓库数据处理方法，方法包括：接收任务请求；任务请求携带有任务标识；基于任务标识解析目标任务；目标任务包含当前执行文件；当前执行文件包括执行描述信息和数据处理语句；基于执行描述信息，从当前数据集中确定待处理数据；当前数据集基于多个历史数据集确定；根据数据处理语句对待处理数据进行处理，得到目标数据；发送目标数据。
[0006]具体地，基于执行描述信息，从当前数据集中确定待处理数据包括：从执行描述信息中获取当前数据集标识和待处理数据标识；基于当前数据集标识从数据仓库中确定出当前数据集；基于待处理数据标识从当前数据集中确定待处理数据。
[0007]具体地，在若检测到任务请求，基于任务请求中携带的任务标识，读取任务标识对应的任务之前，方法还包括：获取历史任务集；历史任务集中每个历史任务包括历史执行文件；历史执行文件包括历史描述信息和历史处理语句；若历史任务集中存在多个历史任务中的历史描述信息和历史处理语句满足预设条件，从多个历史任务中的历史描述信息中确定历史数据集标识；基于历史数据集标识确定出多个历史数据集；基于多个历史数据集和历史处理语句生成当前数据集。
[0008]具体地，方法还包括：基于历史处理语句生成当前数据集对应的数据处理语句；将历史描述信息当作执行描述信息；基于执行描述信息和数据处理语句生成当前执行文件；根据当前执行文件确定关联任务标识的目标任务。
[0009]具体地，若历史任务集中存在多个历史任务中的历史描述信息和历史处理语句满足预设条件，从多个历史任务中的历史描述信息中确定历史数据集标识包括：若历史任务
集中存在多个历史任务，且多个历史任务中每个历史任务的历史描述信息中包含的历史数据集标识相同，获取每个历史任务的历史处理语句；若每个历史任务的历史处理语句相同，从多个历史任务中的历史描述信息中确定历史数据集标识。
[0010]具体地，历史任务和任务标识相关联，且历史任务的优先级低于目标任务的优先级。
[0011]具体地，基于任务标识解析目标任务包括：基于任务标识确定关联的目标任务和历史任务；若预设时长内，目标任务被解析的次数小于等于预设阈值，基于任务标识解析目标任务。
[0012]相应地，本申请实施例提供一种数据仓库数据处理装置，装置包括：接收模块，用于接收任务请求；任务请求携带有任务标识；解析模块，用于基于任务标识解析目标任务；目标任务包含当前执行文件；当前执行文件包括执行描述信息和数据处理语句；确定模块，用于基于执行描述信息，从当前数据集中确定待处理数据；当前数据集基于多个历史数据集确定；处理模块，用于根据数据处理语句对待处理数据进行处理，得到目标数据；发送模块，用于发送目标数据。
[0013]具体地，基于执行描述信息，从当前数据集中确定待处理数据包括：从执行描述信息中获取当前数据集标识和待处理数据标识；基于当前数据集标识从数据仓库中确定出当前数据集；基于待处理数据标识从当前数据集中确定待处理数据。
[0014]具体地，装置还包括预处理模块，预处理模块用于：获取历史任务集；历史任务集中每个历史任务包括历史执行文件；历史执行文件包括历史描述信息和历史处理语句；若历史任务集中存在多个历史任务中的历史描述信息和历史处理语句满足预设条件，从多个历史任务中的历史描述信息中确定历史数据集标识；基于历史数据集标识确定出多个历史数据集；基于多个历史数据集和历史处理语句生成当前数据集。
[0015]具体地，预处理模块还用于：基于历史处理语句生成当前数据集对应的数据处理语句；将历史描述信息当作执行描述信息；基于执行描述信息和数据处理语句生成当前执行文件；根据当前执行文件确定关联任务标识的目标任务。
[0016]具体地，若历史任务集中存在多个历史任务中的历史描述信息和历史处理语句满足预设条件，从多个历史任务中的历史描述信息中确定历史数据集标识包括：若历史任务集中存在多个历史任务，且多个历史任务中每个历史任务的历史描述信息中包含的历史数据集标识相同，获取每个历史任务的历史处理语句；若每个历史任务的历史处理语句相同，从多个历史任务中的历史描述信息中确定历史数据集标识。
[0017]具体地，历史任务和任务标识相关联，且历史任务的优先级低于目标任务的优先级。
[0018]具体地，基于任务标识解析目标任务包括：基于任务标识确定关联的目标任务和历史任务；若预设时长内，目标任务被解析的次数小于等于预设阈值，基于任务标识解析目标任务。
[0019]相应地，本公开实施例提供一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的数据仓库数据处理方法。
[0020]相应地，本公开实施例提供一种计算机可读存储介质，存储介质中存储有至少一
条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的数据仓库数据处理方法。
[0021]本申请实施例具有如下有益效果：（1）通过调用预处理得到的数据集，减少任务执行过程中需要调用数据源的数量，从而减少链路的占用；（2）通过执行简化的数据处理语句，提高数据仓库的处理效率；（3）根据目标任务被解析的次数确定解析目标任务或者历史任务，可以在数据仓库任务处理量较大的情况下最大程度地利用现有的数据，通过多个数据处理通路进行任务的处理，实现处理效率的最大化。
附图说明
[0022]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0023]图1是本申请实施例所提供的一种数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库数据处理方法，其特征在于，所述方法包括：接收任务请求；所述任务请求携带有任务标识；基于所述任务标识解析目标任务；所述目标任务包含当前执行文件；所述当前执行文件包括执行描述信息和数据处理语句；基于所述执行描述信息，从当前数据集中确定待处理数据；所述当前数据集基于多个历史数据集确定；根据所述数据处理语句对所述待处理数据进行处理，得到目标数据；发送所述目标数据。2.根据权利要求1所述的一种数据仓库数据处理方法，其特征在于，所述基于所述执行描述信息，从当前数据集中确定待处理数据包括:从所述执行描述信息中获取当前数据集标识和待处理数据标识；基于所述当前数据集标识从数据仓库中确定出所述当前数据集；基于所述待处理数据标识从所述当前数据集中确定所述待处理数据。3.根据权利要求1所述的一种数据仓库数据处理方法，其特征在于，在所述若检测到任务请求，基于所述任务请求中携带的任务标识，读取所述任务标识对应的任务之前，所述方法还包括：获取历史任务集；所述历史任务集中每个历史任务包括历史执行文件；所述历史执行文件包括历史描述信息和历史处理语句；若所述历史任务集中存在多个历史任务中的历史描述信息和历史处理语句满足预设条件，从所述多个历史任务中的历史描述信息中确定历史数据集标识；基于所述历史数据集标识确定出所述多个历史数据集；基于所述多个历史数据集和所述历史处理语句生成所述当前数据集。4.根据权利要求3所述的一种数据仓库数据处理方法，其特征在于，在所述基于所述多个历史数据集和所述历史处理语句生成所述当前数据集之后，所述方法还包括：基于所述历史处理语句生成所述当前数据集对应的所述数据处理语句；将所述历史描述信息当作所述执行描述信息；基于所述执行描述信息和所述数据处理语句生成所述当前执行文件；根据所述当前执行文件确定关联所述任务标识的所述目标任务。5.根据权利要求3所述的一种数据仓库数据处理方法，所述若所述历史任务集中存在多个历史任务中的历史描述信息和历史处理语句满足预设条件...

【专利技术属性】
技术研发人员：林晶晶，甘红伟，
申请(专利权)人：连连杭州信息技术有限公司，
类型：发明
国别省市：