数据处理方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请涉及一种数据处理方法、装置、设备、存储介质及程序产品，应用于大数据技术领域。方法包括：获取目标应用系统在当前计算周期对应的待处理数据；根据待处理数据对应的处理逻辑信息，调整待处理数据中的数据字段和数据指标，生成目标应用系统在当前计算周期对应的候选加载数据；根据目标应用系统在前一计算周期的历史加载数据，对候选加载数据进行数据校验，确定出目标应用系统在当前计算周期的目标加载数据；根据目标加载数据的主键信息，将目标加载数据全量插入到目标应用的业务数据表中，以更新业务数据表；将更新后的业务目标表中的数据加载到目标应用系统中。采用本方法能够减少数据处理过程中的数据冗余。

【技术实现步骤摘要】

本申请涉及大数据，特别是涉及一种数据处理方法、装置、设备、存储介质及程序产品。

技术介绍

1、随着信息技术的不断发展，越来越多的场景应用到大数据处理技术，通过大数据处理技术可以实现数据的实时分析和决策，从而可以支持各种商业和科学应用。

2、相关技术中，大规模并行处理（massively parallel processing，mpp）是大数据处理中的一种常见场景。针对mpp所涉及的数据分层和处理，通常采用离线蜂巢数据仓库（hive data warehouse，hive）的分层方案实现，通过数据仓库中的不同数据存储和处理的层级，分别支持不同类型的数据处理和分析需求。

3、然而，当前的hive的分层方案，数据都以全量或增量的进行加载，会造成数据处理过程中的数据冗余。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够减少数据处理过程中的数据冗余的数据处理方法、装置、设备、存储介质及程序产品。

2、第一方面，本申请提供了一种数据处理方法。所述方法包括：

本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求 1所述的方法，其特征在于，所述根据所述目标应用系统在前一计算周期的历史加载数据，对所述候选加载数据进行数据校验，确定出目标应用系统在当前计算周期的目标加载数据，包括：

3.根据权利要求 1所述的方法，其特征在于，所述根据所述目标加载数据的主键信息，将所述目标加载数据全量插入到目标应用的业务数据表中，以更新所述业务数据表，包括：

4.根据权利要求1所述的方法，其特征在于，在所述根据所述目标加载数据的主键信息，将所述目标加载数据全量插入到目标应用的业务数据表中，以更新所述业务数据表之后，所...

【技术特征摘要】

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求 1所述的方法，其特征在于，所述根据所述目标应用系统在前一计算周期的历史加载数据，对所述候选加载数据进行数据校验，确定出目标应用系统在当前计算周期的目标加载数据，包括：

3.根据权利要求 1所述的方法，其特征在于，所述根据所述目标加载数据的主键信息，将所述目标加载数据全量插入到目标应用的业务数据表中，以更新所述业务数据表，包括：

4.根据权利要求1所述的方法，其特征在于，在所述根据所述目标加载数据的主键信息，将所述目标加载数据全量插入到目标应用的业务数据表中，以更新所述业务数据表之后，所述方法还包括：

5.根据权利要求 1所述的方法，其特征在于，在所述获取目标应用系统在当前计算周期...

【专利技术属性】
技术研发人员：郭富士，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：