数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术属于计算机领域，公开了一种数据处理方法、装置、设备及存储介质。该方法包括：获取采集的增量数据；将所述增量数据存储至ODS‑UPD层，与原ODS层数据进行分区存储；对所述ODS‑UPD层中的增量数据进行数据预处理，得到目标增量数据；根据所述目标增量数据和所述原ODS层数据对应的历史数据生成数据处理结果。由于本发明专利技术是将增量数据存储至ODS‑UPD层，与原ODS层数据进行分区存储；然后基于增量数据和原ODS层数据对应的历史数据生成数据处理结果。相对于现有的每次出现增量数据，都先入仓再全量数据ETL的方式，本发明专利技术上述方式能够减少数仓计算压力，节约服务器资源，提高上层应用的响应速度。

【技术实现步骤摘要】

本专利技术涉及计算机，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

1、在财务实操环境中，短时间数据同步量激增的情况，时常发生在公司年度结账、季月度账务处理等周期性场景中。这期间数据同步量特点是1)数据实效性要求高，数据更新频次高；2)数据同步量大；3)相比整体同步量真正发生实质更新的有效数据占比较小。短时间内多频次的数据同步中大部分数据并未发生改变，导致重复同步许多冗余信息。同质化数据参与全链条计算从而导致过多无用表关联与查询，极大制约了数据传输效率。

2、如果针对每次出现增量数据，都先入仓再全量数据etl(业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程)，对数仓服务器的计算资源占用会非常高，继而引发计算缓慢甚至宕机的情况。因此，如何提高数据更新效率成为了亟待解决的技术问题。

技术实现思路

1、本专利技术的主要目的在于提供了一种数据处理方法、装置、设备及存储介质，旨在解决现有技术在出现增量数据时，先入仓再全量数据etl导致数据更新效率低的技术问题。p>

2、为实现本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：

2.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ODS-UPD层，与原ODS层数据进行分区存储的步骤之前，还包括：

3.如权利要求1所述的数据处理方法，其特征在于，所述对所述ODS-UPD层中的增量数据进行数据预处理，得到目标增量数据的步骤，包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ODS-UPD层，与原ODS层数据进行分区存储的步骤之后，还包括：

5.如权利要求4所述的数据处理方法，其特征在于，所述根据所述增量数...

【技术特征摘要】

1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：

2.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储的步骤之前，还包括：

3.如权利要求1所述的数据处理方法，其特征在于，所述对所述ods-upd层中的增量数据进行数据预处理，得到目标增量数据的步骤，包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储的步骤之后，还包括：

5.如权利要求4所述的数据处理方法，其特征在于，所述根据所述增量数据对所述目标调用数据进行更新，得到更新后的目标调用数据的步骤，包括...

【专利技术属性】
技术研发人员：雷绮岩，滕滨，邱航明，马陆丰，
申请(专利权)人：中移动信息技术有限公司，
类型：发明
国别省市：