【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
1、在财务实操环境中，短时间数据同步量激增的情况，时常发生在公司年度结账、季月度账务处理等周期性场景中。这期间数据同步量特点是1)数据实效性要求高，数据更新频次高；2)数据同步量大；3)相比整体同步量真正发生实质更新的有效数据占比较小。短时间内多频次的数据同步中大部分数据并未发生改变，导致重复同步许多冗余信息。同质化数据参与全链条计算从而导致过多无用表关联与查询，极大制约了数据传输效率。
2、如果针对每次出现增量数据，都先入仓再全量数据etl(业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程)，对数仓服务器的计算资源占用会非常高，继而引发计算缓慢甚至宕机的情况。因此，如何提高数据更新效率成为了亟待解决的技术问题。
技术实现思路
1、本专利技术的主要目的在于提供了一种数据处理方法、装置、设备及存储介质，旨在解决现有技术在出现增量数据时，先入仓再全量数据etl导致数据更新效率低的技术问题。
2、为实现上述目的，本专利技术提供了一种数据处理方法，所述方法包括以下步骤：
3、获取采集的增量数据；
4、将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储；
5、对所述ods-upd层中的增量数据进行数据预处理，得到目标增量数据；
6、根据所述目标增量数据和所述原ods层数据对应的历史数据生成数据处理结果。
8、确定所述增量数据对应的数据分区信息，并将所述数据分区信息存储至预设upd层；
9、根据所述数据分区信息和所述增量数据对原ods层数据进行数据增补全，得到补全后的原ods层数据。
10、可选地，所述对所述ods-upd层中的增量数据进行数据预处理，得到目标增量数据的步骤，包括：
11、对所述ods-upd层中的增量数据进行数据清洗，得到dwd-upd层数据；
12、对所述dwd-upd层数据进行数据聚合，得到dwm-upd层数据；
13、对所述dwm-upd层数据进行数据汇总，得到目标增量数据。
14、可选地，所述将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储的步骤之后，还包括：
15、获取数据调用信息；
16、根据所述数据调用信息确定目标调用数据；
17、根据所述增量数据对所述目标调用数据进行更新，得到更新后的目标调用数据。
18、可选地，所述根据所述增量数据对所述目标调用数据进行更新，得到更新后的目标调用数据的步骤，包括：
19、在所述目标调用数据为dwd层数据时，将所述ods-upd层中的增量数据与其他数据表进行关联，形成dwd_upd表；
20、将所述dwd_upd表与所述原ods层数据对应的dwd表进行增补全，得到更新后的目标调用数据。
21、可选地，所述获取采集的增量数据的步骤之前，还包括：
22、通过预设数据采集工具抽取数据源中的待处理数据；
23、确定所述待处理数据的数据类型；
24、在所述数据类型为增量数据时，将所述增量数据划分至stg层。
25、可选地，所述数据处理方法，还包括：
26、获取所述增量数据对应的全量数据的数据特性，所述数据特性包括数据更新频率以及业务关键性；
27、根据所述数据特性确定数据处理技术栈；
28、根据所述数据处理技术栈处理所述增量数据。
29、此外，为实现上述目的，本专利技术还提供一种数据处理装置，所述装置包括：
30、获取模块，用于获取采集的增量数据；
31、数据分区存储模块，用于将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储；
32、数据预处理模块，用于对所述ods-upd层中的增量数据进行数据预处理，得到目标增量数据；
33、数据处理结果生成模块，用于根据所述目标增量数据和所述原ods层数据对应的历史数据生成数据处理结果。
34、此外，为实现上述目的，本专利技术还提出一种数据处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序配置为实现如上文所述的数据处理方法的步骤。
35、此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上文所述的数据处理方法的步骤。
36、本专利技术获取采集的增量数据；将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储；对所述ods-upd层中的增量数据进行数据预处理，得到目标增量数据；根据所述目标增量数据和所述原ods层数据对应的历史数据生成数据处理结果。由于本专利技术是将增量数据存储至ods-upd层，与原ods层数据进行分区存储；然后基于增量数据和原ods层数据对应的历史数据生成数据处理结果。相对于现有的每次出现增量数据，都先入仓再全量数据etl的方式，本专利技术上述方式能够减少数仓计算压力，节约服务器资源，提高上层应用的响应速度。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：
2.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ODS-UPD层，与原ODS层数据进行分区存储的步骤之前，还包括：
3.如权利要求1所述的数据处理方法，其特征在于，所述对所述ODS-UPD层中的增量数据进行数据预处理，得到目标增量数据的步骤，包括：
4.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ODS-UPD层，与原ODS层数据进行分区存储的步骤之后，还包括：
5.如权利要求4所述的数据处理方法，其特征在于，所述根据所述增量数据对所述目标调用数据进行更新，得到更新后的目标调用数据的步骤，包括：
6.如权利要求1-5任一项所述的数据处理方法，其特征在于，所述获取采集的增量数据的步骤之前，还包括：
7.如权利要求1-5任一项所述的数据处理方法，其特征在于，所述数据处理方法，还包括：
8.一种数据处理方法装置，其特征在于，所述数据处理装置包括：
9.一种数据处理设备，其特征在于
10.一种存储介质，其特征在于，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至7任一项所述的数据处理方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：
2.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储的步骤之前，还包括：
3.如权利要求1所述的数据处理方法，其特征在于，所述对所述ods-upd层中的增量数据进行数据预处理，得到目标增量数据的步骤，包括：
4.如权利要求1所述的数据处理方法，其特征在于，所述将所述增量数据存储至ods-upd层，与原ods层数据进行分区存储的步骤之后，还包括：
5.如权利要求4所述的数据处理方法，其特征在于，所述根据所述增量数据对所述目标调用数据进行更新，得到更新后的目标调用数据的步骤，包括...
【专利技术属性】
技术研发人员：雷绮岩，滕滨，邱航明，马陆丰，
申请(专利权)人：中移动信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。