一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例涉及一种数据处理方法、装置、电子设备及存储介质，应用于数据仓库，所述方法包括：获取数据源的数据；对所述数据源的数据进行流式处理，得到第一数据；将所述第一数据关联对应的维度表，得到第二数据；将所述第二数据中不可复用数据写入消息队列；将所述第二数据中的可复用数据写入数据湖表。本公开实施例中，通过将数据仓库层的数据区分为可复用数据和不可复用数据，进而不可复用数据写入数据湖表，进而使得数据湖表中的数据可以被分区，解决数据恢复和实时数据分区的问题。

A data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质
本公开实施例涉及计算机
，具体涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
数据仓库是一种结构化的数据环境，是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。图1示出了一种数据仓库的架构，包括三个层：数据运营层（ODS）、数据仓库层（DW）和数据产品层（APP）。ODS层用于操作数据存储。数据来源层的数据经过ETL（Extract-Transform-Load，抽取-转换-加载）后装入ODS层，ODS层的数据通常基于数据源的业务分类进行分类。DW层获取ODS层的数据，并基于主题建立各种数据模型。APP层提供给数据产品、数据分析和数据挖掘使用的数据。目前，数据仓库主要以kafka或者其他消息队列为主要组件，消息队列的性质决定了数据只能增加不能修改，数据恢复困难。另外，数据仓库的表单结构不能分区分桶，无法针对性地使用一部分数据。上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。专本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据仓库，所述数据处理方法包括：/n获取数据源的数据；/n对所述数据源的数据进行流式处理，得到第一数据；/n将所述第一数据关联对应的维度表，得到第二数据；/n将所述第二数据中不可复用数据写入消息队列；/n将所述第二数据中的可复用数据写入数据湖表。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据仓库，所述数据处理方法包括：
获取数据源的数据；
对所述数据源的数据进行流式处理，得到第一数据；
将所述第一数据关联对应的维度表，得到第二数据；
将所述第二数据中不可复用数据写入消息队列；
将所述第二数据中的可复用数据写入数据湖表。


2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
基于所述可复用数据写入数据湖表的时间，将所述可复用数据分区并写入分区表。


3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
将所述可复用数据写入所述消息队列或关系型数据库。


4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
将所述数据湖表的数据写入离线数据库。


5.根据权利要求4所述的数据处理方法，其特征在于，所述数据处理方法还包括：
基于全量数据运算时，从所述离线数据库读取历史数据；
合并所述历史数据和实时数据，并进行全量数据运算。


6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
将所述消息队列的数据写入线上数据库。


7.根据权利要求6所述的数据处理方法，其特征在于，所述数据处理方法还包括：
对所述数据湖表的数据进行流式处理，得到第三数据；
将所述第三数据写入线上数据库。


8.根据权利要求7所述的数据处理方法，其特征在于，所述数据处理方法还包括：
将所述线上数据库的数据进行前端展示。


9.一种数据处理装置，其特征在于，应用于数据仓库，所述数据处理装置包括：
获取单元，用于获取数据源的数据；
第一处理单元，用于对所述数据源的数据进行流式处理，得到第一数据；
第二处理单元，用于将所述第一数据关联对...

【专利技术属性】
技术研发人员：卢圣刚，柏慕海，
申请(专利权)人：北京聪明核桃教育科技有限公司，
类型：发明
国别省市：北京;11