【技术实现步骤摘要】
本专利技术实施例涉及大数据，尤其涉及一种数据存储方法、装置、设备和存储介质。
技术介绍
1、为了应对企业发展所带来的实时性要求，数据仓库必须能够实现持续的数据集成，以便处理最新的业务数据。对于在交易发生时需要决策支持的企业来说，实时数据仓库的潜力巨大。
2、现有技术中，通常基于lambda架构构建实时数据仓库，所构建的实时数据仓库存在离线和实时两条链路。实时部分通常由flink+kafka实现，以消息队列的方式实时增量消费。离线部分的计算引擎通常由hive或者spark实现，采用t+1周期调度分析历史存量数据，每天凌晨产出，更新覆盖前一天的结果数据。
3、lambda架构缺点是同样的需求需要开发两套一样的代码，资源占用增多，运维成本高。
技术实现思路
1、本专利技术提供一种数据存储方法、装置、设备和存储介质，以降低实时数据仓库的维护成本，并且，提升灵活性和实时性。
2、第一方面，本专利技术实施例提供了一种数据存储方法，应用于包括贴源层、明细层和服务层的实...
【技术保护点】
1.一种数据存储方法，其特征在于，应用于包括贴源层、明细层和服务层的实时数据仓库，所述方法包括：
2.根据权利要求1所述的数据存储方法，其特征在于，所述贴源层包括流式处理模块，相应的，在基于所述明细层从所述贴源层获取原始数据之前，还包括：
3.根据权利要求2所述的数据存储方法，其特征在于，基于所述明细层从所述贴源层获取原始数据，包括：
4.根据权利要求1所述的数据存储方法，其特征在于，基于所述明细层对所述原始数据进行规范化处理，得到所述原始数据对应的明细数据，包括：
5.根据权利要求1所述的数据存储方法，其特征在于，基于...
【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于包括贴源层、明细层和服务层的实时数据仓库，所述方法包括：
2.根据权利要求1所述的数据存储方法，其特征在于，所述贴源层包括流式处理模块，相应的，在基于所述明细层从所述贴源层获取原始数据之前，还包括：
3.根据权利要求2所述的数据存储方法，其特征在于，基于所述明细层从所述贴源层获取原始数据，包括：
4.根据权利要求1所述的数据存储方法，其特征在于，基于所述明细层对所述原始数据进行规范化处理，得到所述原始数据对应的明细数据，包括：
5.根据权利要求1所述的数据存储方法，其特征在于，基于所述明细层将所述明细数据写入所述服务层的列式数据管理模块，包括...
【专利技术属性】
技术研发人员：韦苏阳，李东丽，万旭，罗宗凯，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。