一种兼容数据仓库和数据湖的数据存储平台构建方法技术

本发明专利技术公开的属于数据处理技术领域，具体为一种兼容数据仓库和数据湖的数据存储平台构建方法，包括以下步骤：步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和数据仓储的存储区域；步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细节，提供对上层应用负载的统一数据服务，本发明专利技术不仅可以保证数据湖和数据仓库的正常使用，还可以解决在两个产品之间存在的数据冗余问题并向用户提供全局统一的数据管理视图，进一步的还能够减少并简化了技术栈，减少整体的管理和运维成本减少数据冗余和存储成本。本。本。

【技术实现步骤摘要】
一种兼容数据仓库和数据湖的数据存储平台构建方法


[0001]本专利技术涉及数据处理
，具体为一种兼容数据仓库和数据湖的数据存储平台构建方法。

技术介绍

[0002]现状：随着大数据时代的到来，越多越多的大数据产品出现，其中数据仓库和数据湖是两种比较有代表性的大数据产品为用户提供服务。
[0003]1.数据湖：数据湖是对各类未经处理的原始数据的存储，包括任意规模的结构化、半结构化和非结构化数据，需要支持对所有用户的便利访问。数据湖可以被用来当作数仓或其他大数据应用的数据来源。
[0004]2.数据仓库：数据仓库适用于作为一般分析的数据库选择，包括报表、数据大盘、交互式分析和其他高性能分析。数仓一般仅包含经过处理和精炼的数据。
[0005]问题：
[0006]因为两种产品的使用场景不同，数据湖存储未经加工的原始数据数据，包括结构化、半结构化和非结构化，数据仓库存储经过处理和精炼的数据。所以一般情况下会被当做两个彼此独立的产品为用户提供服务，数据湖和数据仓库分别管理各自内部的数据，这种现状所带来的问题主要包括两方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：包括以下步骤：步骤1：采用列式存储以及行列混存对数据湖和数据仓库的数据进行存储；步骤2：对数据仓库和数据湖的存储层进行整合，并采用分区的方式独立区隔数据湖和数据仓储的存储区域；步骤3：构建统一的元数据管理层，通过本层实现对上层应用负载屏蔽底层存储实现细节，提供对上层应用负载的统一数据服务，进一步的可以面向用户提供全局统一的数据管理视图；其中所述元数据管理层包括数据仓库、数据湖的应用负载层与数据平台层，且数据平台层包括数据层和元数据管理及数据管控层。2.根据权利要求1所述的一种兼容数据仓库和数据湖的数据存储平台构建方法，其特征在于：所述数据层用于存储数仓和数据湖中真实的物理数据，且数据层包括：Raw，数据湖内的原始数据；Modeled，数...

【专利技术属性】
技术研发人员：徐辛，
申请(专利权)人：杭州石原子科技有限公司，
类型：发明
国别省市：