一种基于数据仓库的数据开发方法及系统技术方案

本发明专利技术公开了一种基于数据仓库的数据开发方法及系统，包括以下步骤：S1、将元数据加载到hive中；S2、在hive上进行数据开发；S3、将步骤S2中数据开发的结果表同步到目标数据库中。本方案通过将元数据加载到hive中，在通过现有的python、SQL等技术在hive上进行数据开发，由于python、SQL等技术是较为现有的技术，因此，技术人员可以根据项目的实际情况对数据开发的流程进行配置调整，同时所需要使用的组件大部分是开源社区免费支持的，各组件可以较为便捷升级版本，达到更好的性能和功能的提升。解决了现有的数据库开发平台扩展性、适应性较差的问题。

A data development method and system based on data warehouse

【技术实现步骤摘要】
一种基于数据仓库的数据开发方法及系统
本专利技术涉及数据仓库领域，特别涉及一种基于数据仓库的数据开发方法及系统。
技术介绍
数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。现有技术中实现数据仓库上的数据开发，需要实现的步骤有如下步骤：第一步，购买、部署商业版ETL开发平台。第二步，在商业平台上配置数据入库抽取信息。第三步，写数据开发脚本，用商业平台定时调度。第四步，在商业平台上把开发后的数据抽取到常用数据库中。第五步，第三方应用读取常用数据库。现有的数据库开发平台有以下缺陷：平台功能不一定适合本项目的实际情况，每个项目的数据开发粒度不一样，采用商业版平台只能采用的是满足开发粒度很细的开发流程，才能覆盖面广，这样导致开发粒度没有那么细的项目必须适应平台的复杂流程，用户体验差。产品质量缺陷无法及时解决，产品本身是闭源的，质量缺陷只能靠产品公司进行bug修改，版本升级来解决，无法本文档来自技高网...

【技术保护点】
1.一种基于数据仓库的数据开发方法，其特征在于：包括以下步骤：/nS1、将元数据加载到hive中；/nS2、在hive上进行数据开发；/nS3、将步骤S2中数据开发的结果表同步到目标数据库中。/n

【技术特征摘要】
1.一种基于数据仓库的数据开发方法，其特征在于：包括以下步骤：
S1、将元数据加载到hive中；
S2、在hive上进行数据开发；
S3、将步骤S2中数据开发的结果表同步到目标数据库中。


2.根据权利要求1所述的一种基于数据仓库的数据开发方法，其特征在于：所述储存元数据的数据库包括关系型数据库和ES数据库中的至少一种。


3.根据权利要求2所述的一种基于数据仓库的数据开发方法，其特征在于：所述储存元数据的数据库为关系型数据库时，通过Sqoop组件将元数据从关系型数据库加载到hive中。


4.根据权利要求2所述的一种基于数据仓库的数据开发方法，其特征在于：所述储存元数据的数据库为ES数据库时，通过在hive中创建ES映射表将元数据从ES数据库加载到...

【专利技术属性】
技术研发人员：查文宇，张艳清，廖伟，杨尧，张永飞，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川;51