一种基于可视化建模的数据仓库自动化管理方法技术

本发明专利技术公开了一种基于可视化建模的数据仓库模型自动化管理方法，包括如下步骤：S1、将业务系统中的业务数据同步到原始数据库；S2、逆向读取业务数据内的元数据信息并存储到元数据库中；S3、通过可视化编辑器进行数据建模以搭建出数据仓库模型；S4、从业务数据和元数据信息中选择需要统计的数据字段，设定派生指标、确定统计粒度并归属到数据仓库模型中；S5、通过SQL构建引擎自动生成用于数据加工的SQL脚本；S6、执行SQL脚本进行聚合计算以更新生成汇总表。本发明专利技术方法能帮助用户快速建立数据仓库模型，并实现数据仓库的自动化管理。并实现数据仓库的自动化管理。并实现数据仓库的自动化管理。

【技术实现步骤摘要】
一种基于可视化建模的数据仓库自动化管理方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于可视化建模的数据仓库自动化管理方法。

技术介绍

[0002]在大数据时代，面对爆发式增长的数据，通常使用数据仓库来帮助企业管理海量的数据。但由于目前的数据仓库缺乏统一规范的建模体系，随着业务的发展，在数据仓库的构建和维护方面也出现了许多问题：其一，开发成本高，由于数据仓库需要不断的更新和扩展，开发人员需要手动对每一张数据表进行维护和管理，涉及的数据表和字段很多，手写SQL(Structured Query Language，结构化查询语言)错误性高；其二，沟通成本高，在进行数据建模的时候，业务人员和技术人员对于业务理解容易存在歧义，需要进行反复沟通；其三，维护成本高和复用性差，由于缺乏统一的标准定义，造成了数据的冗余和重复建设，且上下游的依赖不清晰，无法保证数据的规范性，以上问题都导致现有的数据仓库难以管理。

技术实现思路

[0003]为解决上述问题，本专利技术提供了一种基于可视化建模的数据仓库自动化管理方法。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可视化建模的数据仓库模型自动化管理方法，其特征在于：包括如下步骤：S1、将业务系统中的业务数据同步到原始数据库；S2、通过元数据管理器逆向读取所述业务数据内的元数据信息并存储到元数据库中；S3、通过可视化编辑器进行数据建模以搭建出数据仓库模型，所述数据仓库模型包括主题数据域和业务过程，所述业务过程下设置维度表和事实表；S4、根据业务性质从所述业务数据和元数据信息中选择需要统计的数据字段，设定派生指标、确定统计粒度，并将所述派生指标和统计粒度分别归属到对应的主题数据域和业务过程中；S5、通过SQL构建引擎自动生成用于数据加工的SQL脚本；S6、通过任务执行调度器执行所述SQL脚本对所述维度表和事实表进行聚合计算以更新生成汇总表。2.如权利要求1所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：还包括S7、利用更新后的汇总表生成图表或报告。3.如权利要求2所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述步骤S1具体为：S11、根据业务需要，使用数据采集工具将业务数据从业务系统中提取出来；S12、将提取的业务数据转换成符合原始数据库的数据格式；S13、对所述业务数据进行清洗和合并，然后同步到原始数据库进行存储。4.如权利要求3所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述元数据信息包括数据的来源、格式、类型、范围以及数据之间的依赖关系。5.如权利要求4所述的一种...

【专利技术属性】
技术研发人员：陈碧勇，方敏，胡金波，
申请(专利权)人：厦门南讯股份有限公司，
类型：发明
国别省市：