一种基于电网大数据的数仓可视化建模系统及方法技术方案

本发明专利技术涉及大数据技术领域，特别涉及一种基于电网大数据的数仓可视化建模系统，包括数据源配置模块、层级/主题域管理模块、逻辑模型设计管理模块、物理模型管理模块、表管理模块，所述的数据源配置模块进行指定数据源的配置，所述的层级/主题域管理模块建立数据库的层级关系，所述逻辑模型设计管理模块形成逻辑模型，所述物理模型管理模块形成物理模型，所述表管理模块将所述物理模型形成实际表实现对数据库表的维护。本发明专利技术的基于电网大数据的数仓可视化建模系统及方法能快速高效的构建出满足要求数据库建模平台，提高电网大数据中心数据库建模效率及数据建模的规范性。

【技术实现步骤摘要】
一种基于电网大数据的数仓可视化建模系统及方法
本专利技术涉及大数据
，特别涉及一种基于电网大数据的数仓可视化建模系统及方法。
技术介绍
数据仓库是按照数据类型、结构等特性采用计算机存储设备来对数据进行组织、存储和管理的仓库，从本质上看可以将其视为数据的文件柜，可以根据用户的需求而对该仓库内的数据进行新增、截取、更新和删除等管理操作。随着社会经济的高速发展，大数据时代的到来，电力行业对于电力大数据的存储、管理和分析的要求越来越高，而根据不同类型的电力大数据需要建立不同的数据仓库，因此，电力大数据仓库的构建成为了电力企业不可避免的问题。当前电网的业务量非常复杂，数据量比较庞大，数据应用也逐渐成为电网的主要发展方向，所以多电网沉淀的海量数据依赖性越来越强烈，正确而连贯的数据流对电力行业决策部门做出快速、灵活的决策起到决定性的作用。建立正确的数据流和数据结构才能保证最好的结果，从而需要建立一套流畅、高效的电网大数据的数仓建模体系尤为重要。专利号为201811384906.2的专利说明书中公开了一种基于可视化的大数据仓库设计方法及系统，此系统包括可视化建库建表信息维护单元、JAVA服务单元和Hive数据仓库；此方法先采用可视化操作界面建库建表信息和采用JAVA服务单元进行具体操作类型的确定，再将建库建表信息封装为Hive数据仓库可执行明显和将JAVA服务单元连接到HiveServer2服务，最后再Hive数仓库中执行命令、创建数据库和数据表。此方法提供可视化的建库建表数据维护界面，简化大数据仓库新建、编辑、删除、修改的操作方式，降低技术难度和学习成本，实现数据仓库的监控管理。此方法主要是针对大数据仓库的管理，并没有涉及到数仓可视化建模效率的提高和数据建模的规范性。
技术实现思路
本专利技术提供一种基于电网大数据得数仓可视化建模系统，该系统可实现电网大数据中心数据库建模效率及数据建模的规范性的提高。本专利技术的又一目的在于提供一种基于电网大数据的数仓可视化建模方法。为实现以上专利技术目的，而采用的技术手段是：一种基于电网大数据的数仓可视化建模系统，包括数据源配置模块、层级/主题域管理模块、逻辑模型设计管理模块、物理模型管理模块、表管理模块；所述数据配置模块和所述层级/主题域管理模块均连接逻辑模型设计管理模块，所述逻辑模型设计管理模块连接物理模型管理模块，所述物理模型管理模块连接表管理模块；所述数据源配置模块进行指定数据源的配置；所述层级/主题域管理模块建立数据库的层级关系；所述指定的数据源和所述数据库的层级关系输入所述逻辑模型设计管理模块；所述逻辑模型设计管理模块利用所述指定的数据源和数据库的层级关系形成逻辑模型；所述逻辑模型作为所述物理模型管理模块的输入；所述物理模型管理模块利用所述逻辑模型形成物理模型；所述物理模型作为所述表管理模块的输入；所述表管理模块将所述物理模型形成实际表实现对数据库表的维护。通过所述的数据源配置模块可实现进行指定数据源的配置，通过所述的层级/主题域管理模块可实现数据库的层级关系的建立，通过所述逻辑模型设计管理模块可实现逻辑模型的形成，通过所述物理模型管理模块可实现物理模型的形成，通过所述表管理模块将可将所述物理模型形成实际表从而实现对数据库表的维护。进一步地，所述数据源配置模块实现指定数据源的配置；层级/主题与管理模块实现数据仓库层级关系的建立，其中，各个层级包括贴源层、整合层、主题层和专题层；所述逻辑模型设计管理模块利用所述指定数据源和所述仓库层级关系可实现自定义可视化模型设计和数据库模型的逆向构建逻辑模型；所述的自定义可视化模型设计支持在设计面板创建数据库逻辑模型试题及其字段属性和支持从逻辑模型设计界面导出模型提供给开发人员进行数据应用开发或导入通过其他工具创建的模型，其中，其他工具包括PowerDesigner企业建模工具等；所述数据库模型的逆向构建逻辑模型通过所述逻辑模型设计管理模块自动从源数据库提取数据库表元数据信息，自动生成数据库表的逻辑模型，同时支持手工调整，无需手动创建数据库模型，其中，元数据指的是数据库表的属性；所述物理模型管理模块实现物理模型的构建，通过利用所述逻辑模型设计管理模块生成的逻辑模型，作为所述物理模型管理模块的输入，生成数据库执行脚本DDL语句，其中，所述物理模型的元数据随所述逻辑模型的变更而变更，变更情况可根据版本号来跟踪，所述DDL指的是数据库表创建脚本；所述表管理模块通过所述物理模型管理模块生成的物理模型生成可执行数据库脚本，自动执行数据库脚本，创建实际表，实现对数据库表的维护。进一步地，所述逻辑模型设计管理模块还包括可视化数据建模工具模块，可视化数据库建模工具模块，逆向工程模块；可视化数据建模工具模块与可视化数据库建模工具模块连接，可视化数据库建模工具模块与逆向工程模块连接；所述可视化数据建模工具模块将变更元数据传输到可视化数据库建模模块，将能进行逆向生成逻辑模型的大平台数据传输到逆向工程模块。通过可视化数据建模工具模块、可视化数据库建模工具模块和逆向工程模块之间的相互组合，实现了逻辑模型设计管理模块的建立从而实现了逻辑模型功能。一种基于电网大数据的数仓可视化建模系统的建模方法，包括以下步骤：S1.由数仓工程师根据业务需求及元数据情况制定数据仓库分层规则，将制定好的数据仓库分层规则传输到逻辑模型设计管理模块；S2.将大数据平台数据接入数据源配置模块获取元数据，将元数据传输到逻辑模型设计管理模块；S3.逻辑模型设计管理模块利用步骤S1中的仓库设计和步骤S2中的元数据生成数据仓库分层规则和元数据生成逻辑模型，将逻辑模型传输到层次/主题域管理模块；S4.层次/主题域管理模块利用步骤S3中的逻辑模型生成各层完整的电力数据仓库逻辑模型，将各层完整的电力数据仓库逻辑模型传输到物理模型管理模块；S5.物理模型管理模块利用步骤S4中的各层完整的电力数据仓库逻辑模型生成物理模型，将物理模型传输到表管理模块；S6.表管理模块利用步骤S5中的物理模型实现数据表数据的自动同步恢复；S7.导出指定数据的数据模型，其中数据模型包括数据结构、数据操作、数据约束。通过可视化方式对数据库进行建模，为数仓工程师提供更高效的操作方式，降低数据建模设计的复杂度，便于对数据库进行处理等功能从而提高了数据仓库的设计效率。进一步地，步骤S1的具体过程是：结合电网源数据结构以及具体输出需求，规划整体数据仓库建设方案，由数仓工程师制定数据仓库设计规则。数据仓库设计规则由数仓工程师自行制定，可以对系统不同数据库制定不同的规则，从而实现了对不同数据库的规划。进一步地，步骤S2的具体过程是：大数据平台接入需求的数据库表，为创建数据逻辑模型提供元数据。通过大数据平台，可以获取大量的元数据，为数据逻辑模型提供元数据。进一步地，步骤S3的具体过程是：S3.1：打开可视化数据建模工具，通过无代码拖拽的模式实现数据模型的设计；通过元数据与源数据结构的映射关系，本文档来自技高网...

【技术保护点】
1.一种基于电网大数据的数仓可视化建模系统，其特征在于，包括数据源配置模块、层级/主题域管理模块、逻辑模型设计管理模块、物理模型管理模块、表管理模块；所述数据配置模块和所述层级/主题域管理模块均连接逻辑模型设计管理模块，所述逻辑模型设计管理模块连接物理模型管理模块，所述物理模型管理模块连接表管理模块；所述数据源配置模块进行指定数据源的配置；所述层级/主题域管理模块建立数据库的层级关系；所述指定的数据源和所述数据库的层级关系输入所述逻辑模型设计管理模块；所述逻辑模型设计管理模块利用所述指定的数据源和数据库的层级关系形成逻辑模型；所述逻辑模型作为所述物理模型管理模块的输入；所述物理模型管理模块利用所述逻辑模型形成物理模型；所述物理模型作为所述表管理模块的输入；所述表管理模块将所述物理模型形成实际表实现对数据库表的维护。/n

【技术特征摘要】
1.一种基于电网大数据的数仓可视化建模系统，其特征在于，包括数据源配置模块、层级/主题域管理模块、逻辑模型设计管理模块、物理模型管理模块、表管理模块；所述数据配置模块和所述层级/主题域管理模块均连接逻辑模型设计管理模块，所述逻辑模型设计管理模块连接物理模型管理模块，所述物理模型管理模块连接表管理模块；所述数据源配置模块进行指定数据源的配置；所述层级/主题域管理模块建立数据库的层级关系；所述指定的数据源和所述数据库的层级关系输入所述逻辑模型设计管理模块；所述逻辑模型设计管理模块利用所述指定的数据源和数据库的层级关系形成逻辑模型；所述逻辑模型作为所述物理模型管理模块的输入；所述物理模型管理模块利用所述逻辑模型形成物理模型；所述物理模型作为所述表管理模块的输入；所述表管理模块将所述物理模型形成实际表实现对数据库表的维护。


2.根据权利要求1所述的基于电网大数据的数仓可视化建模系统，其特征在于，所述数据源配置模块实现指定数据源的配置；层级/主题与管理模块实现数据仓库层级关系的建立，其中，各个层级包括贴源层、整合层、主题层和专题层；所述逻辑模型设计管理模块利用所述指定数据源和所述仓库层级关系可实现自定义可视化模型设计和数据库模型的逆向构建逻辑模型；所述的自定义可视化模型设计支持在设计面板创建数据库逻辑模型试题及其字段属性和支持从逻辑模型设计界面导出模型提供给开发人员进行数据应用开发或导入通过其他工具创建的模型，其中，其他工具包括PowerDesigner企业建模工具等；所述数据库模型的逆向构建逻辑模型通过所述逻辑模型设计管理模块自动从源数据库提取数据库表元数据信息，自动生成数据库表的逻辑模型，同时支持手工调整，无需手动创建数据库模型，其中，元数据指的是数据库表的属性；所述物理模型管理模块实现物理模型的构建，通过利用所述逻辑模型设计管理模块生成的逻辑模型，作为所述物理模型管理模块的输入，生成数据库执行脚本DDL语句，其中，所述物理模型的元数据随所述逻辑模型的变更而变更，变更情况可根据版本号来跟踪，所述DDL指的是数据库表创建脚本；所述表管理模块通过所述物理模型管理模块生成的物理模型生成可执行数据库脚本，自动执行数据库脚本，创建实际表，实现对数据库表的维护。


3.根据权利要求1和权利要求2所述的基于电网大数据的数仓可视化建模系统，其特征在于，所述逻辑模型设计管理模块还包括可视化数据建模工具模块，可视化数据库建模工具模块，逆向工程模块；可视化数据建模工具模块与可视化数据库建模工具模块连接，可视化数据库建模工具模块与逆向工程模块连接；所述可视化数据建模工具模块将变更元数据传输到可视化数据库建模模块，将能进行逆向生成逻辑模型的大平台数据传输到逆向工程模块。


4.一种利用如权利要求3所述的基于电网大数据的数仓可视化建模系统的建模方法，其特征在于，包括以下步骤：
S1.由数仓工程师根据业务需求及元数据情况制定数据仓库分层规则，将制定好的数据仓库分层规则传输到逻辑模型设计管理模块；
S2.将大数据平台数据接入数据源配置模块获取元数据，将元数据传输到逻辑模型设计管理模块；
S3.逻辑模型设计管理模块利用步骤S1中的仓库设计和步骤S2中的元数据生成数据仓库分层规则和元数据生成逻辑模型，将逻辑模型传输到层次/主题域管理模块；
S4.层次/主题域管理模块利用步骤S3中的逻辑模型生成各层完整的电力...

【专利技术属性】
技术研发人员：宋才华，关兆雄，布力，吴丽贤，王永才，杜家兵，
申请(专利权)人：广东电网有限责任公司佛山供电局，
类型：发明
国别省市：广东;44