一种可视化的数仓建模方法及系统技术方案

本发明专利技术公开了一种可视化的数仓建模方法及系统，属于数据建模技术领域。本发明专利技术的方法为：先构建web端，将web端与hive数据仓库连接；然后在web端构建模型目录，具体地，在web端构建一级目录和二级目录，一级目录对应展示hive数据仓库，二级目录对应展示hive数据仓库中不同的业务领域或者应用领域。再根据模型目录构建表，并对构建的表配置数据质量预警规则；之后根据模型目录和表构建表清单。本发明专利技术的系统包括hive数据仓库和web端，hive数据仓库通过连接池与web端连接。本发明专利技术克服了现有技术中，数仓建模过程复杂且管理不便的不足，本发明专利技术可以实现数仓建模的可视化，并且可以简化数仓建模过程，大大降低了数仓的管理难度，进而可以对数据进行快速管理。对数据进行快速管理。对数据进行快速管理。

【技术实现步骤摘要】
一种可视化的数仓建模方法及系统


[0001]本专利技术属于数据建模
，更具体地说，涉及一种可视化的数仓建模方法及系统。

技术介绍

[0002]大数据时代，海量的数据处理中数据治理是非常重要的一个环节。对数据集市的管理维护和数据质量监控是数据治理的重中之重。hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
[0003]现有技术中，一般都是通过hive管理数据，例如专利技术创造名称为：一种基于HIVE的数据处理的方法、系统及终端设备(申请日：2017年6月9日；申请号：201710437410.6)，该方案公开了一种基于Hive的数据处理的方法，包括：将Hadoop集群数据中的源头数据通过Hive映射为源表，源表包括源头数据中用于描述行数据标记的第一主键字段；将Hadoop集群数据中的由源头数据产生的中间数据通过Hive映射为中间表，中间表包括中间数据从源头数据继承的第一主键字段；将欲清理的中间数据所对应的中间表中的第一主键字段备份到备份表；清理欲清理的中间数据及其所对应的中间表。本专利技术在不删除源头数据的情形下，对中间数据进行有效的备份，既能存储更长时间的源头数据，又能从备份表快速恢复已清理的中间数据，保证中间数据的有效利用。
[0004]但是，现有技术中一般直接在hive数据仓库中管理数据，并在hive数据仓库中进行数仓建模，在hive数据仓库中操作流程复杂，执行起来比较繁琐。而且hive中的数据集市浏览数据资产时不够直观，需要配合详细的模型文档罗列出所有的数据资产和详情，导致数仓管理不便。
[0005]综上所述，如何简化数仓建模过程以及提高数仓数据的管理效率，是现有技术亟需解决的问题。

技术实现思路

[0006]1.要解决的问题
[0007]本专利技术克服了现有技术中，数仓建模过程复杂且管理不便的不足，提供了一种可视化的数仓建模方法及系统，可以实现数仓建模的可视化，并且可以简化数仓建模过程，进一步降低了数仓的管理难度，大大提高了数据的管理效率。
[0008]2.技术方案
[0009]为了解决上述问题，本专利技术所采用的技术方案如下：
[0010]本专利技术的一种可视化的数仓建模方法，先构建web端，将web端与hive数据仓库连
接；然后在web端构建模型目录，再根据模型目录构建表，并对构建的表配置数据质量预警规则；之后根据模型目录和表构建表清单。
[0011]更进一步地，构建模型目录的具体过程为：在web端构建一级目录和二级目录，一级目录对应展示hive数据仓库，二级目录对应展示hive数据仓库中不同的业务领域或者应用领域。
[0012]更进一步地，构建表的具体过程为：利用字段信息或者建表语句在模型目录的二级目录下构建表。
[0013]更进一步地，对构建的表配置数据质量预警规则的具体过程为：对表的字段数据配置字段规则，并对表的数据量配置表级规则。
[0014]更进一步地，web端通过建立连接池与hive数据仓库连接。
[0015]更进一步地，构建表清单的具体过程为：对二级目录下的所有的表的信息进行统计生成表清单；其中，表的信息包括表的基本信息、表的字段数据、字段规则信息以及表级规则信息。
[0016]本专利技术的一种可视化的数仓建模系统，采用上述的一种可视化的数仓建模方法，包括hive数据仓库和web端，hive数据仓库通过连接池与web端连接。
[0017]更进一步地，web端包括目录模块，该目录模块用于构建模型目录；新建表模块，该新建表模块与目录模块连接，且新建表模块用于根据模型目录构建表；规则模块，该规则模块与新建表模块连接，且该规则模块用于对表配置数据质量预警规则；表清单模块，目录模块、新建表模块和规则模块分别与表清单模块连接，该表清单模块用于根据模型目录和表构建表清单。
[0018]更进一步地，目录模块包括一级目录模块和二级目录模块，一级目录模块和二级目录模块分别与hive数据仓库连接。
[0019]更进一步地，规则模块包括字段规则模块和表级规则模块，字段规则模块和表规则模块分别与新建表模块连接；其中，字段规则模块用于对表的字段数据配置字段规则，表规则模块用于对表的数据量配置表级规则。
[0020]3.有益效果
[0021]相比于现有技术，本专利技术的有益效果为：
[0022](1)本专利技术的一种可视化的数仓建模方法，通过将web端与hive数据仓库连接，从而可以实现可视化数仓建模，进一步通过在web端进行数仓建模，不仅提高了数仓建模的效率，并且提高了对数仓管理的简便性，并且提高了对数仓管理的简便性，进一步实现了对数据的快速管理，大大提升了数仓管理效率。
[0023](2)本专利技术的一种可视化的数仓建模系统，通过设置web端实现了数仓建模的可视化，进一步通过设置目录模块、新建表模块、规则模块和表清单模块可以简化数仓建模过程，并且大大降低了数仓的管理难度，进而可以提高数仓数据的管理效率。
附图说明
[0024]图1为本专利技术一种可视化的数仓建模方法的流程示意图。
具体实施方式
[0025]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例；而且，各个实施例之间不是相对独立的，根据需要可以相互组合，从而达到更优的效果。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]为进一步了解本专利技术的内容，结合附图和实施例对本专利技术作详细描述。
[0027]实施例1
[0028]结合图1所示，本专利技术的一种可视化的数仓建模方法，通过将web端与hive数据仓库连接，从而可以实现可视化数仓建模，进一步通过在web端进行数仓建模，大大简化了数仓建模流程，并且提高了对数仓管理的简便性，进而实现了对数仓数据的快速管理，进一步提高了数据的管理效率。本专利技术方法的具体步骤如下：
[0029]1)构建web端
[0030]构建web端，将web端与hive数据仓库连接；具体地，web端通过建立连接池与hive数据仓库连接，从而可以快速获取和操作hive数据仓库，本实施例中web端通过API接口调用的方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可视化的数仓建模方法，其特征在于，先构建web端，将web端与hive数据仓库连接；然后在web端构建模型目录，再根据模型目录构建表，并对构建的表配置数据质量预警规则；之后根据模型目录和表构建表清单。2.根据权利要求1所述的一种可视化的数仓建模方法，其特征在于，构建模型目录的具体过程为：在web端构建一级目录和二级目录，一级目录对应展示hive数据仓库，二级目录对应展示hive数据仓库中不同的业务领域或者应用领域。3.根据权利要求2所述的一种可视化的数仓建模方法，其特征在于，构建表的具体过程为：利用字段信息或者建表语句在模型目录的二级目录下构建表。4.根据权利要求2所述的一种可视化的数仓建模方法，其特征在于，对构建的表配置数据质量预警规则的具体过程为：对表的字段数据配置字段规则，并对表的数据量配置表级规则。5.根据权利要求2所述的一种可视化的数仓建模方法，其特征在于，web端通过建立连接池与hive数据仓库连接。6.根据权利要求4所述的一种可视化的数仓建模方法，其特征在于，构建表清单的具体过程为：对二级目录下的所有的表的信息进行统计生成表清单；其中，表的信息包括表的基本信息、表的字段数据...

【专利技术属性】
技术研发人员：杨强强，骆乐乐，朱文佳，罗达志，
申请(专利权)人：安徽百诚慧通科技有限公司，
类型：发明
国别省市：