数据仓库管理系统和数据仓库管理方法技术方案

本发明专利技术提供了一种数据仓库管理系统，包括：数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元，用于展现所述数据挖掘分析的分析结果。本发明专利技术还提出了一种数据仓库管理方法。通过本发明专利技术的技术方案，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。

【技术实现步骤摘要】

本专利技术涉及数据管理
，具体而言，涉及一种数据仓库管理系统和一种数据仓库管理方法。
技术介绍
互联网发展至今天，各大信息化领域企业的数据规模急剧扩大，有些甚至达到了PB级，用户和机器制造的越来越多的业务数据对IT系统带来了更大的挑战，数据的存储以及在未来访问和使用这些数据已成为难点，想从海量的数据里得到对自己有用的信息也变得倍加艰难。在分析数据的技术上，大多数公司采用了数据仓库技术，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，数据仓库会将多个系统的数据整合到一起，然后根据不同的主体进行数据分析，分析结果用于支持管理决策。但是随着数据量 级的增大，传统的事务型数据仓库由于构架平台陈旧，无法支持对于海量数据的分析，并且显得越来越力不从心。因此，需要一种新的数据仓库管理技术，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。
技术实现思路
本专利技术正是基于上述问题，提出了一种新的数据仓库管理技术，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。有鉴于此，本专利技术提出了一种数据仓库管理系统，包括数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元，用于展现所述数据挖掘分析的分析结果。在该技术方案中，HBase (Hadoop Database，一种分布式的、面向列的开源数据库)数据库是基于Hadoop (—种分布式系统基础构架，由Apache基金会开发)平台构建的，从而使得整个系统能够传承Hadoop平台高效、高扩展性的特点，能够更好地对海量数据进行支持。在上述技术方案中，优选地，还包括数据过滤单元，用于按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。在上述任一技术方案中，优选地，还包括格式转换单元，用于获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。在上述任一技术方案中，优选地，所述数据分析单元包括文件获取子单元，用于调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；数据获取子单元，用于所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；分析处理子单元，用于所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；结果存储子单元，用于将存储有所述分析结果的二维表存储至所述HBase数据库中。在上述任一技术方案中，优选地，所述结果展示单元包括报表展示子单元，用于按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。根据本专利技术的又一方面，还提出了一种数据仓库管理方法，包括步骤202，建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；步骤204，对所述HBase数据库中的数据进行数据挖掘分析；步骤206，展现所述数据挖掘分析的分析结果。在该技术方案中，HBase数据库是基于Hadoop平台构建的,从而使得整个系统能够传承Hadoop平台高效、高扩展性的特点，能够更好地对海量数据进行支持。 在上述技术方案中，优选地，所述步骤202还包括按照预设的过滤规则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。在上述任一技术方案中，优选地，所述步骤202还包括获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。在上述任一技术方案中，优选地，所述步骤204包括调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；将存储有所述分析结果的二维表存储至所述HBase数据库中。在上述任一技术方案中，优选地，所述步骤206包括按照预设的语义模型，从所述数据挖掘分析的分析结果中提取需要展示的数据，生成数据模型，并按照预设的报表格式进行展示。通过以上技术方案，可以具备良好的扩展性，尤其对海量数据的支持效果极佳。附图说明图I示出了根据本专利技术的一个实施例的数据仓库管理系统的框图；图2示出了根据本专利技术的一个实施例的数据仓库管理方法的流程图；图3示出了根据本专利技术的另一个实施例的数据仓库管理系统的框图；图4示出了根据本专利技术的一个实施例的将数据写入HBase数据库的示意图。具体实施例方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。图I示出了根据本专利技术的一个实施例的数据仓库管理系统的框图。如图I所示，根据本专利技术的一个实施例的数据仓库管理系统100，包括数据库建立单元102，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元104，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元106，用于展现所述数据挖掘分析的分析结果。在该技术方案中，HBase (Hadoop Database，一种分布式的、面向列的开源数据库)数据库是基于Hadoop (—种分布式系统基础构架，由Apache基金会开发)平台构建的，从而使得整个系统能够传承Hadoop平台高效、高扩展性的特点，能够更好地对海量数据进行支持。在上述技术方案中，优选地，还包括数据过滤单元108，用于按照预设的过滤规 则对来自所述事务性数据库中的数据进行过滤，并将得到的过滤后数据转移至所述HBase数据库中。在上述任一技术方案中，优选地，还包括格式转换单元110，用于获取目标数据格式，并将所述过滤后数据转换为所述目标数据格式后，存储至所述HBase数据库。在上述任一技术方案中，优选地，所述数据分析单元104包括文件获取子单元1042，用于调用数据分析工具，将需要进行数据挖掘分析的数据文件映射为数据库表；数据获取子单元1044，用于所述数据分析工具按照预设的选取规则，从所述数据库表中选取需要进行数据挖掘分析的数据，并存储至在所述HBase数据库中建立的临时表中；分析处理子单元1046，用于所述数据分析工具在自身对应的存储空间中建立二维表，并在所述临时表与所述二维表之间建立关联，以使得对所述临时表中的数据进行数据挖掘分析后，将分析结果存储至所述二维表中；结果存储子单元1048，用于将存储有所述分析结果的二维表存储至所述HBa本文档来自技高网...

【技术保护点】
一种数据仓库管理系统，其特征在于，包括：数据库建立单元，用于建立HBase数据库，并将事务型数据库中的数据转移至所述HBase数据库中；数据分析单元，用于对所述HBase数据库中的数据进行数据挖掘分析；结果展现单元，用于展现所述数据挖掘分析的分析结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：王洪吉，
申请(专利权)人：用友软件股份有限公司，
类型：发明
国别省市：