【技术实现步骤摘要】
一种基于可扩展节点集群的大数据分析处理系统
本专利技术涉及数据分析领域，具体为一种基于可扩展节点集群的大数据分析处理系统。
技术介绍
企业大数据的特点是数据规模巨大、数据量增长迅速，这使得数据的存储、处理和分析面临严峻挑战。解决容量和性能瓶颈的方法之一就是传统的scale-up模式，即升级数据库服务器的内存、CPU、磁盘，将SATA盘换成SSD盘等方式，但是服务器条件的改善并没有换来性能的线性增长。反观分布式数据库的scale-out方式，通过分布式处理方式，把数据分散到分布式系统的各个节点上并行处理，其扩展性更强，性价比也更高。SMP架构的所有资源都是共享的，这导致了其扩展能力十分有限，随着CPU数量的增加，内存访问冲突也大量增加，使CPU性能大幅度降低，因此不适用于系统的扩展。Greenplum作为一种分布式关系型数据库集群，自2005年发布以来，受到了广泛关注。特别是2015年开源之后，其开源社区在国内外拥有了很高的知名度。Greenplum采用了MPP架构，系统的可伸缩性和容错性较好，包括阿里巴巴、中信银行在内的许多知名企业都选择了部署Greenplum系...
【技术保护点】
1.一种基于可扩展节点集群的大数据分析处理系统，其特征在于，其包括OLAP数据库层、OLAP服务器层和应用层，所述的OLAP数据库层采用可扩展节点集群的分布式数据库集群，按照维表和事实表的方式组织数据，将来自OLAP数据库层的底层数据定义为数据立方体，所述的数据立方体通过OLAP多维引擎与所述的应用层交互；所述的OLAP服务器层用于数据的存储和调取，其包括：设置有多个数据节点的备份库和服务器，该服务器用于临时存储数据文件并向所述备份库请求可用的数据节点；其中，所述的OLAP多维引擎包括：ROLAP设计器，用于定义多个区域，所述ROLAP设计器至少包括其中的一数据集区域和一设...
【技术特征摘要】
1.一种基于可扩展节点集群的大数据分析处理系统，其特征在于，其包括OLAP数据库层、OLAP服务器层和应用层，所述的OLAP数据库层采用可扩展节点集群的分布式数据库集群，按照维表和事实表的方式组织数据，将来自OLAP数据库层的底层数据定义为数据立方体，所述的数据立方体通过OLAP多维引擎与所述的应用层交互；所述的OLAP服务器层用于数据的存储和调取，其包括：设置有多个数据节点的备份库和服务器，该服务器用于临时存储数据文件并向所述备份库请求可用的数据节点；其中，所述的OLAP多维引擎包括：ROLAP设计器，用于定义多个区域，所述ROLAP设计器至少包括其中的一数据集区域和一设计面积区域；信息获取器，用于在所述数据集区域获取多维数据库的数据模式信息，并将所述获取的数据模式信息以列表的方式在所述设计面积展现；模式分析器，用于根据所述获取的数据模式信息，建立多维数据库的ROLAP分析模式；扩展点集群组织器，用于根据已建立的多维数据库的ROLAP分析模式组织多维数据库的扩展点集群模型，并将组织的多维数据库的所述扩展点集群模型存储于语义对象存储文件中；信息提示器，用于当所述数据集区域的数据集节点上不存在输入的事实表名称时，提示获取信息失败；其中，所述的查询请求基于关系数据库的ROLAP，包括：接收装置，用于接收用户的数据查询请求；确定装置，用于确定所述数据查询请求所对应的待查询数据的标识信息；查询路径装置，用于根据确定出的所述标识信息，在预先建立的多维数据关系模型中，确定该标识信息所对应的查询路径；查询处理装置，用于根据所述查询路径以及所述标识信息进行数据查询，生成查询结果；数据关系装置，用于预先选定数据库中的事实表，将选定出的所述事实表作为主数据集，并确定该主数据集中的各属性信息，根据所述各属性信息，在所述数据库中确定各属性信息对应的各关联数据表，其中，所述关联数据表包括事实表和/或维表；将确定出的各关联数据表作为子数据集，建立各子数据集与所述主数据集之间的数据关系，形成所述多维数据关系模型；其中，所述的服务器与备份库协同合作，所述的服务器获取所述主数据集的各单个数据块并依据单个数据块的大小分块以得到多个数据块，将第一数据块和第二数据块发送至第一可扩展节点，所述备份库控制所述第一可扩展节点选取与其相邻的第二可扩展节...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。