一种OLAP海量多维数据维存储方法技术

本发明专利技术公开了一种OLAP海量多维数据维存储方法，首先，按维分割OLAP多维数据，构建维层次编码，设计HDFile维存储文件结构，使得聚集计算只需访问相关维对应数据，避免了检索无关数据；接着构建基于维层次编码的B+树索引，快速定位维存储数据，节省了I/O开销；最后设计高效并行查询算法，进一步提高了OLAP查询效率。从而为科学实验统计、环境气象、生物信息计算等海量数据分析的应用提供一套高效、易用、可扩展的存储方法。

【技术实现步骤摘要】

本专利技术涉及一种OLAP海量多维数据维存储方法，适用OLAP系统中多维海量数据的快速分析情况，尤其是能区别OLAP分析中维的层次特性。
技术介绍
首先对本专利技术中用到的缩写及名词进行说明OLAP 0nline Analytical Processing,联机分析处理；ROLAP ReIationaI 0LAP,关系 0LAP;MOLAP !Multidimensional 0LAP,多维 OLAP ；Hadoop 一个分布式系统基础架构；Hive :基于Hadoop的一个数据仓库工具；Pig :一种数据流语言和运行环境，用以检索非常大的数据集；HDFS Hadoop Distributed File System, Hadoop 分布式文件系统； HDFile HDFS Dimension File,分布式维存储文件；MapReduce :—种并行编程框架；随着大规模的数据库尤其是数据仓库系统的日益增多，无论是政府部门还是企业都积累了海量的业务处理和市场变化数据。特别是随着Internet技术的高速发展，各行业的信息量呈指数级的爆炸性增长趋势，一些应用中数据量已经从几十个TB发本文档来自技高网...

【技术保护点】
一种OLAP海量多维数据维存储方法，其特征在于包括步骤如下：1）按维分割OLAP海量多维数据，构建维层次编码，设计HDFile维存储文件结构；2）构建基于维层次特性和维层次编码的索引；3）根据HDFile维存储结构，设计基于MapReduce框架的并行查询算法。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋爱波，何战国，罗军舟，
申请(专利权)人：东南大学，
类型：发明
国别省市：