The invention discloses a large data analysis system of distributed MOLAP technology. The system optimizes the performance of MOLAP by precomputing and concentrating the data cube, and optimizes the OLAP performance by optimizing the storage structure and algorithm. This system uses the SPAJG OLAP subset in the OLAP query, optimizes the ROLAP performance of the database technology, and passes the MOL to the MOL. AP query and storage optimization speed up the purpose of MOLAP; this system implements data analysis to meet people's needs.
【技术实现步骤摘要】
一种分布式MOLAP技术的大数据系统
本专利技术属于大数据
，使用了分布式MOLAP技术开发完成的。
技术介绍
随着互联网的高速发展，数据量近乎每年在成倍地增长；大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，无论什么系统都需要存储和计算平台的支持,分布式大数据技术系统可以很好的解决这样方面的问题。
技术实现思路
系统的总体设计1.本系统的功能包括了采用特殊的多维模型来组织维和度量维编码和遍历算法实现了维值树上的上卷下钻操作;简化的维存储方法,且数据立方分块算法实现了维和度量的映射关系以及度量的分布式存储;线性化和反线性化算法实现了块和单元格的高效寻址算法;通过块选择算法来优化OLAP性能;提出基于MapReduce的OLAP算法实现；2.采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.在DOLAP技术的基础上；数据立方通过计算获得,对于立方的每个维,仅存储维级别名称和每个维级别中维值的个数,不同于传统MOLAP系统耗费大量空间存储数据立方。
【技术保护点】
1.一种分布式MOLAP技术的大数据系统，其特征在于：系统的功能分为MOLAP 优化技术和分布式的 MOLAP 系统；其中MOLAP 优化方法主要利用预计算和浓缩数据立方的结果优化 MOLAP性能和通过优化存储结构和算法来优化 OLAP 性能；本系统设计了 OLAP 查询中的 SPAJG‑OLAP 子集,在存储、查询、数据分布、网络传输和分布式缓存等方面研究海量数据大规模并行处理框架的优化策略和实现技术。
【技术特征摘要】
1.一种分布式MOLAP技术的大数据系统，其特征在于：系统的功能分为MOLAP优化技术和分布式的MOLAP系统；其中MOLAP优化方法主要利用预计算和浓缩数据立方的结果优化MOLAP性能和通过...
【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙云昊信息科技有限公司，
类型：发明
国别省市：湖南,43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。