一种基于分布式数据仓库的社保数据联机分析处理系统技术方案

技术编号:14014713 阅读:144 留言:0更新日期:2016-11-17 20:27
本发明专利技术公开了一种基于分布式数据仓库的社保数据联机分析处理系统,包括与多维分析服务器进行交互的展示层;对MDX语句进行解析,并使用解析后的语句执行查询计算的维度层;对聚集结果的缓存进行管理的星状层;负责接收星状层发出的SQL语句,在数据仓库中执行,并将结果返回的存储层。本发明专利技术系统的数据仓库通过分布式文件系统实现,而分布式文件系统集群由云计算平台统一管理,实现资源的负载均衡。系统通过功能上的多层分发,实现了对存储海量数据的分布式数据仓库的统一查询接口,以类似JDBC的查询方式,完成对于数据立方体多个维度的操作。

【技术实现步骤摘要】

本专利技术涉及联机分析处理和分布式存储领域,尤其是指一种基于分布式数据仓库的社保数据联机分析处理系统
技术介绍
随着信息化技术的不断发展完善,政府、企业等机构累积产生了大量业务数据,如何从这类数据中提取有用信息,便于判断形势,对未来发展作出决策,成为决策者关心的重要问题。企业级别的系统应用往往达到了TB、PB甚至更高的数据量,而对于决策者而言,重要的决策参考信息常常就被淹没在其中。目前十分通用的做法是,从海量数据中提炼出有助于决策分析的数据信息,存放到数据变动相对较小的数据仓库中,作为对海量数据进行筛选后的数据环境。再基于数据仓库的数据,进行联机分析处理,得到相关的决策信息。我国的社会保障信息化管理虽然经过多年的发展完善,但当下对五种社会保障信息系统的管理,仍然很难与其他现有独立系统有效交互,更不用说直接进行操作。事务同步和数据共享程度较低,明显影响劳动和社会保障信息的使用效率。联机分析处理(OLAP)是一个将原始数据转化为贴近用户所理解的业务维度的,提供从各种可能地视角观察信息的软件技术,便于分析师、管理者和执行者来快速、一致、交互地访问数据。OLAP的功能特点是提供动态多维的本文档来自技高网...
一种基于分布式数据仓库的社保数据联机分析处理系统

【技术保护点】
一种基于分布式数据仓库的社保数据联机分析处理系统,其特征在于,从上至下划分为4层,包括:展示层,是用户与多维分析服务器进行交互的层次,将分析计算的结果展现给用户,而该展示层主要通过前端工具提供服务,通过查询接口得到多维分析结果,其实现的查询接口,在建立连接时,能够像注册JDBC驱动一样注册连接驱动,通过通用接口Connection加载指定的OLAP驱动,随后获取连接,获取连接后,通过创建声明对象执行查询得到结果;维度层,主要对MDX语句进行解析,并使用解析后的语句执行查询计算;一个MDX查询在得到最终结果之前,往往需要经过数次迭代求值计算,并对每次的计算结果汇总处理;在该维度层中,首先,计算结...

【技术特征摘要】
1.一种基于分布式数据仓库的社保数据联机分析处理系统,其特征在于,从上至下划分为4层,包括:展示层,是用户与多维分析服务器进行交互的层次,将分析计算的结果展现给用户,而该展示层主要通过前端工具提供服务,通过查询接口得到多维分析结果,其实现的查询接口,在建立连接时,能够像注册JDBC驱动一样注册连接驱动,通过通用接口Connection加载指定的OLAP驱动,随后获取连接,获取连接后,通过创建声明对象执行查询得到结果;维度层,主要对MDX语句进行解析,并使用解析后的语句执行查询计算;一个MDX查询在得到最终结果之前,往往需要经过数次迭代求值计算,并对每次的计算结果汇总处理;在该维度层中,首先,计算结果集中每个轴包含的成员列表,再计算需要聚集计算的单元格,最后将聚集计算请求批量提交到星状层;MDX查询结果能够在维度层中缓存,如果用户需要对查询结果作进一步操作,系统就不需要重新处理完整的查询请求,能够直接在维度层中缓存的查询结果基础上进行处理,得到新的查询结果,从而提高解析查询的效率;星状层,主要对聚集结果的缓存进行管理;该星状层处...

【专利技术属性】
技术研发人员:张星明丛子涵刘俊古振威
申请(专利权)人:华南理工大学
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1