一种大数据应用平台系统技术方案

本发明专利技术涉及大数据领域。一种大数据应用平台系统，基于HDFS的分布式存储体系框架，实现对不同数据源、不同数据类型数据的综合存储与管理；按照“组织”、“人”、“事”、“物”来进行抽象和维度建模：将数据资源中与单位、组织相关的数据进行整合归并，抽象形成统一的“组织”维度；将数据资源中与人相关的数据进行整合归并，抽象形成统一的“人”维度。将数据资源中与业务工作相关的数据进行整合归并，抽象形成统一的“事”维度；将数据资源中与文件、规定相关的数据进行整合归并，抽象形成统一的“物”维度。本发明专利技术打破现有的基层、干部、人才、自身建设的数据壁垒，为后续数据挖掘、业务主题分析提供灵活动态的维度支撑。提供灵活动态的维度支撑。

【技术实现步骤摘要】
一种大数据应用平台系统


[0001]本专利技术涉及大数据领域，具体涉及数据的管理方法。

技术介绍

[0002]现有的政务系统多是按照“基层”、“干部”、“人才”、“自身建设”来进行抽象和维度建模的，所构建出的数据资源之间多存在数据壁垒，不利于多个单位之间的数据整合。

技术实现思路

[0003]本专利技术的目的在于提供一种大数据应用平台系统，以解决上述技术问题。
[0004]本专利技术所解决的技术问题可以采用以下技术方案来实现：
[0005]一种大数据应用平台系统，其特征在于，基于HDFS的分布式存储体系框架，实现对不同数据源、不同数据类型数据的综合存储与管理；
[0006]大数据应用平台系统按照“组织”、“人”、“事”、“物”来进行抽象和维度建模：
[0007]将数据资源中与单位、组织相关的数据进行整合归并，抽象形成统一的“组织”维度；
[0008]将数据资源中与人相关的数据进行整合归并，抽象形成统一的“人”维度；
[0009]将数据资源中与业务工作相关的数据进行整合归并，抽象形成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据应用平台系统，其特征在于，基于HDFS的分布式存储体系框架，实现对不同数据源、不同数据类型数据的综合存储与管理；大数据应用平台系统按照“组织”、“人”、“事”、“物”来进行抽象和维度建模：将数据资源中与单位、组织相关的数据进行整合归并，抽象形成统一的“组织”维度；将数据资源中与人相关的数据进行整合归并，抽象形成统一的“人”维度；将数据资源中与业务工作相关的数据进行整合归并，抽象形成统一的“事”维度；将数据资源中与文件、规定相关的数据进行整合归并，抽象形成统一的“物”维度。2.根据权利要求1所述的一种大数据应用平台系统，其特征在于：大数据应用平台系统由一个NameNode和若干个DataNode组成，NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作，DataNode管理存储的数据。3.根据权利要求2所述的一种大数据应用平台系统，其特征在于：从逻辑划分为以下层次：ODS数据层：采用Hive架构，ODS层不仅仅存储业务数据的最新变化情况，同时将平台的业务数据的历史变化信息通过一定的方式进行存储；数据汇聚层：依托数据采集平台，打通干部、人员、人才、公务员业务，形成统一的数据汇聚中枢结构化数据存储区：采用Hive架构，按照数据仓库的建设模式，实现对各类结构化数据资源的综合管理；非结构化数据存储区：采用NoSQL架构，实现对各类非结构化数据资源的存储与综合管理。4.根据权利要求1所述的一种大数据应用平台系统，其特征在于：大数据应用平台系统按照“组织”、“人”、“事”、“物”进行建模后形成维度数据库；其中，“事”包括新设立一个机构、干部的考察谈话、干部的中青班培训、组织换届、参加组织生活、参加谈心谈话或人才申报计划；“...

【专利技术属性】
技术研发人员：徐真华，李韬，周杰，武法峥，
申请(专利权)人：上海仪电鑫森科技发展有限公司，
类型：发明
国别省市：