基于openstack的公众行大数据服务平台制造技术

本发明专利技术公开了一种基于openstack的公众行大数据服务平台，包括云基础平台、数据平台、分析平台和应用层，用户将数据传输到数据平台，分析平台通过云基础平台对数据平台的数据进行分析挖掘，应用层通过云基础平台对分析平台的数据进行应用。本发明专利技术可广泛应用于政府，企业，及各种社会组织，项目的成功实施将为我国推动“智慧城市”战略起到积极作用。

【技术实现步骤摘要】

本专利技术涉及系统处理
，特别涉及一种基于openstack的公众行大数据服务平台。
技术介绍
随着“宽带中国”、“三网融合”、“智慧城市”等信息化建设在江苏的全面推进，公众信息需求和信息消费能力不断提升，信息公共服务设施不断完善，江苏已经积累并将继续产生庞大的数据，为产业发展提供了丰富的数据资源。相比较较成熟的大数据企业，其多在某方面或某几方面比较专长，但其更多地专注于企业的精确化业务和科学化管理，对于政府的精确化业务如何与企业的精确化业务进行真正意义上的对接服务，怎样让政府职能部门通过为企业创造更加“实惠”的电子商务环境，怎样让企业心甘情愿接受政府职能部门的“服务”，这是个瓶颈问题。另外，各行各业的大数据企业，要么只关注于技术，比如Cloudera，拓尔斯，启明星辰，等等；要么关注技术与部分业务的结合，比如百度大数据，只是将技术跟用户搜索行为数据，公共数据结合；阿里大数据，只是将技术跟电商数据，信用数据结合；而腾讯大数据，只是将关系数据，社交数据跟大数据技术相结合。
技术实现思路
本专利技术需要解决的技术问题是现有的大数据服务平台都是比较专业的服务平台，没有面向民生的处理各类繁杂数据以及数据应用的服务平台。为解决上述技术问题，本专利技术提供了一种基于openstack的公众行大数据服务平台，包括云基础平台、数据平台、分析平台和应用层，用户将数据传输到数据平台，分析平台通过云基础平台对数据平台的数据进行分析挖掘，应用层通过云基础平台对分析平台的数据进行应用；所述云基础平台基于openstack的horizon模块实现云基础平台的管理系统，所述管理系统包括用户及权限管理、计费管理、虚拟资源管理、弹性计算、计量分析和镜像管理； 所述数据平台主体采用Hadoop系统、MPP数据库和事务型数据库相结合的混搭数据架构，用户将数据传输到Hadoop系统、MPP数据库或者事务型数据库，事务型数据库数据可导入MPP数据库，Hadoop系统数据可导入MPP数据库，Hadoop系统配合流式处理和实时流式处理将采集的数据进行初步处理存储入Hadoop大数据数据库中；所述分析平台包括分析展现模块和发现挖掘模块，分析展现模块实现交互报表、交互图表、即席查询和多维分析功能，发现挖掘模块实现关联分析、决策树和神经网络功能； 所述应用层包括分析系统、评估系统、决策系统和挖掘系统的大数据应用。其中，所述Hadoop系统承担海量结构化数据、半结构化数据和非结构化数据分布式计算和非关系型处理，以及低价值密度结构化数据、半结构化数据和非结构化数据的存储管理，所述MPP数据库为分布式并行数据库集群，采用列存大规模分布式并行数据库集群承担复杂查询、统计和分析等OLAP分析应用的数据仓库功能，MPP数据库存储管理高价值密度的结构化数据，在系统中构建业务查询、统计专题和其他专题，实现列存储、智能索引、高效压缩和在线扩容功能，所述事务型数据库采用OLTP数据库来承担上层业务应用数据存储管理功能，用于相应的在线系统后台数据库。在事务型数据库导入MPP数据库，Hadoop系统数据导入MPP数据库过程中，涉及到以下几种转换:数据清洗、非结构化数据结构化转换和低价值密度数据向高价值密度数据转换。更进一步的，所述多维分析具有钻取分析、数据排序、图表显示、MDX语言查询、聚合运算、行列转换、隐藏空行/列功能。作为本专利技术的进一步改进，还包括PKI/CA安全保障体系，PKI/CA安全保障体系提供安全基础设施。本专利技术选用开源的云操作系统openstack来构建云平台。OpenStack由三部分组成，分别是Nova、Swift、Glance，OpenStack可以单独提供其中的一部分，也可以将这三部分组合起来，搭建一个通用的云平台。本专利技术将重点研发基于openstack的自动化云平台部署技术、虚拟化资源优化管理技术以及云平台管理系统的开发与实现，为大数据应用提供一个强大计算平台。HDFS是基于Google的Bigtable储存原理的一种开源分布式文件系统实现，它有着高容错性，能够提供高吞吐量数据访问，适合那些有着超大数据集应用程序，本专利技术采用HDFS分布式文件系统搭建在云平台的基础上为大数据应用提供储存，利用自主知识产权的基于hadoop中小文件优化和倒排索引算法实现高效的大数据检索，建立本体库实现不同类型的数据进行统一处理和存储，同时采用MapReduce为大数据应用提供计算框架。本专利技术基于开源云操作系统Openstack技术、国产顶尖数据库分析系统gbase 8a应用分布式文件系统HDFS和MapReduce作为大数据的存储和计算框架，通过拥有自主知识产权的基于hadoop中小文件优化和倒排索引算法实现高效的大数据检索，采用本体库对不同类型的数据进行统一处理和存储，优化了向量机分类模型以及关联规则的名词提取模式，提高计算效率和分析精度。本项目的安全方案基于PKI技术，以SAAS模式为客户提供大数据服务。本专利技术可广泛应用于政府，企业，及各种社会组织，项目的成功实施将为我国推动“智慧城市”战略起到积极作用。【附图说明】图1是本专利技术的框架图。【具体实施方式】下面详细说明本专利技术的优选技术方案。本专利技术的基于openstack的公众行大数据服务平台，包括云基础平台、数据平台、分析平台和应用层，用户将数据传输到数据平台，分析平台通过云基础平台对数据平台的数据进行分析挖掘，应用层通过云基础平台对分析平台的数据进行应用；所述云基础平台基于openstack的horizon模块实现云基础平台的管理系统，所述管理系统包括用户及权限管理、计费管理、虚拟资源管理、弹性计算、计量分析和镜像管理； 所述数据平台主体采用Hadoop系统、MPP数据库和事务型数据库相结合的混搭数据架构，用户将数据传输到Hadoop系统、MPP数据库或者事务型数据库，事务型数据库数据可导入MPP数据库，Hadoop系统数据可导入MPP数据库，Hadoop系统配合流式处理和实时流式处理将采集的数据进行初步处理存储入Hadoop大数据数据库中； 所述分析平台包括分析展现模块和发现挖掘模块，分析展现模块实现交互报表、交互图表、即席查询和多维分析功能，发现挖掘模块实现关联分析、决策树和神经网络功能； 所述应用层包括分析系统、评估系统、决策系统和挖掘系统的大数据应用； 还包括PKI/CA安全保障体系，PKI/CA安全保障体系提供安全基础设施。其中，所述Hadoop系统承担海量结构化数据、半结构化数据和非结构化数据分布式计算和非关系型处理，以及低价值密度结构化数据、半结构化数据和非结构化数据的存储管理，所述MPP数据库为分布式并行数据库集群，采用列存大规模分布式并行数据库集群承担复杂查询、统计和分析等OLAP分析应用的数据仓库功能，MPP数据库存储管理高价值密度的结构化数据，在系统中构建业务查询、统计专题和其他专题，实现列存储、智能索引、高效压缩和在线扩容功能，所述事务型数据库采用OLTP数据库来承担上层业务应用数据存储管理功能，用于相应的在线系统后台数据库。在事务型数据库导入MPP数据库，Hadoop系统数据导入MPP数据库过程中，涉及到以下几种转换:数据清洗、非结构化数据结构化转换和低价值密度本文档来自技高网...

【技术保护点】
一种基于openstack的公众行大数据服务平台，其特征在于：包括云基础平台、数据平台、分析平台和应用层，用户将数据传输到数据平台，分析平台通过云基础平台对数据平台的数据进行分析挖掘，应用层通过云基础平台对分析平台的数据进行应用；   所述云基础平台基于openstack的horizon模块实现云基础平台的管理系统，所述管理系统包括用户及权限管理、计费管理、虚拟资源管理、弹性计算、计量分析和镜像管理；   所述数据平台主体采用Hadoop系统、MPP数据库和事务型数据库相结合的混搭数据架构，用户将数据传输到Hadoop系统、MPP数据库或者事务型数据库，事务型数据库数据可导入MPP数据库，Hadoop系统数据可导入MPP数据库，Hadoop系统配合流式处理和实时流式处理将采集的数据进行初步处理存储入Hadoop大数据数据库中；   所述分析平台包括分析展现模块和发现挖掘模块，分析展现模块实现交互报表、交互图表、即席查询和多维分析功能，发现挖掘模块实现关联分析、决策树和神经网络功能；   所述应用层包括分析系统、评估系统、决策系统和挖掘系统的大数据应用。

【技术特征摘要】

【专利技术属性】
技术研发人员：何颖飞，
申请(专利权)人：江苏国盾科技实业有限责任公司，
类型：发明
国别省市：江苏;32