一种应用于智慧城市的大数据资源管理系统技术方案

本发明专利技术涉及大数据技术领域，尤其涉及一种应用于智慧城市的大数据资源管理系统，包括物理硬件平台、数据存储平台、分析计算平台、消息队列平台、数据缓存平台、检索平台、系统支撑平台、数据采集平台、数据处理平台、数据共享交换平台、对外协议接口平台、业务开发平台、运维与监控平台。本发明专利技术建立了一体化的数据存储处理环境，能够将分析决策所需的大量数据从传统的操作性环境中分离出来，将分散的、重复的、难于访问的操作数据转换成集中统一的、有价值的知识数据，为不同来演的数据提供一致的数据视图，将不同介质、不同组织方式的数据集成转换成为一个一致的分析型数据环境。

【技术实现步骤摘要】
一种应用于智慧城市的大数据资源管理系统
本专利技术涉及大数据
，尤其涉及一种应用于智慧城市的大数据资源管理系统。
技术介绍
随着国家治理体系和治理能力现代化的不断推进，随着“创新、协调、绿色、开放、共享”发展理念的全面贯彻，城市被赋予了新的内涵，对智慧城市建设提出了新的要求。国家互联网信息办在全面调查和摸清全国智慧城市建设情况的基础上，面对智慧城市建设遇到的新挑战和新要求，提出了新型智慧城市的概念。智慧城市是指在信息技术和互联网相结合的基础上，通过各种智能化的应用，提升城市基础设施的运作效率，提升城市运行管理和公共服务水平，提高人们的生活质量；大数据是支撑智慧城市发展的重要信息资源，城市运行体征是通过数据进行量化表现出来的，通过大数据技术收集各部门有关城市运行体征的数据，可帮助城市管理者进行数据汇总、分析，最终对城市体征的量化形态进行管理。智慧城市大数据资源管理系统是以形成新型智慧城市大数据的“总和”为核心要素，实现数据、存储、处理资源的统一池化。智慧城市大数据资源管理系统涵盖政府管理、行政管理、民生服务、经济企业的各个领域、各行业、各业务的数据集合，涉及政府行政数据、城市管理数据、民生服务数据、企业经济数据，以保证城市常态和非常态下运行的基本数据，包括：法人、人口、企业、财政、统计、资源、安全、交通、能耗、市政、生产、市场、商务、物流、医疗、卫生、教育、房产、社区等数据的共享。智慧城市大数据资源管理系统的核心作用是数据的共享与交换，最终目标是尽可能让更多的管理者方便、有效和准确的使用智慧城市所汇集的大数据这一集成的决策支持环境。如何提供全面的大数据工具和相应的数据挖掘、分析、管理、策略、方法和手段，是目前亟待解决的问题。
技术实现思路
有鉴于此，本专利技术的目的是提供一种应用于智慧城市的大数据资源管理系统，建立了一体化的数据存储处理环境，能够将分析决策所需的大量数据从传统的操作性环境中分离出来，将分散的、重复的、难于访问的操作数据转换成集中统一的、有价值的知识数据，为不同来演的数据提供一致的数据视图，将不同介质、不同组织方式的数据集成转换成为一个一致的分析型数据环境。本专利技术通过以下技术手段解决上述技术问题：一种应用于智慧城市的大数据资源管理系统，包括物理硬件平台、数据存储平台、分析计算平台、消息队列平台、数据缓存平台、检索平台、系统支撑平台、数据采集平台、数据处理平台、数据共享交换平台、对外协议接口平台、业务开发平台、运维与监控平台，所述数据处理平台包括主进程、守护进程、数据接收、数据清洗、数据格式校验、数据转换、数据解析、内容校验、数据存储、数据归档。进一步，所述物理硬件平台包括操作系统、网络、存储和中间件、JVM虚机。进一步，所述数据存储平台是按不同的业务数据源种类、用途将平台所涉及的全部数据划分为若干个独立的数据库集群，包括元数据库、配置库、归档库、过程库、主体库和知识库。进一步，所述元数据库中主要包括平台运行涉及的运行时数据，所述配置库是对资源库各数据源的数据类型间公用的基础字典数据、基础库的整合与抽象，所述归档库包括各业务部门上传的文档，所述过程库为Mongodb，存储的是在XML文件映射转换后的数据信息，所述主题库主要面向应用场景构建，是对过程库中存储的数据的再组织和格式转换，所述知识库面向应用场景进行构建，能够对分析和决策提供数据支撑。进一步，所述分析计算平台利用开源大数据处理工具hadoop和spark，根据挖掘目标和数据形式建立分类与预测、聚类分析、关联规则和智能推荐模型。进一步，所述系统支撑平台包括数据资源管理服务、公共基础服务和数据分析展示服务，所述公共基础服务包括认证服务、接口服务和监控服务。进一步，所述对外协议接口平台包括webservice服务、TCP/IP服务、ftp服务、http服务，实现文件的上传下载、权限的认证、数据的检索、元数据的查看。进一步，所述运维与监控平台主要是对集群中的主机的性能监控、网络设备性能监控、数据库性能监控、通用协议监控提供多种告警方式和详细的报表图表绘制。本专利技术的大数据资源管理系统建立了一体化的数据存储处理环境，能够将分析决策所需的大量数据从传统的操作性环境中分离出来，将分散的、重复的、难于访问的操作数据转换成集中统一的、有价值的知识数据，为不同来演的数据提供一致的数据视图，将不同介质、不同组织方式的数据集成转换成为一个一致的分析型数据环境。本专利技术是以服务为核心的系统架构，系统架构的设计是围绕着“业务流程”展开，整个业务功能的设计和实现采用SOA架构，充分保证系统功能和流程实现的灵活性和扩展性；本专利技术是以构件为基础的技术实现，平台架构以模块化、插件化、服务化、共享化为原则，采用基于构件的技术，为应用软件的开发提供了可移植性、异构性的实现环境和健壮平台，解决软件复用在通信、互操作等环境异构的瓶颈问题；本专利技术以数据是以数据为根本的二次开发，平台提供丰富的二次开发功能组件、SDK开发包、以及大量的数据服务接口，能快速进行二次开发，支持各节点的异构环境和操作系统平台，支持Portal接口集成；本专利技术可扩展高可用的分布式系统部署，不需要昂贵专用存储、网络和服务器设备，支持高可用及横向扩展的分布式系统架构，满足高并发访问需求。支持100Gbps以上量级的数据流实时索引，单节点数据入口索引速度可达10MB～20MB/S；本专利技术采用低成本高性能的分布式大数据存储，根据不同需求灵活采用HDFS、NoSQL数据库、内存数据库等多种存储技术，实现低成本高性能的大数据分布式存储，数据存储支持PB级别，能够对海量数据进行处理，可高兴管理超过万亿条的纪录。具体实施方式以下将结合具体实施例对本专利技术进行详细说明：本专利技术的一种应用于智慧城市的大数据资源管理系统，包括物理硬件平台、数据存储平台、分析计算平台、消息队列平台、数据缓存平台、检索平台、系统支撑平台、数据采集平台、数据处理平台、数据共享交换平台、对外协议接口平台、业务开发平台、运维与监控平台。物理硬件平台包括操作系统、网络、存储和中间件、JVM虚机等基础资源与服务，能够为其上各层提供一个物理和系统级别的支撑。数据存储平台是按不同的业务数据源种类、用途将平台所涉及的全部数据划分为若干个独立的数据库集群，包括元数据库、配置库、归档库、过程库、主体库和知识库。元数据库中主要包括平台运行涉及的运行时数据，包括各平台配置参数、运行状态记录等，元数据库中的元文件主要包括业务校验规则模板、容器框架配置文件等，该元数据库为MvSQL数据库。配置库是对资源库各数据源的数据类型间公用的基础字典数据、基础库包括各数据库的配置信息和公共业务数据等的整合与抽象，作为其它数据源所依赖的公有数据存储。归档库主要包括各业务部门上传的文档，在导入历史库之后进行存储，存储周期为12个月，以备数据追溯，系统自动删除过期数据。过程库为Mongodb，其包括的功能库存储各业务部门的数据信息，它的数据主要来源于XML(Excel，Json)原始文件，是XML文件面向业务模型的映射库，库中存储的是在XML文件映射转换后的数据信息。主题库主要面向应用场景构建，是对过程库中存储的数据的再组织和格式转换，涉及类似ETL的数据抽取、转换和装载的过程形成的面向应用所本文档来自技高网...

【技术保护点】
一种应用于智慧城市的大数据资源管理系统，其特征在于，包括物理硬件平台、数据存储平台、分析计算平台、消息队列平台、数据缓存平台、检索平台、系统支撑平台、数据采集平台、数据处理平台、数据共享交换平台、对外协议接口平台、业务开发平台、运维与监控平台，所述数据处理平台包括主进程、守护进程、数据接收、数据清洗、数据格式校验、数据转换、数据解析、内容校验、数据存储、数据归档。

【技术特征摘要】
1.一种应用于智慧城市的大数据资源管理系统，其特征在于，包括物理硬件平台、数据存储平台、分析计算平台、消息队列平台、数据缓存平台、检索平台、系统支撑平台、数据采集平台、数据处理平台、数据共享交换平台、对外协议接口平台、业务开发平台、运维与监控平台，所述数据处理平台包括主进程、守护进程、数据接收、数据清洗、数据格式校验、数据转换、数据解析、内容校验、数据存储、数据归档。2.根据权利要求1所述的一种应用于智慧城市的大数据资源管理系统，其特征在于，所述物理硬件平台包括操作系统、网络、存储和中间件、JVM虚机。3.根据权利要求2所述的一种应用于智慧城市的大数据资源管理系统，其特征在于，所述数据存储平台是按不同的业务数据源种类、用途将平台所涉及的全部数据划分为若干个独立的数据库集群，包括元数据库、配置库、归档库、过程库、主体库和知识库。4.根据权利要求3所述的一种应用于智慧城市的大数据资源管理系统，其特征在于，所述元数据库中主要包括平台运行涉及的运行时数据，所述配置库是对资源库各数据源的数据类型间公用的基础字典数据、基础库的整合与抽象，所述归档库包括各业务部门上传的文档，所述过程库为Mongodb，存储的是在...

【专利技术属性】
技术研发人员：陈迪泉，刘云龙，
申请(专利权)人：广州葵翼信息科技有限公司，
类型：发明
国别省市：广东,44