一种智慧城市数据管理系统及其方法技术方案

本发明专利技术涉及一种智慧城市数据管理系统及其方法，该系统包括数据采集单元，用于集成DataX、flume、MaxWell、分布式爬虫和kafka的采集处理技术，获取数据并进行抽取、清洗、过滤及转换，以得到处理结果；数据存储单元，用于对所述处理结果中的多源异构数据进行整合和存储管理以得到存储结果；数据处理单元，用于对所述存储结果进行任务划分，以形成子任务，并将子任务根据不同的大数据处理场景调用不同的计算规则进行处理，以得到子处理结果，并综合子处理结果，以得到总处理结果。本发明专利技术实现具有海量数据收集、存储、处理和管理能力，支持数据存储、处理和计算能力线性扩展，能够支撑整个智慧城市应用系统的大数据支撑平台。

【技术实现步骤摘要】
一种智慧城市数据管理系统及其方法
本专利技术涉及大数据资源管理
，更具体地说是指一种智慧城市数据管理系统及其方法。
技术介绍
智慧城市通过无所不在的物联网将现实城市与数字城市连在一起，随着新一代网络技术、信息技术和物联网技术的飞速发展，大数据支撑平台技术已成为现代智慧城市领域的重要支撑技术之一。目前，政府各个部门内部拥有海量的城市运行数据资源，但是由于管理分散、制度规范不健全，造成重复采集，口径多乱，数据存在不完全、不完整、不正确、不一致等质量问题，数据使用成本高，共享程度差。随着政府向“经济调节、市场监管、社会管理和公共服务”管理职能的转变，要求强化政府部门掌控信息资源能力，能够全面、准确掌握全市经济社会发展态势，2015年8月19日国务院通过《关于促进大数据发展的行动纲要》，重点强调大数据在推动政府信息系统和公共数据互联共享中的应用。大数据支撑平台是实现城市大数据整合、共享、交换和管理及应用的核心，由于智慧城市业务具有数据量大、业务需求多样化、跨业务分析的需求多等特点，因而，需要一个能够管理海量数据整个生命周期的、完整的、通用的大数据本文档来自技高网...

【技术保护点】
1.一种智慧城市数据管理系统，其特征在于，包括：/n数据采集单元，用于集成DataX、flume、MaxWell、分布式爬虫和kafka的采集处理技术，获取数据并进行抽取、清洗、过滤及转换，以得到处理结果，并输出处理结果；/n数据存储单元，用于对所述处理结果中的多源异构数据进行整合和存储管理，以得到存储结果；/n数据处理单元，用于对所述存储结果进行任务划分，以形成子任务，并将子任务根据不同的大数据处理场景调用不同的计算规则进行处理，以得到子处理结果，并综合子处理结果，以得到总处理结果。/n

【技术特征摘要】
1.一种智慧城市数据管理系统，其特征在于，包括：
数据采集单元，用于集成DataX、flume、MaxWell、分布式爬虫和kafka的采集处理技术，获取数据并进行抽取、清洗、过滤及转换，以得到处理结果，并输出处理结果；
数据存储单元，用于对所述处理结果中的多源异构数据进行整合和存储管理，以得到存储结果；
数据处理单元，用于对所述存储结果进行任务划分，以形成子任务，并将子任务根据不同的大数据处理场景调用不同的计算规则进行处理，以得到子处理结果，并综合子处理结果，以得到总处理结果。


2.根据权利要求1所述的一种智慧城市数据管理系统，其特征在于，还包括：
管理单元，用于对分布式任务调度、元数据、资源和安全进行统一管理；
API接口单元，用于发布、调用、注册、订阅以及路由的服务治理。


3.根据权利要求1所述的一种智慧城市数据管理系统，其特征在于，所述数据存储单元包括：
Hadoop云平台，用于存储所述处理结果中的半结构化和相关非结构化文件；
MPP集群子单元，用于存储所述处理结果中的PB级别的结构化数据；
MySQL集群子单元，用于存储所述处理结果中的结构化事务性数据；
分布式缓存子单元，用于存储所述处理结果中的变化少但需要频繁读取的数据资源。


4.根据权利要求1所述的一种智慧城市数据管理系统，其特征在于，所述数据处理单元包括：
任务划分子单元，用于对所述存储结果进行任务划分，以形成子任务；
数据计算子单元，用于将子任务根据不同的大数据处理场景调用不同的计算规则进行处理，以得到子处理结果；
结果综合子单元，用于综合子处理结果，以得到总处理结果。


5.根据权利要求4所述的一种智慧城市数据管理系统，其特征在于，所述数据计算子单元包括：
离线计算模块，用于进行子任务中的海量数据非实时统计；
流式计算模块，用于进行子任...

【专利技术属性】
技术研发人员：耿伟，谷国栋，周起如，王英明，胡进贤，
申请(专利权)人：深圳市赛为智能股份有限公司，安徽工业大学工商学院，
类型：发明
国别省市：广东;44