一种水利大数据综合维护系统技术方案

本发明专利技术申请公开了一种水利大数据综合维护系统，该水利大数据综合维护系统的系统架构包括，业务架构上下文，平台数据来源；业务架构；数据服务架构，对平台的基本角色和操作进行设定；业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。本发明专利技术申请解决了由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立，造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术问题。

【技术实现步骤摘要】
一种水利大数据综合维护系统
本专利技术申请涉及水利数据维护
，特别涉及一种水利大数据综合维护系统。
技术介绍
大水网工程中涉及到众多的水利数据，现有的水利数据还不能实现资源共享，很难做到标准规范的建立，部门之间不能对水利大数据及时处理维护，从而缺乏安全保障。
技术实现思路
本专利技术申请的目的在于提供一种水利大数据综合维护系统，为水利门户网站提供平台、数据支持，达成“统一采集、整合共享、安全可靠”的目标，以解决由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立，造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术问题。为实现上述目的，本专利技术申请提供如下技术方案：一种水利大数据综合维护系统，系统架构包括，业务架构上下文，平台数据来源；业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；数据服务架构，对平台的基本角色和操作进行设定；能力中心的定位，包括能力中心内部关系和能力中心外部关系；信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分；所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。进一步的，所述能力架构是数据中心采用云计算三层技术架构，分别为IaaS、PaaS和SaaS。进一步的，所述PaaS应用运行于所述IaaS基础资源层之上，所述IaaS层包括了应用主机、数据库、中间件、网络等资源。进一步的，所述数据服务架构，包括三个基本角色和三种操作，三个基本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使用服务。进一步的，所述数据流架构的流程如下：步骤1：通过flume采集数据到kafka消息管道，然后到strom平台进行规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台，以满足后续分析的需要；步骤2：非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足后续分析的需要；步骤3：通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进入到关系型数据后进行数据可视化展现；步骤4：进入hadoop平台的数据通过数据分析形成大量的分析数据提供给决策层使用；步骤5：所有的数据可以通过数据封装的方式共享给外部系统使用。进一步的，所述数据源：所述数据中心的数据来源于水利专项业务应用系统数据、水利行政办公应用系统数据、政府部门数据、其他业务类数据以及互联网上的公共信息数据；所述数据存储与计算：所述数据中心将根据数据来源类别，对数据进行分类存储和计算；所述数据汇聚整合：所述数据中心将对数据按照其业务类别进行汇聚整合，数据整合后划分为七大数据域：地理空间数据域、水文数据域、水资源数据域、水土保持数据域、农林水利数据域、水利行政资源数据域、水利科学技术数据域；所述数据模型算法：数据挖掘模型根据数据的应用场景分为水利维度模型、气象预测模型、图形图像识别模型、山洪预测模型、异常告警模型和文本挖掘模型，数据算法包含线性回归算法、贝叶斯算法、决策树算法、神经网络模型算法；所述数据共享：所述数据中心将对内对外提供数据共享，包括数据封装、元数据管理、安全管控、实时数据共享和非实时数据共享。进一步的，所述能力中心的定位是用户分为两类，为水利系统内部用户和社会公众用户，能力中心通过政务内网和外网对内部用户提供信息服务；对社会公众用户的服务将利用门户网站，通过互联网的方式进行，提供“一站式”访问。进一步的，所述元数据建设包括元数据标准、指导用户编写元数据的元数据指南、关键词词典以及实现对元数据进行检索、查询和管理的元数据管理系统四大部分，水利核心元数据内容包括7个元数据实体，分别是数据负责方、数据格式信息、关键字说明、空间范围、时间范围、数据分类、元数据联系方。进一步的，所述元数据库建设的内容的水利数据库包括：公用基础数据库、水利空间数据库、水文数据库、水利工程基本数据库、社会经济信息数据库、水利法规政策标准数据库、水利行政管理基本信息库、水资源数据库、水质数据库、实时水雨情数据库、历史大洪水数据库、实时工情数据库、气象信息数据库、灾情数据库、热带气旋数据库、水土保持数据库、水利工程管理数据库、农田水利数据库、农村水电及电气化数据库、水利规划数据库、水利经济数据库、人才管理数据库、水利科技管理信息库、地下水数据库。进一步的，所述数据整合交换共享平台包括设计思路、设计原则、信息共享功能、信息交换方式、平台接口设计、资源目录管理、系统技术实现的优势特性、系统能力及性能指标八个部分；所述信息共享功能包括数据汇总、数据分发、数据存取访问、数据转换、任务定制、支持用户自定义接口、支持监控管理七个部分。与现有技术相比，本专利技术申请的有益效果是：本专利技术申请水利大数据综合维护系统，水利大数据中心完成对综合业务体系中应用系统的数据支撑和托管服务，与应用支撑平台的功能中间件一起实现包括防汛抗旱、水资源、水土保持监测与管理、农田水利管理、水利工程建设与管理、水质监测与管理、水利信息公众服务和水利行政等各水利应用系统功能、运行环境和安全保障，同时为水利门户网站提供平台、数据支持。达成“统一采集、整合共享、安全可靠”的目标。附图说明图1为本专利技术申请的总体业务架构图；图2为本专利技术申请的总体能力架构图；图3为本专利技术申请的数据流架构图；图4为本专利技术申请的技术架构图；图5为本专利技术申请的水利数据中心业务架构上下文示意图；图6为本专利技术申请水利数据中心局域网示意图。具体实施方式下面将结合本专利技术申请实施例中的附图，对本专利技术申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术申请一部分实施例，而不是全部的实施例。基于本专利技术申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术申请保护的范围。一种水利大数据综合维护系统，按照水利大数据中心的主要应用需求和水利信息化综合体系，能力中心的技术框架中采用功能层次结构，划分为基础设施平台、网络通信平台、数据资源平台、应用支撑平台和数据管理平台以及安全保障系统和标准规范体系。这些平台共同完成对水利应用系统的支持。系统架构包括业务架构、能力架构、数据流架构、技术架构、业务架构上下文、数据服务架构、能力中心的定位、信息资源目录体系建本文档来自技高网...

【技术保护点】
1.一种水利大数据综合维护系统，其特征在于，系统架构包括，/n业务架构上下文，平台数据来源；/n业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；/n数据服务架构，对平台的基本角色和操作进行设定；/n能力中心的定位，包括能力中心内部关系和能力中心外部关系；/n信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分；/n所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。/n

【技术特征摘要】
1.一种水利大数据综合维护系统，其特征在于，系统架构包括，
业务架构上下文，平台数据来源；
业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；
数据服务架构，对平台的基本角色和操作进行设定；
能力中心的定位，包括能力中心内部关系和能力中心外部关系；
信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分；
所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。


2.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述能力架构是数据中心采用云计算三层技术架构，分别为IaaS、PaaS和SaaS。


3.根据权利要求2所述的一种水利大数据综合维护系统，其特征在于，所述PaaS应用运行于所述IaaS基础资源层之上，所述IaaS层包括了应用主机、数据库、中间件、网络等资源。


4.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述数据服务架构，包括三个基本角色和三种操作，三个基本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使用服务。


5.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述数据流架构的流程如下：
步骤1：通过flume采集数据到kafka消息管道，然后到strom平台进行规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台，以满足后续分析的需要；
步骤2：非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足后续分析的需要；
步骤3：通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进入到关系型数据后进行数据可视化展现；
步骤4：进入hadoop平台的数据通过数据分析形成大量的分析数据提供给决策层使用；
步骤5：所有的数据可以通过数据封装的方式共享给外部系统使用。


6.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，
所述数据源：所述数据中心的数据来源于水利专项...

【专利技术属性】
技术研发人员：刘革瑞，
申请(专利权)人：刘革瑞，
类型：发明
国别省市：山西;14