【技术实现步骤摘要】
一种水利大数据综合维护系统
本专利技术申请涉及水利数据维护
，特别涉及一种水利大数据综合维护系统。
技术介绍
大水网工程中涉及到众多的水利数据，现有的水利数据还不能实现资源共享，很难做到标准规范的建立，部门之间不能对水利大数据及时处理维护，从而缺乏安全保障。
技术实现思路
本专利技术申请的目的在于提供一种水利大数据综合维护系统，为水利门户网站提供平台、数据支持，达成“统一采集、整合共享、安全可靠”的目标，以解决由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立，造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术问题。为实现上述目的，本专利技术申请提供如下技术方案：一种水利大数据综合维护系统，系统架构包括，业务架构上下文，平台数据来源；业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；数据服务架构，对平台的基本角色和操作进行设定；能力中心...
【技术保护点】
1.一种水利大数据综合维护系统，其特征在于，系统架构包括，/n业务架构上下文，平台数据来源；/n业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；/n数据服务架构，对平台的基本角色和操作进行设定；/n能力中心的定位，包括能力中心内部关系和能力中心外部关系；/n信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分；/n所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术...
【技术特征摘要】
1.一种水利大数据综合维护系统，其特征在于，系统架构包括，
业务架构上下文，平台数据来源；
业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；
数据服务架构，对平台的基本角色和操作进行设定；
能力中心的定位，包括能力中心内部关系和能力中心外部关系；
信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分；
所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。
2.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述能力架构是数据中心采用云计算三层技术架构，分别为IaaS、PaaS和SaaS。
3.根据权利要求2所述的一种水利大数据综合维护系统，其特征在于，所述PaaS应用运行于所述IaaS基础资源层之上，所述IaaS层包括了应用主机、数据库、中间件、网络等资源。
4.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述数据服务架构，包括三个基本角色和三种操作，三个基本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使用服务。
5.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，所述数据流架构的流程如下：
步骤1：通过flume采集数据到kafka消息管道，然后到strom平台进行规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台，以满足后续分析的需要；
步骤2：非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足后续分析的需要；
步骤3：通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进入到关系型数据后进行数据可视化展现；
步骤4：进入hadoop平台的数据通过数据分析形成大量的分析数据提供给决策层使用；
步骤5：所有的数据可以通过数据封装的方式共享给外部系统使用。
6.根据权利要求1所述的一种水利大数据综合维护系统，其特征在于，
所述数据源：所述数据中心的数据来源于水利专项...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。