一种用于面向工矿企业的安全生产云服务平台的海量数据处理系统技术方案

一种用于面向工矿企业的安全生产云服务平台的海量数据处理系统，所述面向工矿企业的安全生产云服务平台系统，包括安全云服务平台门户子系统，系统管理与相关工具集研制子系统，应用服务层子系统，虚拟资源层子系统，平台服务支撑层子系统，接入与适配层子系统，安全服务资源子系统，基础设施服务支撑层子系统，所述应用服务层子系统还包括海量数据处理系统，由数据采集设备、数据整合设备、数据管理设备、标准化服务接口设备以及高速可靠的光纤通信网络五大部分组成，构成基于云计算的工矿企业实时数据一体化处理系统。

【技术实现步骤摘要】
本专利技术属于工矿系统自动化信息采集与控制领域，涉及电力系统实时数据采集、处理与控制系统，尤其是基于云计算的工矿实时数据一体化处理系统及设计方法。
技术介绍
互联网中已经广泛地使用云技术，主要包括三种不同的类型，软件即服务SaaS，平台即服务PaaS，基础架构即服务IaaS。其中PaaS提供了用户可以访问的完整或部分的应用程序开发，SaaS则提供了完整的可直接使用的应用程序，比如通过Internet管理企业资源。而IaaS中的云技术以海量数据管理技术、海量数据分布存储技术、虚拟化技术、云计算平台管理技术最为关键。其中海量数据管理技术和分布式存储技术是数据处理的重要组成 部分，云计算需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必须能够高效的管理大量的数据，此外还需要冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。工矿企业的安全生产在实际的生产运行中，必然有海量数据(如各种安全生产标准、监测的数据、教育培训知识等)需要处理，云服务平台采用分布式计算存储方式，将计算任务分配到多台机器上并行处理，以此提高运算速度。云平台将安全生产企业实际生产积累的数据信息进行统一的管理与存储，为生产过程中提供基于数据的预测、异常检测等功能，实现企业的安全生产。传统工矿企业的数据采集功能和具体的逻辑判断功能结合紧密，通常由较为单一的硬件设备完成，因此，完成不同的功能就需要配置不同的设备或系统，这些不同功能的设备或系统都有各自独立的数据采集单元。各个数据采集存在着交叉重复采集、利用率不高、数据及信息内容不一致、时间不统一等问题，形成了以纵向层次多、横向系统多为主要特征的“信息孤岛”，制约了信息的进一步融合和应用，数据及信息的重复采集和重复传输处理势必造成各种资源的浪费。大多数工矿企业中的仪表分成三类保护类，测控类，计量类，他们都有自己的数据采集和处理单元，可与监控显示系统连接，用于基础参数测量。但也存在以下技术问题(I)仪表的精度不同，造成了数据不一致，成本上也不经济。(2)仪表采集频率不同、算法不同造成了同一个量值在不同的仪表中也不同，数据冗余而且混乱。(3)系统与设备，设备与设备之间通讯困难，缺乏统一标准。(4)过程数据缺失，在采样的过程中，产生了大量的过程数据，这些数据对于后期的事故分析或业务扩展都是有价值的，但我们从仪表中取得的都是经过N次运算的“二手数据”，“简化值”。这种独立配置、独立计算、独立功能的装置带来的问题是信息共享差，利用率低和硬、软件资源浪费问题。为解决以上提到的问题，尤其是数据分别采集、数据分别处理与计算、数据难于共享等关键问题，有必要建立一套新的框架与机制，实现同一类型设备的数据一次采集，能在整套统一的软件应用平台下利用云计算技术实现测控、保护、相量测量、计量等多种应用功倉泛。
技术实现思路
本专利技术的目的是提供一种工矿企业的安全生产云服务平台系统，以解决设备独立配置、独立计算、独立功能的装置带来的信息共享差、利用率低和软、硬件资源浪费的问题，实现同一类型设备数据的一次采集，及测控、保护、相量测量、计量等多种应用。所述的工矿企业的安全生产云服务平台系统，包括I)建立面向工矿企业的安全生产云服务平台，该平台集成了支持安全生产服务的海量数据处理、安全生产管理业务协同以及系统管理等功能，为工矿企业的安全生产与政府监管提供重要的技术支持。·2)基于安全事故事件多维关联规则分析技术，能从海量的生产数据中分析挖掘出可能导致事故及未遂事件发生的频繁因素和潜在规律，建立安全生产标准效用及标准缺失情况的动态监测预警分析方法，为政府及行业监管部门制定基于风险的、合理的作业标准提供科学的依据。3)提出了工矿企业安全生产中的海量数据处理方法，具体包括基于支持向量机的安全生产异常检测技术、基于广义规则推理的知识发现技术，能对生产的海量数据进行分析与知识挖掘，从而帮助企业提升事故预防预警和应急处置能力，提高企业安全生产水平。4)开发安全生产管理工具集，方便工矿行业安全生产的安全管理、监督、配置等，实现企业的快速排查、快速响应。其中开发的面向工矿企业的安全生产云服务平台，集成了支持安全生产服务云的海量数据处理、安全生产管理业务协同以及系统管理等功能，实现对企业生产安全的实时监测与预警。具体而言，一种用于面向工矿企业的安全生产云服务平台的海量数据处理系统，其特征在于所述面向工矿企业的安全生产云服务平台系统，包括安全云服务平台门户子系统，系统管理与相关工具集研制子系统，应用服务层子系统，虚拟资源层子系统，平台服务支撑层子系统，接入与适配层子系统，安全服务资源子系统，基础设施服务支撑层子系统，所述应用服务层子系统还包括海量数据处理系统，由数据采集设备、数据整合设备、数据管理设备、标准化服务接口设备以及高速可靠的光纤通信网络五大部分组成，构成基于云计算的工矿企业实时数据一体化处理系统。所述的用于面向工矿企业的安全生产云服务平台的海量数据处理系统，其特征在于还包括，无线传感器集群负责采集工矿现场的数据，并将数据传输给工矿数据整合设备，所述数据整合设备上，标配HTTP代理模块代理服务器和云管理服务器，这两者都使用ubuntu服务器刀片板，作为接受管理的节点，每台节点服务器上都安装了节点管理器，该节点管理器的主要功能是实现对KVM虚拟机的管理，包括(I)接收云管理器的控制指令进行KVM虚拟机的部署、启停等操作；(2)监控本地KVM虚拟机的可用性，在本地KVM虚拟机出错不可用时，尝试启动另外一个相同的KVM虚拟机实例；(3)实时监控本地各个KVM虚拟机资源的使用状况，并将KVM虚拟机的实时资源使用情况发送给云管理器；(4)根据虚拟机实时的资源使用情况自动执行KVM虚拟机的扩展操作；(5)接收来自云管理器的虚拟机迁移指令。所述的用于面向工矿企业的安全生产云服务平台的海量数据处理系统，其特征在于还包括在每台节点服务器上都还将部署多个KVM虚拟机，并在每个虚拟机中都部署节点服务器。所有上述的 节点服务器都共享同一个网络数据存储器。而每个节点服务器的本地存储只用来缓存每个虚拟机自身运行数据，而虚拟机的镜像文件和实施例都会被缓存在共享的网络数据存储中。所述的用于面向工矿企业的安全生产云服务平台的海量数据处理系统，其特征在于工矿数据采集的数据，也会受云控制服务器和代理服务器的控制被随机分布到网络存储器中，并由各节点服务器上的应用软件完成业务协同和跨域任务协同。附图说明图I工矿企业的安全生产云服务平台系统图2工矿企业实时数据一体化处理系统图3无线数据采集设备集群图4无线数据采集设备结构5云存储系统结构6云存储数据中心结构7设备资源实时监控模型图8设备性能实时监控模型图9SVM训练与预测流程10免疫进化算法流程图11关联规则分析流程图12Petri网挖掘模型具体实施例方式图I所示为一种面向工矿企业的安全生产的云服务平台，集成了支持安全生产服务云的实时数据处理、安全生产管理业务协同以及系统管理等功能，实现对企业生产安全的实时监测与预警。具体而言，所述的面向工矿企业的安全生产云服务平台系统，包括安全云服务平台门户子系统，系统管理与相关工具集研制子系统，应用服务层子系本文档来自技高网...

【技术保护点】
一种用于面向工矿企业的安全生产云服务平台的海量数据处理系统，其特征在于：所述面向工矿企业的安全生产云服务平台系统，包括安全云服务平台门户子系统，系统管理与相关工具集研制子系统，应用服务层子系统，虚拟资源层子系统，平台服务支撑层子系统，接入与适配层子系统，安全服务资源子系统，基础设施服务支撑层子系统，所述应用服务层子系统还包括海量数据处理系统，由数据采集设备、数据整合设备、数据管理设备、标准化服务接口设备以及高速可靠的光纤通信网络五大部分组成，构成基于云计算的工矿企业实时数据一体化处理系统。

【技术特征摘要】
1.一种用于面向工矿企业的安全生产云服务平台的海量数据处理系统，其特征在于所述面向工矿企业的安全生产云服务平台系统，包括安全云服务平台门户子系统，系统管理与相关工具集研制子系统，应用服务层子系统，虚拟资源层子系统，平台服务支撑层子系统，接入与适配层子系统，安全服务资源子系统，基础设施服务支撑层子系统，所述应用服务层子系统还包括海量数据处理系统，由数据采集设备、数据整合设备、数据管理设备、标准化服务接口设备以及高速可靠的光纤通信网络五大部分组成，构成基于云计算的工矿企业实时数据一体化处理系统。2.根据权利要求I所述的用于面向工矿企业的安全生产云服务平台的海量数据处理系统，其特征在于还包括，无线传感器集群负责采集工矿现场的数据，并将数据传输给工矿数据整合设备，所述数据整合设备上，标配HTTP代理模块代理服务器和云管理服务器，这两者都使用Ubuntu服务器刀片板，作为接受管理的节点，每台节点服务器上都安装了节点管理器，该节点管理器的主要功能是实现对KVM虚拟机的管理，包括(I)接收云管理器的控制指令进行KV...

【专利技术属性】
技术研发人员：王斌，陈新，江丽琴，张峰生，
申请(专利权)人：浙江图讯科技有限公司，
类型：发明
国别省市：