一种动环监控数据接入云平台的方法及系统技术方案

一种动环监控数据接入云平台的方法，包括以下方法：对基础设施层类数据源的数据进行获取；对文件进行同步处理；抓取各类型数据，通过流式数据处理平台对数据进行处理；对处理后的数据存入数据库。还包括一种动环监控数据接入云平台的装置。

Method and system for mobile ring monitoring data access to cloud platform

A method of moving ring monitoring data access to cloud platform includes the following methods: acquiring data from infrastructure layer data sources; synchronizing files; grabbing various types of data, processing data through streaming data processing platform; storing the processed data into database. It also includes a device to monitor data access to cloud platform.

【技术实现步骤摘要】
一种动环监控数据接入云平台的方法及系统
本专利技术涉及数据处理
，具体地说是一种动环监控数据接入云平台的方法及系统。
技术介绍
模块化数据中心(ModuleDataCenter,MDC)是基于云计算的新一代数据中心部署形式，为了应对云计算、虚拟化、集中化、高密化等服务器发展的趋势，其采用模块化设计理念，最大程度的降低基础设施对机房环境的耦合。集成了供配电、制冷、机柜、气流遏制、综合布线、动环监控等子系统，提高数据中心的整体运营效率，实现快速部署、弹性扩展和绿色节能随着大数据信息行业的飞速发展，数据中心的发展也进入到一个新的阶段。管理系统是数据中心内部配置的重要组成部分。传统的管理系统主要已动环监控为主，具备多种数据接口，可接入UPS、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机等多种监控对象，当前，随着云计算、大数据和互联网的快速发展，信息化的基础设施发生了根本转变，监控管理的需求从一些单独的系统要求转化为整体平台化、统一平台、统一管理的系统要求。随着模块化数据中心部署的规模越来越大，动环监控的数据也越来越多，存储也相应遇到了瓶颈。目前动环监控系统的总体趋势是面临运维人员数量急剧减少、设备数量不断增加的压力，同时面临动环设备运行产生的数据量快速增长、多类数据分析并存的需求压力下，动环专业的数据处理面临空前的需求。在现今的形式下，必须根据应用需求和数据量选择最适合的产品和技术来支撑应用。同时，世界数据处理市场格局正在发生革命性的变化，传统数据库(OldSQL)一统天下变成了OldSQL+NewSQL+NoSQL+其他新技术(例如流、实时、内存等)共同支撑多类应用的局面。目前动环监控系统功能仅限于监控实时数据和告警的上传，还没有达到对基础数据进行深入的统计、挖掘分析乃至据以反馈闭环控制的要求，设备监控颗粒度仍需加强细化，以便更早、更精确地发现设备备故障加以预警预判。
技术实现思路
本专利技术型的目的在于提供一种动环监控数据接入云平台的方法及系统，用于解决目前的动环监控系统无法对基础数据进行深入的统计、挖掘分析的问题。为了解决上述技术问题，本专利技术实施例公开了如下技术方案：本专利技术第一方面提供了一种动环监控数据接入云平台的方法，该方法包括：对基础设施层类数据源的数据进行获取；对文件进行同步处理；抓取各类型数据，通过流式数据处理平台对数据进行处理；对处理后的数据存入数据库。结合第一方面，在第一方面第一种可能的实现方式中，获取数据通过动环监控主机进行汇总。结合第一方面，在第一方面第二种可能的实现方式中，所述的数据包括实时告警类数据：UPS设备告警信息、精密空调设备告警信息、精密配电柜告警信息和模块化数据中心环境告警信息；和，实时设备数据：包括UPS电压、电流、功率、频率、电能数据和精密空调数据；和，CIM模型数据的数据源；和，图像文件数据源。结合第一方面，在第一方面第三种可能的实现方式中，对文件进行同步处理的方法包括：对数据包进行格式化处理；根据数据源的不同对数据进行解析。结合第一方面，在第一方面第四种可能的实现方式中，对数据包进行格式化处理的方法包括：将数据包的格式处理为：包头+包体；所述的包头包括流水号sn，请求命令号commandId，包体长度len，命令参数resultCode；所述的包体包括len变量的长度字符串。结合第一方面，在第一方面第五种可能的实现方式中，根据数据源的不同对数据进行解析包括：对实时数据解析：将生成规定格式的数据文件包上传到云对象存储指定的目录下；将实时数据按采集周期生成最新数据文件并上传至云平台云对象存储；定时调度执行云平台云对象存储中文件下载及文件解析程序；将解析后的数据发送至流数据处理平台数据通道；对CIM模型数据进行解析：导出CIM模型数据文件，并上传至云对象存储；通过数据文件解析程序解析文件数据，并将文件数据上传至关系型数据库；对图像文件数据解析:导出图像文件，并上传至云平台云对象存储；从云对象存储获取文件并解析；将云对象存储文件地址信息存储至关系型数据库服务器的云对象存储＿FILE＿INFO表中。结合第一方面，在第一方面第六种可能的实现方式中，通过流式数据处理平台对数据进行处理包括以下方法：订阅文件，获取动环监控系统里的数据；转换配置，在云服务上基于CIM模型数据初始化主题实例模型以及基础数据配置，在流式大数据分析平台上实现原始数据加工转化为主题实例模型；数据转换，将主题实例模型转换成对应大数据上的流式SQL引擎，配置到流式大数据分析平台和大数据计算服务中。结合第一方面，在第一方面第七种可能的实现方式中，存入数据库包括存入关系型数据库和存入NoSQL数据库；所述的存入关系型数据库包括大数据计算服务从流式数据处理平台数据通道中获取原始数据，引入数据解析模型在大数据计算服务上做数据归档，存入关系型数据库服务；所述的存入NoSQL数据库包括流式大数据分析平台和流式计算从流式数据处理平台数据通道中获取原始数据，引入数据解析模型在流式大数据分析平台配置数据，通过关联计算，生成模型ID+模型属性ID+模型项记录时间的格式配置，并写入NoSQL数据库服务表格存储。本专利技术第二方面提供了一种动环监控数据接入云平台的装置，利用所述的方法，该装置包括基础设施层，用于获取不同类型的数据；和，文件同步模块，用于格式化接收的数据，并对不同类型的数据进行解析，包括格式化模块、数据解析模块；和，流式数据处理平台通道，用于进行接收动环监控系统里的数据，并对模型进行转换，将数据进行发布，包括订阅模块、发布模块、配置模块、数据模型转换模块；和，数据存储模块，用于存储流式数据处理平台通道发布的数据。结合第二方面，在第二方面第一种可能的实现方式中，所述的数据解析模块包括是实时类数据解析模块、CIM模型数据解析模块、图片文件数据解析模块。本专利技术第二方面的所述装置能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。由以上技术方案可见，本专利技术基于基础设施层的实时类数据源的数据获取，通过完成文件同步，抓取各类数据，再通过流式数据处理平台通道，对分析类应用的支撑，通过订阅、发布、转换模型配置和数据模型转换技术，能够在海量数据处理和大数据分析多种场景，满足动环监控数据接入云平台的需求，提升动环系统的服务支撑能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种动环监控数据接入云平台的方法流程示意图；图2为本专利技术实施例对实时数据进行解析的方法流程示意图；图3为本专利技术实施例对CIM模型数据进行解析的方法流程示意图；图4为本专利技术实施例对图像文件数据解析的方法流程示意图；图5为本专利技术实施例所应用的一种动环监控数据接入云平台的装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术本文档来自技高网...

【技术保护点】
1.一种动环监控数据接入云平台的方法，其特征是，包括以下方法：对基础设施层类数据源的数据进行获取；对文件进行同步处理；抓取各类型数据，通过流式数据处理平台对数据进行处理；对处理后的数据存入数据库。

【技术特征摘要】
1.一种动环监控数据接入云平台的方法，其特征是，包括以下方法：对基础设施层类数据源的数据进行获取；对文件进行同步处理；抓取各类型数据，通过流式数据处理平台对数据进行处理；对处理后的数据存入数据库。2.根据权利要求1所述的方法，其特征是，获取数据通过动环监控主机进行汇总。3.根据权利要求2所述的方法，其特征是，所述的数据包括实时告警类数据：UPS设备告警信息、精密空调设备告警信息、精密配电柜告警信息和模块化数据中心环境告警信息；和，实时设备数据：包括UPS电压、电流、功率、频率、电能数据和精密空调数据；和，CIM模型数据的数据源；和，图像文件数据源。4.根据权利要求1所述的方法，其特征是，对文件进行同步处理的方法包括：对数据包进行格式化处理；根据数据源的不同对数据进行解析。5.根据权利要求4所述的方法，其特征是，对数据包进行格式化处理的方法包括：将数据包的格式处理为：包头+包体；所述的包头包括流水号sn，请求命令号commandId，包体长度len，命令参数resultCode；所述的包体包括len变量的长度字符串。6.根据权利要求4所述的方法，其特征是，根据数据源的不同对数据进行解析包括：对实时数据解析：将生成规定格式的数据文件包上传到云对象存储指定的目录下；将实时数据按采集周期生成最新数据文件并上传至云平台云对象存储；定时调度执行云平台云对象存储中文件下载及文件解析程序；将解析后的数据发送至流数据处理平台数据通道；对CIM模型数据进行解析：导出CIM模型数据文件，并上传至云对象存储；通过数据文件解析程序解析文件数据，并将文件数据上传至关系型数据库；对图像文件数据解析：导出图像文件，并上传至云平台云对象存储；从云对象存储获取文件并解析；将云对象存储文件地址信息存储至关系...

【专利技术属性】
技术研发人员：李俊山，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41