一种数据中心综合管理系统的数据存储方法技术方案

本发明专利技术公开了一种数据中心综合管理系统的数据存储方法，包括如下步骤：创建用于数据存储的级联服务器系统；对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；将分类后的数据通过分类并行方法存储至级联服务器系统，级联服务器系统由服务器根节点、多个Agent服务器节点以及多个叶子存储节点构成；数据的分类并行方法采用Unify Map Reduce分类并行存储方法，由Unify、Map和Reduce三个系统函数构成。本发明专利技术将数据通过数据处理接口统一纳入级联服务器系统，经过对数据进行有效分析、映射与合并，并采用分类并行方法存储，提升数据中心综合管理系统的数据存储效率和服务支撑能力。

A data storage method for data center integrated management system

The invention discloses a data storage method for a data center integrated management system, which includes the following steps: creating a cascade server system for data storage; classifying the input data to be stored, including alarm data, real-time data and multimedia stream data, and storing data after classification by classification parallel methods. The cascaded server system is composed of server root nodes, multiple Agent server nodes and multiple leaf storage nodes. The parallel method of data classification and parallel uses the Unify Map Reduce classification parallel storage method, which is composed of three system functions of Unify, Map and Reduce. This invention integrates data through the data processing interface into the cascade server system, through the effective analysis, mapping and merging of data, and using the classified parallel method to store the data storage efficiency and service support capability of the data center integrated management system.

【技术实现步骤摘要】
一种数据中心综合管理系统的数据存储方法
本专利技术涉及数据中心
，尤其一种数据中心综合管理系统的数据存储方法。
技术介绍
模块化数据中心ModuleDataCenter缩写为MDC，是基于云计算的新一代数据中心部署形式，模块化数据中心集成了供配电、制冷、机柜、气流遏制、综合布线、动环监控等子系统。通过将数据中心模块化，最大程度的降低基础设施对机房环境的耦合，提高数据中心的整体运营效率。数据中心基础设施是云计算架构的核心，它提供给用户对包括CPU、内存、存储、网络等计算资源的使用，有效减轻了IT运维的成本和复杂性。云计算架构具有分布式、跨网络、资源种类多的特点，随之而来为资源管理方面带来了前所未有的挑战，相比于传统服务器集群架构，除了对Web服务器、应用服务器等物理资源的管理，还需要对CPU、内存、存储、网络、虚拟机等虚拟资源的统一管理。数据中心的管理系统是数据中心内部配置的重要组成部分，主要包括UPS、配电柜、空调、门禁、传感器等多种监控对象，简称数据中心综合管理系统，核心设备硬件为动环监控主机，软件为数据中心综合管理系统平台软件。云计算、大数据等平台将计算、存储资源统一起来，跨越数据中心范围形成规模庞大、统一监控与管理的资源池，因此需要能够监控大规模、分布式、跨地域的虚拟资源与物理资源的统一监控系统。目前，数据中心综合管理系统承载了越来越来的数据源压力，不仅数据种类多，数量也相当大，随着设备的信息源增多，数据采集存储频度也加大，带来的将是更海量的数据。面对不断增长的数据，传统的存储架构由于扩展性较差，长此以往，存储环境就会变得日益复杂，并造成了过高的能源消耗。由于云存储系统以小图片流、小视频流等小文件数据为主要存储对象，但在数据中心，不仅需要对海量的图片流及视频流等数据进行反复的存取，还要采集声、光、热、电、化学、位置等各种信息，而不同类别的传感器与信息接收器所捕获的信息内容大不相同。对这些异构数据的存储，直接引用MapReduce分布式处理框架方式，势必会大大的增加数据存取的延时性，降低存取效率，导致了其根本不能满足数据中心内异构数据的实时性存取要求。目前数据中心综合管理系统功能仅限于监控实时数据和告警的上传，还没有达到对基础数据进行深入的统计、挖掘分析乃至据以反馈闭环控制的要求，设备监控颗粒度仍需加强细化，以便更早、更精确地发现设备备故障加以预警预判。MapReduce编程模型最突出的缺点就是，其不能很好的适应实时信息应用服务的需求，对于数据中心内的异构数据而言，海量数据的异构性将更大大的加重了不同属性数据间的无效性检索，极大的降低数据访问的实时性，此缺点对于数据中心内异构数据的实时性存取要求，是一个影响存储效率的“瓶颈”。如中国专利(申请公布号CN107066499A)公开了“一种面向异构存储多源数据管理及可视化系统的数据查询方法”，该系统包括存储层、服务层和应用层；所述存储层用于存储结构化数据和非结构化数据；所述服务层用于对存储数据进行抽取、加工、融合和抽象，将存储数据形成业务数据；所述应用层用于通过可视化技术对业务数据进行再组织形成特定场景使用的专用数据；对于异构数据源提供统一的访问接口，用户无需在多个数据库存储系统间导入导出数据，大大提高了异构数据源的维护效率，实现多源异构数据的一站式管理；通过可视化的方式，实现跨异构数据源的可视化连表查询，大大降低了连表查询的复杂度，实现异构数据源的重构。虽然该方法改善了异构数据的存储效率，但其效果仍然有限，且可扩展性较差。
技术实现思路
本专利技术提出一种数据中心综合管理系统的数据存储方法，用于解决现有的管理系统对数据存储效率较差的问题。本专利技术通过以下技术方案予以实现：一种数据中心综合管理系统的数据存储方法，包括如下步骤：创建用于数据存储的级联服务器系统；对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；将分类后的数据通过分类并行方法存储至级联服务器系统。如上所述的一种数据中心综合管理系统的数据存储方法，所述级联服务器系统由服务器根节点、多个Agent服务器节点以及多个叶子存储节点构成，数据中心综合管理系统节点是服务器根根节点，用以监控整个系统运行状况以及处理数据中心的终端访问请求；Agent服务器节点是分支节点，用以对数据中心的终端进行业务处理和提供信息服务；叶子存储节点用于存储数据中心内所有的数据；所述Agent服务器节点控制叶子存储节点对数据的存取操作，并受服务器根节点的监管。如上所述的一种数据中心综合管理系统的数据存储方法，所述数据中心的终端对数据的存取，经过服务器根节点的许可后再与Agent服务器节点进行交互。如上所述的一种数据中心综合管理系统的数据存储方法，所述告警数据分类，包括告警管理、告警模板、告警衍生和告警过滤；所述实时数据分类，包括数据过滤、实时浏览、能耗分析和底层控制；所述视频流数据分类，包括由日志和资源管理构成的结构化数据、由设备日志和系统日志构成的半结构化数据、由音频和视频数据构成的非结构化数据。如上所述的一种数据中心综合管理系统的数据存储方法，所述数据的分类并行方法采用UnifyMapReduce分类并行存储方法，由Unify函数、Map函数和Reduce函数三个系统函数构成；Unify函数首先接受一个终端数据流，产生一个初始的二维key/valuepair值的数据流，通过一个系统哈希函数，将数据中心中的不同数据格式产生为一个三十二位哈希值，级联服务器系统把所有初始二维key/valuepair值中具有相同初始key值I的valueI值聚合在同一个集合后传递给Map函数；Map函数接受Unify函数产生的初始二维key/valuepair值的valueI值，然后再将此valueI值映射为另一个二维的key/valuepair值作为中间值，产生了一个过渡的二维key/value值集合，级联服务器系统把所有过渡的二维key/value值集合中具有相同中间值keyII的valueII值聚合在同一个集合后传递给Reduce函数；Reduce函数接受一个过渡的二维key/value值集合的keyII及其相关的一个value值的集合，利用Reduce函数合并这些value值，形成一个较小的value值集合。如上所述的一种数据中心综合管理系统的数据存储方法，所述UnifyMapReduce分类并行存储方法的过程如下：(1)Master核心进程调用一个空闲的叶子存储节点服务进程通过Unify函数对数据中心终端的输入数据按数据格式的不同进行分类，生成有固定粒度大小的一个初始的二维key/valuepair数据片段的集合，同时Master核心进程开启存储系统的流水线过程调用；(2)Master核心进程再调用多个空闲的叶子存储节点服务进程通过Map函数对初始的二维key/valuepair数据片段分配为多个Map任务并对value值进行中间值的映射；(3)被分配了Map任务的叶子存储节点服务进程读取相关的初始二维输入数据片段，从输入的数据片段中解析出初始二维key/valuepair中的value值valueI，然后把valueI值传递给自调用的Map函数，由Map函数生成并输出一个过渡的二维key/valuepair中本文档来自技高网...

【技术保护点】
1.一种数据中心综合管理系统的数据存储方法，其特征在于，包括如下步骤：创建用于数据存储的级联服务器系统；对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；将分类后的数据通过分类并行方法存储至级联服务器系统。

【技术特征摘要】
1.一种数据中心综合管理系统的数据存储方法，其特征在于，包括如下步骤：创建用于数据存储的级联服务器系统；对输入的待存储数据进行分类，包括告警数据、实时数据和多媒体流数据；将分类后的数据通过分类并行方法存储至级联服务器系统。2.根据权利要求1所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述级联服务器系统由服务器根节点、多个Agent服务器节点以及多个叶子存储节点构成，数据中心综合管理系统节点是服务器根根节点，用以监控整个系统运行状况以及处理数据中心的终端访问请求；Agent服务器节点是分支节点，用以对数据中心的终端进行业务处理和提供信息服务；叶子存储节点用于存储数据中心内所有的数据；所述Agent服务器节点控制叶子存储节点对数据的存取操作，并受服务器根节点的监管。3.根据权利要求2所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述数据中心的终端对数据的存取，经过服务器根节点的许可后再与Agent服务器节点进行交互。4.根据权利要求1所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述告警数据分类，包括告警管理、告警模板、告警衍生和告警过滤；所述实时数据分类，包括数据过滤、实时浏览、能耗分析和底层控制；所述视频流数据分类，包括由日志和资源管理构成的结构化数据、由设备日志和系统日志构成的半结构化数据、由音频和视频数据构成的非结构化数据。5.根据权利要求1所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述数据的分类并行方法采用UnifyMapReduce分类并行存储方法，由Unify函数、Map函数和Reduce函数三个系统函数构成；Unify函数首先接受一个终端数据流，产生一个初始的二维key/valuepair值的数据流，通过一个系统哈希函数，将数据中心中的不同数据格式产生为一个三十二位哈希值，级联服务器系统把所有初始二维key/valuepair值中具有相同初始key值I的valueI值聚合在同一个集合后传递给Map函数；Map函数接受Unify函数产生的初始二维key/valuepair值的valueI值，然后再将此valueI值映射为另一个二维的key/valuepair值作为中间值，产生了一个过渡的二维key/value值集合，级联服务器系统把所有过渡的二维key/value值集合中具有相同中间值keyII的valueII值聚合在同一个集合后传递给Reduce函数；Reduce函数接受一个过渡的二维key/value值集合的keyII及其相关的一个value值的集合，利用Reduce函数合并这些value值，形成一个较小的value值集合。6.根据权利要求5所述的一种数据中心综合管理系统的数据存储方法，其特征在于，所述UnifyMapRe...

【专利技术属性】
技术研发人员：李俊山，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41