面向大数据平台的Ceph分布式存储监控与调优管理系统技术方案

本发明专利技术属于云存储技术领域，具体涉及一种面向大数据平台的Ceph分布式存储监控与调优管理系统，其重点解决Ceph分布式存储系统监控及管理操作复杂及决策数据资源难以挖掘的问题。该系统包括：运行监控管理数据库、监控管理模块、状态告警模块、告警状态规则预设模块、性能调优模块、配置管理模块；本发明专利技术能够实现对Ceph分布式存储系统的高效、低成本、统一的运维管理，显著提升系统的运维管理效率，有效降低Ceph分布式存储系统在生产环境中部署应用的技术门槛，有利于系统的大规模推广应用。

Ceph Distributed Storage Monitoring and Tuning Management System for Large Data Platform

The invention belongs to the field of cloud storage technology, and specifically relates to a Ceph distributed storage monitoring and tuning management system for large data platform, which focuses on solving the problems of complex monitoring and management operation of Ceph distributed storage system and difficult mining of decision data resources. The system includes: operation monitoring management database, monitoring management module, status alarm module, alarm status rule preset module, performance tuning module and configuration management module; the invention can realize efficient, low-cost and unified operation and maintenance management of the Eph distributed storage system, significantly improve the operation and maintenance management efficiency of the system, and effectively reduce the life of the Ceph distributed storage system. The technical threshold for deploying applications in production environment is conducive to the large-scale popularization and application of the system.

【技术实现步骤摘要】
面向大数据平台的Ceph分布式存储监控与调优管理系统
本专利技术属于云存储
，具体涉及一种面向大数据平台的Ceph分布式存储监控与调优管理系统，其重点解决Ceph分布式存储系统监控及管理操作复杂及决策数据资源难以挖掘的问题。
技术介绍
Ceph是一种现在广泛使用的分布式存储系统，其具有高扩展性、高可靠性、高性能、多副本的特点。Ceph集群部署后的运行维护是其推广应用的一大难点，因为其管理维护需通过大量、复杂的命令行实现，对一般信息系统运维人员或使用单位的系统管理员来说，需要接受一段时间的专门培训才能够掌握，技术门槛较高，运行维护成本较高。同时，Ceph官方提供的集群运行状态监控命令会产生海量的状态数据，专业领域内的技术人员也需要花大量时间阅读才能分析出集群的运行状态，缺乏直观的状态信息展示，也缺少历史数据的留存，难以形成统计分析数据，更难以与用户单位既有的大数据平台进行接入融合，无法实现业务统一监控管理。以上两个方面都制约了Ceph分布式存储系统在生产环境的推广应用。因此，有必要构建一种面向大数据平台的Ceph分布式存储监控管理系统来解决上述问题。
技术实现思路
(一)要解决的技术问题本专利技术要解决的技术问题是：如何提供一种面向大数据平台的Ceph分布式存储监控管理系统，以降低技术门槛，提升数据融合效率，实现对分布式存储的全面、便利、高效的监控及管理工作。(二)技术方案为解决上述技术问题，本专利技术提供一种面向大数据平台的Ceph分布式存储监控与调优管理系统，所述系统包括：运行监控管理数据库、监控管理模块、状态告警模块、告警状态规则预设模块、性能调优模块、配置管理模块；所述运行监控管理数据库用于通过数据提取接口提取Ceph分布式存储集群的运行状态数据，存储形成数据库，为集群的监控告警及性能调优提供数据支撑；所述监控管理模块用于通过对运行监控管理数据库中的运行状态数据进行读取分析，对Ceph分布式存储集群健康状态进行实时监控，提取代表Ceph分布式存储集群健康情况的参数集合，根据所提取的参数集合生成运行监控状态数据，并发送至状态告警模块；所述告警状态规则预设模块用于针对代表Ceph分布式存储集群健康情况的参数，确定其正常状态下的上下阈值范围；所述状态告警模块用于接收监控管理模块生成的运行监控状态数据，对运行监控状态数据进行分析，将当前的代表Ceph分布式存储集群健康情况的参数与告警状态规则预设模块预设的上下阈值范围进行匹配，一旦超过上下阈值范围则触发告警，生成告警信息并通过RESTful接口提交至大数据平台进行统一的告警，并提供该告警对应的应急处理措施提示；所述性能调优模块用于通过选取不同节点数、用户规模的Ceph分布式存储集群进行部署实施，针对OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数形成预制的Ceph分布式存储集群性能调优模板库，在Ceph分布式存储集群部署初期根据预制的Ceph分布式存储集群性能调优模板库进行模板配置，对Ceph分布式存储集群性能优化涉及到的OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数在合理化范围内进行确定，生成初始调优指令至配置管理模块；在Ceph分布式存储集群运行一段时间后，性能调优模块通过对来自监控管理模块的运行监控状态参数进行计算分析，对Ceph分布式存储集群性能调优模板库中的OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数的具体值，根据运行监控状态参数所反应的当前Ceph分布式存储集群的情况进行调整，调整后生成更新的调优指令至配置管理模块；所述配置管理模块用于接收来自性能调优模块的初始调优指令或更新的调优指令，根据调优指令进行相关参数的下发及配置；其中，向大数据平台的Ceph分布式存储监控与调优管理系统，其特征在于，所述配置管理模块还用于通过人机交互接口接收外部指令来对Ceph分布式存储集群进行读操作、写操作、控制OSD是否加入Ceph分布式存储集群的处理。其中，所述运行状态数据包括PG数量、OSD运行状态数据。其中，所述运行状态数据包括OSD_MAX_WRITE_SIZE参数当前值、OSD_MAP_CACHE_SIZE参数当前值。其中，所述代表Ceph分布式存储集群健康情况的参数包括：PGsperOSD、OSD是否存储将满状态参数。其中，所述监控管理模块还用于通过RESTful接口将运行监控状态数据提交给大数据平台进行进一步的数据挖掘处理及数据展示。(三)有益效果与现有技术相比较，本专利技术能够实现对Ceph分布式存储系统的高效、低成本、统一的运维管理，显著提升系统的运维管理效率，有效降低Ceph分布式存储系统在生产环境中部署应用的技术门槛，有利于系统的大规模推广应用。附图说明图1是本专利技术一个实施例所述的系统逻辑架构图；图2是本专利技术一个实施例所述的监控告警流程图；图3是本专利技术一个实施例所述的性能调优流程图。具体实施方式为使本专利技术的目的、内容、和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。为了叙述方便，首先结合图1对本专利技术用到的一些术语进行必要的定义和说明。CephOSD(对象存储设备节点)：全称为ObjectStorageDevice，它主要的功能是存储数据、复制数据、平衡数据、恢复数据、与其它OSD间进行心跳检查等，并将一些变化情况上报给CephMonitor。CephMonitor(集群监控节点)：它是Ceph集群的监视器，用于维护集群的健康状态，同时维护着Ceph集群中的各种Map图，如OSDMap、MonitorMap、PGMap和CRUSHMap，这些Map统称为ClusterMap，用于管理集群中的所有成员、关系、属性等信息以及数据的分发等。PG：归置组，Ceph的逻辑存储单元。OSD_MAX_WRITE_SIZE：OSD一次可写入的最大值(MB)。OSD_MAP_CACHE_SIZE：保留OSDMap的缓存大小(MB)。PGsperOSD：单个OSD中的PG数量。为解决现有技术的问题，本专利技术提供一种面向大数据平台的Ceph分布式存储监控与调优管理系统，如图1所示，所述系统包括：运行监控管理数据库、监控管理模块、状态告警模块、告警状态规则预设模块、性能调优模块、配置管理模块；所述运行监控管理数据库作为整套系统的基础支撑，用于通过数据提取接口提取Ceph分布式存储集群的运行状态数据，存储形成数据库，为集群的监控告警及性能调优提供准确数据支撑；所述监控管理模块用于通过对运行监控管理数据库中的运行状态数据进行读取分析，对Ceph分布式存储集群健康状态进行实时监控，提取代表Ceph分布式存储集群健康情况的参数集合，根据所提取的参数集合生成运行监控状态数据，并发送至状态告警模块；所述告警状态规则预设模块用于针对代表Ceph分布式存储集群健康情况的参数，确定其正常状态下的上下阈值范围；所述状态告警模块用于接收监控管理模块生成的运行监控状态数据，对运行监控状态数据进行分析，将当前的代表Ceph分布式存储集群健康情况的参数与告警状态规则预设模块预设的上下阈值范围进行匹配，一旦超过上下阈值范围则触发告警，生成告警信息并通过RESTful接口迅速本文档来自技高网...

【技术保护点】
1.一种面向大数据平台的Ceph分布式存储监控与调优管理系统，其特征在于，所述系统包括：运行监控管理数据库、监控管理模块、状态告警模块、告警状态规则预设模块、性能调优模块、配置管理模块；所述运行监控管理数据库用于通过数据提取接口提取Ceph分布式存储集群的运行状态数据，存储形成数据库，为集群的监控告警及性能调优提供数据支撑；所述监控管理模块用于通过对运行监控管理数据库中的运行状态数据进行读取分析，对Ceph分布式存储集群健康状态进行实时监控，提取代表Ceph分布式存储集群健康情况的参数集合，根据所提取的参数集合生成运行监控状态数据，并发送至状态告警模块；所述告警状态规则预设模块用于针对代表Ceph分布式存储集群健康情况的参数，确定其正常状态下的上下阈值范围；所述状态告警模块用于接收监控管理模块生成的运行监控状态数据，对运行监控状态数据进行分析，将当前的代表Ceph分布式存储集群健康情况的参数与告警状态规则预设模块预设的上下阈值范围进行匹配，一旦超过上下阈值范围则触发告警，生成告警信息并通过RESTful接口提交至大数据平台进行统一的告警，并提供该告警对应的应急处理措施提示；所述性能调优模块用于通过选取不同节点数、用户规模的Ceph分布式存储集群进行部署实施，针对OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数形成预制的Ceph分布式存储集群性能调优模板库，在Ceph分布式存储集群部署初期根据预制的Ceph分布式存储集群性能调优模板库进行模板配置，对Ceph分布式存储集群性能优化涉及到的OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数在合理化范围内进行确定，生成初始调优指令至配置管理模块；在Ceph分布式存储集群运行一段时间后，性能调优模块通过对来自监控管理模块的运行监控状态参数进行计算分析，对Ceph分布式存储集群性能调优模板库中的OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数的具体值，根据运行监控状态参数所反应的当前Ceph分布式存储集群的情况进行调整，调整后生成更新的调优指令至配置管理模块；所述配置管理模块用于接收来自性能调优模块的初始调优指令或更新的调优指令，根据调优指令进行相关参数的下发及配置。...

【技术特征摘要】
1.一种面向大数据平台的Ceph分布式存储监控与调优管理系统，其特征在于，所述系统包括：运行监控管理数据库、监控管理模块、状态告警模块、告警状态规则预设模块、性能调优模块、配置管理模块；所述运行监控管理数据库用于通过数据提取接口提取Ceph分布式存储集群的运行状态数据，存储形成数据库，为集群的监控告警及性能调优提供数据支撑；所述监控管理模块用于通过对运行监控管理数据库中的运行状态数据进行读取分析，对Ceph分布式存储集群健康状态进行实时监控，提取代表Ceph分布式存储集群健康情况的参数集合，根据所提取的参数集合生成运行监控状态数据，并发送至状态告警模块；所述告警状态规则预设模块用于针对代表Ceph分布式存储集群健康情况的参数，确定其正常状态下的上下阈值范围；所述状态告警模块用于接收监控管理模块生成的运行监控状态数据，对运行监控状态数据进行分析，将当前的代表Ceph分布式存储集群健康情况的参数与告警状态规则预设模块预设的上下阈值范围进行匹配，一旦超过上下阈值范围则触发告警，生成告警信息并通过RESTful接口提交至大数据平台进行统一的告警，并提供该告警对应的应急处理措施提示；所述性能调优模块用于通过选取不同节点数、用户规模的Ceph分布式存储集群进行部署实施，针对OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数形成预制的Ceph分布式存储集群性能调优模板库，在Ceph分布式存储集群部署初期根据预制的Ceph分布式存储集群性能调优模板库进行模板配置，对Ceph分布式存储集群性能优化涉及到的OSD_MAX_WRITE_SIZE、OSD_MAP_CACHE_SIZE参数在合理化范围内进行确定，生成初...

【专利技术属性】
技术研发人员：李姝，张彤，张永静，郑春一，李世成，周羽，朱盼盼，高晓琼，左晓辉，司敬，
申请(专利权)人：北京京航计算通讯研究所，
类型：发明
国别省市：北京,11