一种对Zookeeper集群监控分析系统及方法技术方案

本发明专利技术公开了一种对Zookeeper集群监控分析方法。所述方法应用于Zookeeper集群，通过系统自动定时进行自有集群监控数据获取和snapshot存储文件分析，以及任意第三方集群四字命令或地址信息的输入，获取自有集群和任意第三方集群监控数据，以及每一个znode的存储数据，将以上数据分别在自有Zookeeper集群监控展示页面、自有Zookeeper集群运行情况展示页面、第三方Zookeeper集群监控展示页面和第三方Zookeeper集群运行情况展示页面进行显示，并对自有集群运行状态进行预警。提高了集群问题处理效率，实现更深层次的数据存储情况分析，页面化、直观化展示数据存储运行情况。直观化展示数据存储运行情况。直观化展示数据存储运行情况。

【技术实现步骤摘要】
一种对Zookeeper集群监控分析系统及方法


[0001]本专利技术涉及Zookeeper集群
，尤其涉及一种对Zookeeper集群监控分析系统及方法。

技术介绍

[0002]Zookeeper是一种广泛应用于大数据和微服务领域的分布式系统协调服务，可用于解决分布式协作、元数据存储、高可用选举等一些与分布式锁相关的问题，但官方的zookeeper软件未包含页面化、直观的监控和分析手段。
[0003]公司内部因业务需要，一般存在多套zookeeper集群，传统监控方式为给每套Zookeeper部署一套监控工具，切换监控对象时需要进行底层配置修改，经过审核、割接、测试等多个步骤，不同监控对象展示切换流程复杂。
[0004]现有的Zookeeper监控工具仅提供进程存活、CPU/内存使用量等系统监控，Zookeeper因数据一致性要求，适合于多次读，少量写的应用场景，zookeeper集群往往对接多个业务，存在业务间数据存储相互干扰，某个大量写业务拖慢整体集群的情况，无法自动化、页面化展示数据存储运行情况。

技术实现思路

[0005]本专利技术提供了一种对Zookeeper集群监控分析系统及方法，以解决现有的zookeeper软件未包含页面化、直观的监控和分析手段，不同监控对象展示切换流程复杂，无法自动化、页面化展示数据存储运行情况的技术问题，提供一种可以灵活切换不同监控对象，自动化、页面化、直观化展示监控数据和数据存储运行情况的平台。
[0006]为解决上述技术问题，第一方面，本专利技术实施例提供了一种对Zookeeper集群监控分析系统，所述系统包括：自有集群监控模块、自有集群运行分析模块、第三方集群监控模块、第三方集群运行分析模块、预警模块和配置模块；
[0007]所述自有集群监控模块，用于读取所述配置模块中自有Zookeeper集群配置信息，获取所述自有Zookeeper集群的监控数据，并将所述自有Zookeeper集群的监控数据在自有Zookeeper集群监控展示页面中显示；
[0008]所述自有集群运行分析模块，用于读取所述配置模块中自有Zookeeper集群配置信息，获取所述自有Zookeeper集群的snapshot文件，通过对所述自有Zookeeper集群的snapshot文件进行解析，获取所述自有Zookeeper集群每一个znode的存储数据，并将所述自有Zookeeper集群每一个znode的存储数据在自有Zookeeper集群运行情况展示页面中显示；
[0009]所述第三方集群监控模块，用于通过第三方Zookeeper集群监控展示页面设置的输入窗口获取数据请求指令，获取所述数据请求指令所对应的第三方Zookeeper集群监控数据，并将所述第三方Zookeeper集群的监控数据在第三方Zookeeper集群监控展示页面中显示；
[0010]所述第三方集群运行分析模块，用于通过第三方Zookeeper集群运行情况展示页面上传任意第三方Zookeeper集群的snapshot文件，通过对所述任意第三方Zookeeper集群的snapshot文件进行解析，获取所述第三方Zookeeper集群每一个znode的存储数据，并将所述第三方Zookeeper集群每一个znode的存储数据在第三方zookeeper集群运行情况展示页面中显示；
[0011]所述预警模块，用于监测所述自有Zookeeper集群监控数据和每一个znode的存储数据，触发所述自有Zookeeper集群运行状态预警；
[0012]所述配置模块，用于配置需要监控的自有Zookeeper集群。
[0013]在进一步的实施例中，所述自有集群监控模块，还用于设定获取所述自有Zookeeper集群监控数据的时间周期；
[0014]所述自有集群运行分析模块，还用于设定获取并解析所述自有Zookeeper集群snapshot文件的时间周期。
[0015]在进一步实施例中，所述第三方zookeeper集群监控模块，还用于通过设置的四字命令输入窗口获取用户输入的数据请求指令，并根据所述数据请求指令，调用所述数据请求指令所对应的第三方zookeeper集群的监控数据；
[0016]以及用于通过设置的zookeeper地址信息输入窗口获取用户输入的zookeeper地址信息，并根据所述zookeeper地址信息，调用所述zookeeper地址信息所对应的第三方zookeeper集群的监控数据。
[0017]在进一步实施例中，所述监控数据至少包括：znode总数量、master/slave节点IP和数量、最大/最小延迟数据量、最大/最小发送数据量、最大/最小接收数据量、堆积请求数量、集群平均znode数据大小、集群连接数；
[0018]所述每一个znode的存储数据至少包括：各zonde存储数据的长度、数据查看修改次数、子znode数量、子znode修改次数。
[0019]在进一步实施例中，所述第三方集群运行分析模块，还用于将所述第三方Zookeeper集群每一个znode的存储数据按照数据排序条件进行排序，并以表格的形式展示前若干值。
[0020]在进一步实施例中，所述预警模块包括：
[0021]预警阈值设置模块：用于设置预警阈值，所述预警阈值至少包括：master/slave节点数量阈值、最大延迟数据量阈值、堆积请求数量阈值、znode存储数据长度阈值、znode数据修改次数阈值、子znode数量阈值、子zonode修改次数阈值；
[0022]预警触发模块：用于监测所述自有Zookeeper集群监控数据和每一个znode的存储数据，并与所述预警阈值比较，当所述自有Zookeeper集群监控数据和每一个znode的存储数据中任一数据超过其对应的预警阈值，则发出所述自有Zookeeper集群运行状态异常预警。
[0023]第二方面，本专利技术实施例提供一种对Zookeeper集群监控分析方法，所述方法包括：
[0024]读取配置模块中自有Zookeeper集群配置信息，获取所述自有Zookeeper集群的监控数据，并将所述自有Zookeeper集群的监控数据在自有Zookeeper集群监控展示页面中显示；
[0025]读取配置模块中自有Zookeeper集群配置信息，获取所述自有Zookeeper集群的snapshot文件，通过对所述自有Zookeeper集群的snapshot文件进行解析，获取所述自有Zookeeper集群每一个znode的存储数据，并将所述自有Zookeeper集群每一个znode的存储数据在自有Zookeeper集群运行情况展示页面中显示；
[0026]通过在第三方Zookeeper集群监控展示页面设置的获取窗口输入数据请求指令，获取所述数据请求指令所对应的第三方Zookeeper集群监控数据，并将所述第三方Zookeeper集群的监控数据在第三方Zookeeper集群监控展示页面中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对Zookeeper集群监控分析系统，其特征在于，所述系统包括：自有集群监控模块、自有集群运行分析模块、第三方集群监控模块、第三方集群运行分析模块、预警模块和配置模块；所述自有集群监控模块，用于读取所述配置模块中自有Zookeeper集群配置信息，获取所述自有Zookeeper集群的监控数据，并将所述自有Zookeeper集群的监控数据在自有Zookeeper集群监控展示页面中显示；所述自有集群运行分析模块，用于读取所述配置模块中自有Zookeeper集群配置信息，获取所述自有Zookeeper集群的snapshot文件，通过对所述自有Zookeeper集群的snapshot文件进行解析，获取所述自有Zookeeper集群每一个znode的存储数据，并将所述自有Zookeeper集群每一个znode的存储数据在自有Zookeeper集群运行情况展示页面中显示；所述第三方集群监控模块，用于通过第三方Zookeeper集群监控展示页面设置的输入窗口获取数据请求指令，获取所述数据请求指令所对应的第三方Zookeeper集群监控数据，并将所述第三方Zookeeper集群的监控数据在第三方Zookeeper集群监控展示页面中显示；所述第三方集群运行分析模块，用于通过第三方Zookeeper集群运行情况展示页面上传任意第三方Zookeeper集群的snapshot文件，通过对所述任意第三方Zookeeper集群的snapshot文件进行解析，获取所述第三方Zookeeper集群每一个znode的存储数据，并将所述第三方Zookeeper集群每一个znode的存储数据在第三方zookeeper集群运行情况展示页面中显示；所述预警模块，用于监测所述自有Zookeeper集群监控数据和每一个znode的存储数据，触发所述自有Zookeeper集群运行状态预警；所述配置模块：用于配置需要监控的自有Zookeeper集群。2.如权利要求1所述的对Zookeeper集群监控分析系统，其特征在于，所述自有集群监控模块，还用于设定获取所述自有Zookeeper集群监控数据的时间周期；所述自有集群运行分析模块，还用于设定获取并解析所述自有Zookeeper集群snapshot文件的时间周期。3.如权利要求1所述的对Zookeeper集群监控分析系统，其特征在于，所述第三方zookeeper集群监控模块，还用于通过设置的四字命令输入窗口获取用户输入的数据请求指令，并根据所述数据请求指令，调用所述数据请求指令所对应的第三方zookeeper集群的监控数据；以及用于通过设置的zookeeper地址信息输入窗口获取用户输入的zookeeper地址信息，并根据所述zookeeper地址信息，调用所述zookeeper地址信息所对应的第三方zookeeper集群的监控数据。4.如权利要求1所述的对Zookeeper集群监控分析系统，其特征在于，所述监控数据至少包括：znode总数量、master/slave节点IP和数量、最大/最小延迟数据量、最大/最小发送数据量、最大/最小接收数据量、堆积请求数量、集群平均znode数据大小、集群连接数；所述每一个znode的存储数据至少包括：各zonde存储数据的长度、数据查看修改次数、子znode数量、子znode修改次数。5.如权利要求1所述的对Zookeeper集群监控分析系统，其特征在于，
所述第三方集群运行分析模块，还用于将所述第三方Zookeeper集群每一个znode的存储数据按照数据排序条件进行排序，并以...

【专利技术属性】
技术研发人员：周文龙，马超，邹小勇，
申请(专利权)人：合芯科技苏州有限公司，
类型：发明
国别省市：