基于salt的Zookeeper备份管理系统及方法技术方案

本发明专利技术公开了一种基于salt的Zookeeper备份管理系统及方法，该系统包括元数据管理端、Zookeeper集群节点、存储节点和恢复节点；元数据管理端需要部署salt管理服务，用于注册所有的Zookeeper集群节点，调用salt自身接口，获取Zookeeper集群节点上所有的Zookeeper集群服务元数据，发送Zookeeper备份文件到存储节点对应的存储目录，获取到指定的备份文件，发送到指定的恢复节点，进而得到Zookeeper备份数据。对于每个Zookeeper集群，每天都有对应的备份文件，对备份文件进行统一化管理；Zookeeper备份整个过程自动化，不需要人工干预，大大降低备份工作维护成本；恢复速度快，可以一键操作恢复所需要的数据。支持按照年份、月份和日期进行备份，Zookeeper备份策略灵活多样。

Zookeeper backup management system and method based on salt

The invention discloses a salt Zookeeper backup management system and method based on the system, including the metadata management terminal, Zookeeper cluster nodes and storage nodes and recovery nodes; metadata management terminal need to deploy the salt management service for Zookeeper cluster registration point all the call Salt interface, Zookeeper cluster nodes all Zookeeper the cluster service metadata storage directory corresponding to send Zookeeper backup file to the storage nodes, access to the specified backup files sent to the specified node recovery, and then obtain the Zookeeper data backup. For each Zookeeper cluster, every day there are corresponding backup files for unified management of the backup file backup Zookeeper; the whole process automation, without manual intervention, the backup work greatly reduce maintenance cost; fast recovery, data recovery can be a key operation required. Support backup according to the year, month and date, Zookeeper backup strategy is flexible and diverse.

【技术实现步骤摘要】
基于salt的Zookeeper备份管理系统及方法
本专利技术属于计算机
，主要应用于Zookeeper集群数据备份的应用场景，以便保障Zookeeper集群数据的可用性。
技术介绍
对于互联网公司而言，随着业务需求越来越复杂，Zookeeper作为服务发现和服务注册服务，得到广泛应用。现有Zookeeper数据备份方法具有如下缺点：(1)缺乏系统管理：对Zookeeper备份，没有做系统性管理，缺乏规范化。(2)备份方案缺乏简便性，操作复杂，易用性差。(3)备份方案不够科学，很难保证备份数据的可用性。(4)数据恢复过程繁杂，无法做到快速恢复数据。
技术实现思路
本专利技术针对现有技术的不足，提供一种基于salt的Zookeeper备份管理系统及方法，基于salt可以获取Zookeeper集群所有成员信息，还可以实现发送备份文件到存储节点，同时也可以方便获取备份文件到恢复节点，从而快速恢复数据。本专利技术的目的是通过以下技术方案来实现的：一种基于salt的Zookeeper备份管理系统，该系统包括元数据管理端、Zookeeper集群节点、存储节点和恢复节点。元数据管理端：需要部署salt管理服务，用于注册所有的Zookeeper集群节点，所有的Zookeeper集群节点的主机名保存在元数据管理端的Zookeeper集群节点元数据中；Zookeeper集群节点上的所有Zookeeper服务的IP和端口信息，保存在元数据管理端的Zookeeper集群服务元数据中；Zookeeper数据备份完成后，备份文件的相关信息保存在元信息管理端的Zookeeper集群备份元数据中，Zookeeper集群备份元数据包括：Zookeeper集群端口、备份文件名、存储节点主机名、存储目录；在元数据管理端，调用salt自身接口，获取Zookeeper集群节点上所有的Zookeeper集群服务元数据；调用salt自身接口，发送Zookeeper备份文件到存储节点对应的存储目录；调用salt自身接口，获取到指定的备份文件，发送到指定的恢复节点，进而得到Zookeeper备份数据。Zookeeper集群节点：部署Zookeeper集群，每个Zookeeper集群包括奇数个Zookeeper服务(通常至少3个)，每个Zookeeper集群以端口唯一标识。需要部署salt客户端，用于接收salt管理服务的指令，从而完成指定的操作。存储节点：存放Zookeeper备份数据的服务器，部署salt客户端，用于接收salt管理服务的指令，从而完成指定的操作。恢复节点：需要部署salt客户端，用于接收salt管理服务发送的备份数据，从而快速恢复所述Zookeeper备份数据。进一步地，所述Zookeeper集群节点包括Zookeeper服务获取模块：按照Zookeeper集群部署要求，一个Zookeeper集群至少需要3个成员，并且，成员个数为奇数，例如可以采用3个成员形式部署Zookeeper集群；一个Zookeeper集群中所有成员的端口保持一致，不同的Zookeeper集群，端口不同，采用端口唯一标识所述Zookeeper集群。所述Zookeeper服务获取模块，需要传入的参数：Zookeeper集群节点元数据。进一步地，所述元数据管理端包括元数据管理模块、任务调度模块、数据备份模块和备份文件管理模块；所述元数据管理模块，需要传入的参数：Zookeeper集群节点的主机名；所述任务调度模块，需要传入的参数：Zookeeper集群服务元数据；所述数据备份模块，需要传入的参数：Zookeeper集群服务元数据；所述备份文件管理模块，需要传入的参数：备份文件名或者Zookeeper集群备份元数据。进一步地，所述存储节点包括备份存储模块，需要传入的参数：Zookeeper集群备份元数据。进一步地，所述恢复节点包括数据恢复模块：需要传入参数：Zookeeper集群的端口和备份日期。一种基于salt的Zookeeper备份管理方法，该方法包括：(1)调用元数据管理模块，更新Zookeeper集群节点元数据，在调用Zookeeper服务获取模块结束后，在元数据管理端更新Zookeeper集群服务元数据；在调用备份存储模块结束后，在元数据管理端更新Zookeeper集群备份元数据。(2)调用Zookeeper服务获取模块，扫描Zookeeper集群节点元数据，获取到所有Zookeeper集群节点上的所有Zookeeper集群成员的IP和端口信息，并且记录在Zookeeper集群服务元数据中。(3)定期运行任务调度模块，扫描Zookeeper集群服务元数据，调用对应的数据备份模块，从而触发Zookeeper数据备份操作。(4)数据备份模块调用Zookeeper备份工具，根据传入的参数，针对每个Zookeeper集群，执行一次备份操作。如果备份失败，那么调用备份文件管理模块，否则，调用备份存储模块。(5)调用备份存储模块，在数据备份模块执行结束后，返回Zookeeper备份文件名，然后，备份存储模块发送所述Zookeeper备份文件到存储节点指定存储目录下，同时，更新Zookeeper集群备份元数据。(6)调用备份文件管理模块，每天定期调用本模块，按照Zookeeper备份策略要求，删除过期的备份文件、失败的备份文件。(7)调用数据恢复模块，元数据管理端调用本模块，发送指定的备份文件到存储节点，在存储节点上启动一个新Zookeeper服务，并且采用Zookeeper数据恢复工具，恢复备份文件数据到该Zookeeper服务中，从而得到所需数据。本专利技术的有益效果是：(1)系统性管理备份文件：对于每个Zookeeper集群，每天都有对应的备份文件，所述备份文件进行统一化管理。(2)自动化管理：Zookeeper备份整个过程自动化，不需要人工干预，大大降低备份工作维护成本。(3)恢复速度快：可以一键操作，恢复所需要的数据。(4)支持多层次备份：支持按照年份、月份和日期进行备份，Zookeeper备份策略灵活多样。附图说明图1是本专利技术基于salt的Zookeeper备份管理系统总体架构图；图2是本专利技术基于salt的Zookeeper备份管理系统各个模块流程图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细说明。如图1所示，本专利技术提供的一种基于salt的Zookeeper备份管理系统，该系统包括元数据管理端、Zookeeper集群节点、存储节点和恢复节点四个单元：(1)元数据管理端在元数据管理端，需要部署salt管理服务，以便发送指令或者文件到salt客户端，完成指定的操作。元数据管理端主要存储Zookeeper集群节点元数据、Zookeeper集群服务元数据和Zookeeper集群备份元数据，通过如下方式增加Zookeeper集群节点元数据：#salt-key–y–a‘Zookeeper集群节点主机名’如果需要调整Zookeeper集群，删除某个Zookeeper集群节点主机，方式如下：#salt-key–d‘Zookeeper集群节点主机名’说明：Zookeeper集群节点主机名是部署Zookeeper服务的服务器主机名；元数据管理端定期运行Zooke本文档来自技高网...

【技术保护点】
一种基于salt的Zookeeper备份管理系统，其特征在于，该系统包括元数据管理端、Zookeeper集群节点、存储节点和恢复节点；元数据管理端：需要部署salt管理服务，用于注册所有的Zookeeper集群节点，所有的Zookeeper集群节点的主机名保存在元数据管理端的Zookeeper集群节点元数据中；Zookeeper集群节点上的所有Zookeeper服务的IP和端口信息，保存在元数据管理端的Zookeeper集群服务元数据中；Zookeeper数据备份完成后，备份文件的相关信息保存在元信息管理端的Zookeeper集群备份元数据中，Zookeeper集群备份元数据包括：Zookeeper集群端口、备份文件名、存储节点主机名、存储目录；在元数据管理端，调用salt自身接口，获取Zookeeper集群节点上所有的Zookeeper集群服务元数据；发送Zookeeper备份文件到存储节点对应的存储目录；获取到指定的备份文件，发送到指定的恢复节点，进而得到Zookeeper备份数据；Zookeeper集群节点：部署Zookeeper集群，每个Zookeeper集群包括奇数个Zookeeper服务，每个Zookeeper集群以端口唯一标识；需要部署salt客户端，用于接收salt管理服务的指令，从而完成指定的操作；存储节点：存放Zookeeper备份数据的服务器，部署salt客户端，用于接收salt管理服务的指令，从而完成指定的操作。恢复节点：需要部署salt客户端，用于接收salt管理服务发送的备份数据，从而快速恢复所述Zookeeper备份数据。...

【技术特征摘要】
1.一种基于salt的Zookeeper备份管理系统，其特征在于，该系统包括元数据管理端、Zookeeper集群节点、存储节点和恢复节点；元数据管理端：需要部署salt管理服务，用于注册所有的Zookeeper集群节点，所有的Zookeeper集群节点的主机名保存在元数据管理端的Zookeeper集群节点元数据中；Zookeeper集群节点上的所有Zookeeper服务的IP和端口信息，保存在元数据管理端的Zookeeper集群服务元数据中；Zookeeper数据备份完成后，备份文件的相关信息保存在元信息管理端的Zookeeper集群备份元数据中，Zookeeper集群备份元数据包括：Zookeeper集群端口、备份文件名、存储节点主机名、存储目录；在元数据管理端，调用salt自身接口，获取Zookeeper集群节点上所有的Zookeeper集群服务元数据；发送Zookeeper备份文件到存储节点对应的存储目录；获取到指定的备份文件，发送到指定的恢复节点，进而得到Zookeeper备份数据；Zookeeper集群节点：部署Zookeeper集群，每个Zookeeper集群包括奇数个Zookeeper服务，每个Zookeeper集群以端口唯一标识；需要部署salt客户端，用于接收salt管理服务的指令，从而完成指定的操作；存储节点：存放Zookeeper备份数据的服务器，部署salt客户端，用于接收salt管理服务的指令，从而完成指定的操作。恢复节点：需要部署salt客户端，用于接收salt管理服务发送的备份数据，从而快速恢复所述Zookeeper备份数据。2.根据权利要求1所述的一种基于salt的Zookeeper备份管理系统，其特征在于，所述Zookeeper集群节点包括Zookeeper服务获取模块，所述Zookeeper服务获取模块，需要传入的参数：Zookeeper集群节点元数据；根据传入的Zookeeper集群节点元数据，解析得到所有的Zookeeper服务主机名，然后调用salt接口，获取所述Zookeeper服务主机名对应的Zookeeper进程信息，然后解析所述Zookeeper进程信息，得到集群端口号，记录Zookeeper服务的IP和端口到Zookeeper集群服务元数据中。3.根据权利要求1所述的一种基于salt的Zookeeper备份管理系统，其特征在于，所述元数据管理端包括元数据管理模块、任务调度模块、数据备份模块和备份文件管理模块；所述元数据管理模块需要传入的参数：Zookeeper集群节点的主机名；根据传入的参数，调用salt自身接口，注册或者删除Zookeeper集群节点元数据，如果Zookeeper集群节点调整，人工更新Zookeeper集群节点元数据；同时，在元数据管理端存储Zookeeper集群服务元数据和Zookeeper集群备份元数据；每天定期更新和归档所述Zookeeper集群服务元数据和所述Zookeeper集群备份元数据，便于查看历史记录；同时，备份所述Zookeeper集群备份元数据，保证备份文件可用性；所述任务调度模块需要传入的参数：Zookeeper集群服务元数据；解析所述Zookeeper集群服务元数据，得到所有Zookeeper集群的所有成员的IP和端口，然后调用数据备份模块；采用定时任务形式调用该模块；所述数据备份模块需要传入的参数：Zookeeper集群服务元数据；解析所述Zookeeper集群服务元数据，得到所有Zookeeper集群的端口号和Zookeeper集群成员的主机名，采用Zookeeper备份工具，传入以上参数执行Zo...

【专利技术属性】
技术研发人员：顾伟涛，
申请(专利权)人：杭州铭师堂教育科技发展有限公司，
类型：发明
国别省市：浙江,33