一种支持集群的云备份系统及其方法技术方案

本发明专利技术涉及一种支持集群的云备份系统及其方法，该系统包括：客户端模块，用于负责获取备份数据；元数据管理模块，用于负责查询、记录备份数据的存储信息及数据信息；数据读写模块，用于负责数据的处理、数据读写调度；节点管理模块，用于负责节点的管理、元数据节点及数据节点的分配；云存储读写模块，用于负责从云存储读取数据及向云存储写入数据；服务管理模块，用于负责云备份系统服务的管理。与现有技术相比，本发明专利技术能积极有效的帮助用户更快、更及时的完成数据保护，从而节省更多的物力成本和人力成本等优点。

A Cloud Backup System Supporting Cluster and Its Method

The present invention relates to a cloud backup system supporting cluster and its method. The system includes: client module, which is responsible for obtaining backup data; metadata management module, which is responsible for querying and recording backup data storage information and data information; data reading and writing module, which is responsible for data processing, data reading and writing scheduling; node management module, which is responsible for node management. Management, metadata node and data node allocation; cloud storage read-write module, which is responsible for reading data from cloud storage and writing data to cloud storage; service management module, which is responsible for the management of cloud backup system services. Compared with the prior art, the invention can actively and effectively help users complete data protection faster and more timely, thereby saving more material and human costs.

【技术实现步骤摘要】
一种支持集群的云备份系统及其方法
本专利技术涉及数据存储领域，尤其是涉及一种支持集群的云备份系统及其方法，实现将生产环境中的数据通过该云备份系统备份至云端，完成生产数据的保护，同时通过负载均衡提升集群环境的备份性能，缩短数据保护窗口时间。
技术介绍
随着计算机的不断发展，数据保护也逐步在加强。然而随着数据的迅速增加，数据保护变得越来越难，存储数据的成本也变得越来越大。随着云存储的出现，大大降低了数据存储的成本，越来越多的用户选择将生产环境的数据备份至云存储，减少数据保护的成本。但随着生产数据的变多，将数据备份至云存储的数据保护窗口时间也相应的变长，单个服务器的备份系统已经很难满足用户的需求。集群环境的出现就是为了解决单个服务器性能瓶颈的问题。集群环境可以将多个任务均衡的分配给多个服务器，以保证整个备份系统的吞吐能力是整个集群的总和。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种支持集群的云备份系统及其方法，支持将用户的生产数据备份至云存储，并利用集群环境提升备份系统的吞吐能力，缩短数据保护的窗口时间。本专利技术的目的可以通过以下技术方案来实现：一种支持集群的云备份系统，包括：客户端模块，用于负责获取备份数据；元数据管理模块，用于负责查询、记录备份数据的存储信息及数据信息；数据读写模块，用于负责数据的处理、数据读写调度；节点管理模块，用于负责节点的管理、元数据节点及数据节点的分配；云存储读写模块，用于负责从云存储读取数据及向云存储写入数据；服务管理模块，用于负责云备份系统服务的管理。优选地，所述的节点管理模块包括一个节点客户端及一个节点服务端；集群中每一个节点均存在节点管理模块，每一个节点的节点客户端均循环的向集群主节点的节点服务端发送自身节点的节点信息，集群主节点的节点服务端根据各个节点发送过来的节点信息分配元数据节点及数据节点。优选地，所述的元数据节点，用于负责管理元数据的一个节点，一个集群在同一时间只会存在一个元数据节点，当当前的元数据节点宕机后由集群主节点的节点服务端重新分配元数据节点。优选地，在云备份系统备份和恢复过程中元数据的读写均交由元数据节点的元数据管理模块进行处理。优选地，所述的数据节点是负责读写数据的一个节点，一个集群在同一时间可能存在一个或多个数据节点，一个备份或恢复任务只会获取一个数据节点。优选地，所述的在云备份系统备份和恢复过程中数据的读写均交由数据节点的数据读写模块进行处理。一种采用所述的支持集群的云备份系统的方法，包括云备份系统的数据备份过程，和云备份系统的数据恢复过程。优选地，所述的云备份系统的数据备份过程具体为：1)初始化云备份系统；1.1)加载客户端模块；1.2)客户端模块获取集群主节点信息；1.3)客户端模块根据步骤1.2)中获取的主节点信息连接至集群主节点的节点管理模块；1.4)客户端模块从步骤1.3)中已连接的节点管理模块获取元数据节点信息；1.5)客户端模块根据步骤1.4)中获取的元数据节点信息连接至元数据节点的元数据管理模块；1.6)客户端模块从步骤1.3)中已连接的节点管理模块获取数据节点信息；1.7)客户端模块根据步骤1.6)中获取的数据节点信息连接至数据节点的数据读写模块；1.8)客户端模块将云存储信息发送至步骤1.5)中已连接的元数据管理模块；1.9)客户端模块将云存储信息发送至步骤1.7)中已连接的数据读写模块；1.10)客户端模块初始化步骤1.7)中已连接的数据读写模块；2)客户端模块获取需要备份的数据；3)检测步骤2)中是否存在需要备份的数据，若是则继续执行步骤4)，否则执行步骤7)；4)备份数据；4.1)客户端模块对步骤2)获取的数据进行加密或重复数据删除处理；4.2)客户端模块获取步骤2)获取的数据的数据信息；4.3)客户端模块将步骤4.1)处理后的数据发送至步骤1.7)已连接的数据读写模块；4.4)数据读写模块接收步骤4.3)发送过来的数据；4.5)数据读写模块将步骤4.4)接收到的数据进行合并、压缩处理；4.6)数据读写模块将步骤4.5)处理后的数据传入云存储读写模块；4.7)云存储读写模块并发将传入的数据写入云存储并将存储信息返回数据读写模块；4.8)数据读写模块将步骤4.7)中数据在云存储的存储信息发送至客户端模块；5)记录数据信息及存储信息；5.1)客户端模块接收步骤4.7)发送过来的存储信息；5.2)客户端模块将步骤4.2)获取的数据信息和步骤5.1)接收的存储信息进行关联；5.3)客户端模块将步骤5.2)关联后的数据信息和存储信息发送至步骤1.5)中已连接的元数据管理模块；5.4)元数据管理模块接收步骤5.3)发送过来的数据信息和存储信息；5.5)元数据管理模块对数据信息和存储信息进行组织和处理；5.6)元数据管理模块将步骤5.5)处理后的信息存入数据库；6)继续执行步骤2)；7)结束备份；7.1)元数据管理模块将该次备份所记录的数据信息和存储信息传入云存储读写模块；7.2)云存储读写模块将步骤7.1)传入的数据信息及存储信息写入云存储；7.3)客户端模块断开步骤1.3)、步骤1.5)及步骤1.7)中产生的连接。优选地，所述的云备份系统的数据恢复过程具体为：1)初始化云备份系统；1.1)加载客户端模块；1.2)客户端模块获取集群主节点信息；1.3)客户端模块根据步骤1.2)中获取的主节点信息连接至集群主节点的节点管理模块；1.4)客户端模块从步骤1.3)中已连接的节点管理模块获取元数据节点信息；1.5)客户端模块根据步骤1.4)中获取的元数据节点信息连接至元数据节点的元数据管理模块；1.6)客户端模块从步骤1.3)中已连接的节点管理模块获取数据节点信息；1.7)客户端模块根据步骤1.6)中获取的数据节点信息连接至数据节点的数据读写模块；1.8)客户端模块将云存储信息发送至步骤1.5)中已连接的元数据管理模块；1.9)客户端模块将云存储信息发送至步骤1.7)中已连接的数据读写模块；1.10)客户端模块初始化步骤1.7)中已连接的数据读写模块；2)客户端模块从步骤1.5)连接的元数据管理模块读取数据信息及存储信息；3)检测步骤2)是否存在需要恢复的数据，若是则继续执行步骤4)，否则执行步骤6)；4)恢复数据；4.1)客户端模块将步骤2)获取的存储信息发送至步骤1.7)连接的数据读写模块；4.2)数据读写模块接收步骤4.1)发送过来的存储信息并解析；4.3)数据读写模块将步骤4.2)解析后的存储信息传入云存储读写模块；4.4)云存储读写模块根据步骤4.3)传入的存储信息读取数据并返回至数据读写模块；4.5)数据读写模块对步骤4.4)读取的数据进行分解、解压、合并处理；4.6)数据读写模块将步骤4.5)处理后数据发送至客户端模块；4.7)客户端模块接收步骤4.6)发送过来的数据；4.8)客户端模块对步骤4.7)接收到的数据进行解密、合并处理；4.9)客户端模块将步骤4.8)处理后的数据传入应用；5)继续执行步骤2)；6)结束恢复，客户端模块断开步骤1.3)、步骤1.5)及步骤1.7)中产生的连接。与现有技术相比，本专利技术能将生产数据直接备份至云存储，且支持从云存储直接恢复至生产环境。该系统能够支持集群，解决了本文档来自技高网...

【技术保护点】
1.一种支持集群的云备份系统，其特征在于，包括：客户端模块，用于负责获取备份数据；元数据管理模块，用于负责查询、记录备份数据的存储信息及数据信息；数据读写模块，用于负责数据的处理、数据读写调度；节点管理模块，用于负责节点的管理、元数据节点及数据节点的分配；云存储读写模块，用于负责从云存储读取数据及向云存储写入数据；服务管理模块，用于负责云备份系统服务的管理。

【技术特征摘要】
1.一种支持集群的云备份系统，其特征在于，包括：客户端模块，用于负责获取备份数据；元数据管理模块，用于负责查询、记录备份数据的存储信息及数据信息；数据读写模块，用于负责数据的处理、数据读写调度；节点管理模块，用于负责节点的管理、元数据节点及数据节点的分配；云存储读写模块，用于负责从云存储读取数据及向云存储写入数据；服务管理模块，用于负责云备份系统服务的管理。2.根据权利要求1所述的一种支持集群的云备份系统，其特征在于，所述的节点管理模块包括一个节点客户端及一个节点服务端；集群中每一个节点均存在节点管理模块，每一个节点的节点客户端均循环的向集群主节点的节点服务端发送自身节点的节点信息，集群主节点的节点服务端根据各个节点发送过来的节点信息分配元数据节点及数据节点。3.根据权利要求1所述的一种支持集群的云备份系统，其特征在于，所述的元数据节点，用于负责管理元数据的一个节点，一个集群在同一时间只会存在一个元数据节点，当当前的元数据节点宕机后由集群主节点的节点服务端重新分配元数据节点。4.根据权利要求3所述的一种支持集群的云备份系统，其特征在于，在云备份系统备份和恢复过程中元数据的读写均交由元数据节点的元数据管理模块进行处理。5.根据权利要求1所述的一种支持集群的云备份系统，其特征在于，所述的数据节点是负责读写数据的一个节点，一个集群在同一时间可能存在一个或多个数据节点，一个备份或恢复任务只会获取一个数据节点。6.根据权利要求5所述的一种支持集群的云备份系统，其特征在于，所述的在云备份系统备份和恢复过程中数据的读写均交由数据节点的数据读写模块进行处理。7.一种采用权利要求1所述的支持集群的云备份系统的方法，其特征在于，包括云备份系统的数据备份过程，和云备份系统的数据恢复过程。8.根据权利要求7所述的方法，其特征在于，所述的云备份系统的数据备份过程具体为：1)初始化云备份系统；1.1)加载客户端模块；1.2)客户端模块获取集群主节点信息；1.3)客户端模块根据步骤1.2)中获取的主节点信息连接至集群主节点的节点管理模块；1.4)客户端模块从步骤1.3)中已连接的节点管理模块获取元数据节点信息；1.5)客户端模块根据步骤1.4)中获取的元数据节点信息连接至元数据节点的元数据管理模块；1.6)客户端模块从步骤1.3)中已连接的节点管理模块获取数据节点信息；1.7)客户端模块根据步骤1.6)中获取的数据节点信息连接至数据节点的数据读写模块；1.8)客户端模块将云存储信息发送至步骤1.5)中已连接的元数据管理模块；1.9)客户端模块将云存储信息发送至步骤1.7)中已连接的数据读写模块；1.10)客户端模块初始化步骤1.7)中已连接的数据读写模块；2)客户端模块获取需要备份的数据；3)检测步骤2)中是否存在需要备份的数据，若是则继续执行步骤4)，否则执行步骤7)；4)备份数据；4.1)客户端模块对步骤2)获取的数据进行加密或重复数据删除处理；4.2)客户端模块获取步骤2)获取的数据的数据信息；4.3)客户端模块将步骤4.1)处理后的数据发送至步骤1.7)已连接的数据读写模块；4.4)数据读写模块接收步骤4.3)发送过来的数...

【专利技术属性】
技术研发人员：吴植民，
申请(专利权)人：上海爱数信息技术股份有限公司，
类型：发明
国别省市：上海,31