一种数据备份的方法、设备及分布式集群文件系统技术方案

本发明专利技术的实施例公开了一种数据备份的方法、设备及分布式集群文件系统，其中，第一集群中的每个节点的后台备份线程对备份中转表中该节点负责的文件范围进行扫描；对于扫描出的所述写入的文件，所述第一集群中的节点的后台备份线程将所述写入的文件写入到所述第二集群中。通过本发明专利技术的实施例可以实现将文件自动备份到其他集群中，有效提高备份文件的安全性。

【技术实现步骤摘要】
一种数据备份的方法、设备及分布式集群文件系统
本专利技术涉及计算机
，尤其涉及一种数据备份的方法、设备及分布式集群文件系统。
技术介绍
Cassandra是一个混合型的非关系的数据库，Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra的一个写操作，会被复制到其他节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能是比较简单的事情，只管在群集里面添加节点就可以了。然而，对比现有的MYSQL(关系型数据库管理系统)这类传统数据库，Cassandra集群缺乏数据库自动备份机制，目前Cassandra数据的备份仪限于在集群内将一个节点的数据备份至另一个节点中，并没有针对于整个Cassandra集群数据的备份方案。将一个集群内的数据完整的备份至另一个集群显然会大大提高数据的安全性和可靠性，因而如何高效的将数据备份至另一个集群中成为了一个亟待解决的问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据备份的方法、设备及分布式集群文件系统，可以将文件自动备份到其他集群中。根据本专利技术的一个方面，提供了一种数据备份的方法，用于分布式集群文件系统，所述分布集群文件系统至少包括:第一集群和第二集群，所述方法包括:所述第一集群中的每个节点的后台备份线程对备份中转表中该节点负责的文件范围进行扫描；所述第一集群中的节点的后台备份线程将扫描出的写入的文件写入到所述第二集群中。可选地，在所述第一集群中的每个节点的后台备份线程对备份中转表中该节点负责的文件范围进行扫描的步骤之前，所述方法还包括:所述第一集群中的接入节点将写入的文件分配给所述第一集群的相应节点进行存储；将所述写入的文件和与所述写入的文件对应的写入请求信息同步写入备份中转表。可选地，在所述第一集群中的节点的后台备份线程将所述写入的文件写入到所述第二集群中的步骤之后，所述方法还包括:将所述写入的文件及其写入请求信息从所述备份中转表中删除。可选地，其中，所述备份中转表包括:所述写入的文件的文件名的哈希值及写入请求信息，其中所述写入请求信息包括:所述写入的文件位于第一集群和/第二集群的地址信息；所述第一集群中的接入节点将写入的文件分配给所述第一集群的相应节点进行存储的步骤包括:所述第一集群中的接入节点根据所述写入的文件名的哈希值将所述写入的文件分配给所述第一集群中相应的节点；所述第一集群中的每个节点的后台备份线程对所述备份中转表中该节点负责的文件范围进行扫描的步骤包括:所述第一集群中的每个节点的后台备份线程根据写入的文件名的哈希值，对所述备份中转表中该节点负责的文件范围进行扫描。可选地，所述第一集群中的每个节点的后台备份线程对所述备份中转表中该节点负责的文件范围进行扫描的步骤之前，所述方法还包括:检测所述第一集群中是否存在宕机的节点；当存在宕机的节点时，所述第一集群中的每个节点的后台备份线程对所述备份中转表中该节点负责的文件范围进行扫描的步骤包括:所述宕机的节点的下一节点扫描所述宕机的节点负责的文件的范围；所述第一集群中的节点的后台备份线程将所述写入的文件写入到所述第二集群中的步骤包括:所述宕机的节点的下一节点的后台备份线程将所述宕机的节点负责的文件写入到所述第二集群中。可选地，所述检测所述第一集群中是否存在宕机的节点的步骤包括:检测所述第一集群中每个节点定时向部分或所有其它节点发送心跳消息；当第一节点超过第一预定时间没有接收到第二节点的心跳消息时，判定所述第二节点宕机；所述第一节点将所述第二节点宕机的信息告知所述第二节点的下一节点。可选地，所述检测所述第一集群中是否存在宕机的节点的步骤还包括:所述第一集群中的第二节点的下一节点将所述第二节点宕机的消息存储在本地的内存；在所述第二节点的下一节点通过后台线程没有截获到所述第二节点宕机的消息时，所述第二节点的下一节点定时检查本地的内存，检测所述第二节点是否宕机。可选地，所述第二个节点的下一节点采用另外一后台线程，对所述备份中转表中所述第二个节点负责的范围进行扫描。可选地，所述所述第一集群中的接入节点将写入的文件分配给所述第一集群的相应节点进行存储的步骤为:所述第一集群中的接入节点将写入的文件分配给所述第一集群的相应节点进行存储，以及存储在所述相应节点的下一个节点中或下两个节点中。根据本专利技术的另一个方面，还提供了一种数据备份的设备，位于分布式集群文件系统的第一集群中，所述设备包括:扫描模块，用于对备份中转表中负责的文件范围进行扫描；备份模块，用于将扫描出的写入的文件写入到所述分布式集群文件系统的第二集群中。可选地，所述设备还包括:存储模块，用于将写入的文件分配给所述第一集群的相应节点进行存储；备份中转表写入模块，用于将所述写入的文件和与所述写入的文件对应的写入请求信息同步写入备份中转表。可选地，所述设备还包括:删除模块，用于将所述写入的文件及其写入请求信息从所述备份中转表中删除。可选地，所述备份中转表包括:所述写入的文件的文件名的哈希值及写入请求信息，其中所述写入请求信息包括:所述写入的文件位于第一集群和/第二集群的地址信息；所述存储模块进一步用于根据所述写入的文件名的哈希值将所述写入的文件分配给所述第一集群中相应的节点；所述扫描模块进一步用于根据写入的文件名的哈希值，对所述备份中转表中该节点负责的文件范围进行扫描。可选地，所述设备还包括:宕机检测模块，用于检测所述第一集群中是否存在宕机的节点；所述扫描模块进一步用于扫描所述宕机的节点负责的文件的范围；所述备份模块进一步用于将所述宕机的节点负责的文件写入到所述第二集群中。可选地，所述宕机检测模块进一步用于检测所述第一集群中每个节点定时向部分或所有其它节点发送心跳消息；当超过第一预定时间没有接收到第二节点的心跳消息时，判定所述第二节点宕机；将所述第二节点宕机的信息告知所述第二节点的下一节点。可选地，所述宕机检测模块还进一步用于将所述第二节点宕机的消息存储在本地的内存；在没有截获到所述第二节点宕机的消息时，定时检查本地的内存，检测所述第二节点是否岩机。根据本专利技术的又一个方面，还提供了一种分布式集群文件系统，其中，包括如上所述的数据备份的设备。由上述技术方案可知，本专利技术的实施例具有如下有益效果:在本专利技术的实施例中，第一集群中的每个节点的后台备份线程对备份中转表中该节点负责的文件范围进行扫描；第一集群中的节点的后台备份线程将扫描出的写入的文件写入到所述第二集群中，实现将文件自动备份到其他集群中，有效提高备份文件的安全性。上述说明仪是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的【具体实施方式】。【附图说明】通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仪用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:图1示出了根据本专利技术的一个实施方式的数据备份的方本文档来自技高网...

【技术保护点】
一种数据备份的方法，用于分布式集群文件系统，所述分布集群文件系统至少包括：第一集群和第二集群，所述方法包括：所述第一集群中的每个节点的后台备份线程对备份中转表中该节点负责的文件范围进行扫描；所述第一集群中的节点的后台备份线程将扫描出的写入的文件写入到所述第二集群中。

【技术特征摘要】
1.一种数据备份的方法，用于分布式集群文件系统，所述分布集群文件系统至少包括:第一集群和第二集群，所述方法包括: 所述第一集群中的每个节点的后台备份线程对备份中转表中该节点负责的文件范围进行扫描； 所述第一集群中的节点的后台备份线程将扫描出的写入的文件写入到所述第二集群中。2.根据权利要求1所述的方法，其中，在所述第一集群中的每个节点的后台备份线程对备份中转表中该节点负责的文件范围进行扫描的步骤之前，所述方法还包括: 所述第一集群中的接入节点将写入的文件分配给所述第一集群的相应节点进行存储； 将所述写入的文件和与所述写入的文件对应的写入请求信息同步写入备份中转表。3.根据权利要求1所述的方法，在所述第一集群中的节点的后台备份线程将所述写入的文件写入到所述第二集群中的步骤之后，所述方法还包括: 将所述写入的文件及其写入请求信息从所述备份中转表中删除。4.根据权利要求2所述的方法，所述备份中转表包括:所述写入的文件的文件名的哈希值及写入请求信息，其中所述写入请求信息包括:所述写入的文件位于第一集群和/第二集群的地址信息； 所述第一集群中的接入节点将写入的文件分配给所述第一集群的相应节点进行存储的步骤包括: 所述第一集群中的接入节点根据所述写入的文件名的哈希值将所述写入的文件分配给所述第一集群中相应的节点； 所述第一集群中的每个节点的后台备份线程对所述备份中转表中该节点负责的文件范围进行扫描的步骤包括: 所述第一集群中的每个节点的后台备份线程根据写入的文件名的哈希值，对所述备份中转表中该节点负责的文件范围进行扫描。5.根据权利要求1所述的方法，所述第一集群中的每个节点的后台备份线程对所述备份中转表中该节点负责的文件范围进行扫描的步骤...

【专利技术属性】
技术研发人员：张建伟，唐会军，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：