【技术实现步骤摘要】
一种存放备份数据的分布式存储系统及方法
本专利技术涉及数据备份
，尤其涉及分布式存储、文件系统的相关技术，具体说是一种存放备份数据的分布式存储系统及方法。
技术介绍
随着云计算、大数据等新型技术的发展，业务系统产生的数据量呈现指数级增长，因此对备份系统的IPO和ITO要求越来越高。同时，磁盘技术的发展速度远远超过磁带介质的发展步伐，越来越多的设备采用磁盘设备代替磁带设备作为首选备份介质。但是，目前的备份系统对磁盘设备的支持存在如下问题：主流备份软件均使用磁带的方式管理磁盘，只有磁盘上存储的数据全部过期之后才会对磁盘空间进行回收，极大浪费了磁盘的空间。对于文件系统备份，若采用文件索引的方式进行管理，大量的文件将导致备份软件索引管理困难，长时间大量文件备份后，备份系统的索引空间会出现暴涨，伴有显著的性能降低。海量文件的增量备份恢复时，需要一次一次的恢复增量，将消耗大量时间，恢复浏览周期内的文件需要进行繁琐的索引查询，若使用文件索引，索引的效率非常低下，并且索引结构非常臃肿。若使用小型开源数据库存放索引，则当文件数量过多时会导致数据库稳定性下降，非常不利于维护，若...
【技术保护点】
1.一种存放备份数据的分布式存储系统，其特征在于，包括集群管理节点、元数据管理节点和存储节点；所述集群管理节点用于提供集群的管理服务，以及元数据管理节点的选举和仲裁；所述集群管理节点的数量为N，其中N≥3；所述元数据管理节点用于管理整个集群的配置信息并负责元数据管理节点的选举和切换；所述元数据管理节点至少包括主用元数据管理节点和备用数据管理节点；所述主用元数据管理节点管理整个集群的配置信息并负责元数据管理节点的选举和切换；所述备用数据管理节点用于当主用元数据管理节点出现故障时，替代主用元数据管理节点工作；所述存储节点用于存储备份数据；所述存储节点的数量为M，其中M≥2。
【技术特征摘要】
1.一种存放备份数据的分布式存储系统，其特征在于，包括集群管理节点、元数据管理节点和存储节点；所述集群管理节点用于提供集群的管理服务，以及元数据管理节点的选举和仲裁；所述集群管理节点的数量为N，其中N≥3；所述元数据管理节点用于管理整个集群的配置信息并负责元数据管理节点的选举和切换；所述元数据管理节点至少包括主用元数据管理节点和备用数据管理节点；所述主用元数据管理节点管理整个集群的配置信息并负责元数据管理节点的选举和切换；所述备用数据管理节点用于当主用元数据管理节点出现故障时，替代主用元数据管理节点工作；所述存储节点用于存储备份数据；所述存储节点的数量为M，其中M≥2。2.根据权利要求1所述的一种存放备份数据的分布式存储系统，其特征在于，所述存储节点的数据存储结构包括元数据管理区、位图和数据管理区；所述元数据管理区用于存放所有的元数据；所述元数据包括数据块的属性信息；所述数据块用于存放按照硬盘大小64M切块后的备份数据；所述位图采用表的方式记录所述存储节点上的数据块使用情况；所述数据管理区用于存放数据块。3.一种存放备份数据的分布式存储方法，是基于权利要求1所述的一种存放备份数据的分布式存储系统实现，其特征在于，包括：采用哈希校验的方式进行备份数据的存放校验，备份数据以数据块的方式存放，并将数据块的存放位置记录至元数据，同时将备份数据复制到另外的存储节点作为副本；采用先按照元数据记录进行散粒组合然后再通过哈希校验的方式进行数据恢复；采用将获取元数据的过期时间信息，将元数据的过期时间信息与当前系统的时间对比的方式进行备份数据垃圾回收。4.根据权利要求3所述的一种存放备份数据的分布式存储方法，其特征在于，在所述备份数据的存放、数据恢复以及备份数据垃圾回收之前，还包括原始数据的写入，所述原始数据的写入方法包括以下步骤：S1：向元数据管理节点发送写入请求；S2：所述元数据管理节点按照就近原则选择存储节点，将原始数据按照数据块的方式写入所述存储节点；所述数据块是将原始数据切块，切块的大小为64兆，所述数据块的数量＝[原始数据的大小(兆)/64(兆)]+1；S3：所述存储节点将写入的所有数据块的信息进行哈希校验，并将哈希校验值反馈给所述元数据管理节点作为元数据；S4：所述元数据管理节点接收到从存储节点反馈元数据后，通过散列算法再将数据块进行副本拷贝，并将副本调度到另外存储节点进行存放，待...
【专利技术属性】
技术研发人员：靖尧，王承龙，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。