分布式存储系统数据修复的方法和装置制造方法及图纸

本发明专利技术提供了一种分布式存储系统数据修复的方法和装置。该方法包括：监测目标分片的副本所在节点是否出现故障，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；若监测到所述目标分片的副本所在节点出现故障，重新启动与所述目标分片的副本对应的进程；以及修复所述故障节点上所述目标分片的副本的数据。本发明专利技术实施例提供的技术方案能够实现对故障节点上目标分片的副本的数据的及时、快速修复的目的，从而提高分布式存储系统对外提供业务服务的性能。

【技术实现步骤摘要】

本专利技术涉及计算机
，特别是一种分布式存储系统数据修复的方法和装置。
技术介绍
分布式存储系统，一般采用多副本的分布存储策略，通过多副本冗余存储来保证数据的可靠性。例如，可以采用3副本存储，利用hash(哈希)算法确定节点后，将数据的一个副本存储在该节点(或机器)上，而将另外2份副本存储在其他节点上。当某个节点出现故障时，仍然保证另外两个副本可以访问，并在合适的条件下完成故障副本的修复。为了提高分布式存储系统中各个节点对外提供业务服务的性能，可以对各个节点进行数据分片，各个数据分片具有接收并响应数据请求的主副本以及同步该主副本的数据操作的从副本，且主副本与其对应的一个或多个从副本位于不同的节点。并且，考虑到分布式存储系统的负载均衡，应尽可能保证各个节点上面的主副本是一样多的。当分布式存储系统中的节点出现故障时，如何对故障节点上数据分片的主副本或从副本的数据进行及时修复成为亟待解决的技术问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的分布式存储系统数据修复的方法和相应的装置。依据本专利技术的一方面，提供了一种分布式存储系统数据修复的方法，包括:监测目标分片的副本所在节点是否出现故障，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；若监测到所述目标分片的副本所在节点出现故障，重新启动与所述目标分片的副本对应的进程;以及修复所述故障节点上所述目标分片的副本的数据。可选地，所述监测目标分片的副本所在节点是否出现故障的步骤包括:监测目标分片的副本的在线数量;以及当监测到所述目标分片的副本的在线数量与预设数量不一致时，确定所述目标分片的副本所在节点出现故障。可选地，所述监测目标分片的副本的在线数量的步骤包括:[0014I获取所述分布式存储系统的meta信息，其中，所述meta信息中记录了所述分布式存储系统中各分片的副本的在线状态；在所述meta信息中查找所述目标分片的副本的在线状态；以及根据所述目标分片的副本的在线状态，确定所述目标分片的副本的在线数量。可选地，若所述meta信息存储在所述分布式存储系统的一个或多个节点，当所述一个或多个节点中的任意一个节点上的分片的副本的在线状态发生变化时，对应修改该任意一个节点的meta信息，并广播给所述一个或多个节点中的其它节点，同步修改该其它节点上的meta信息；所述获取所述分布式存储系统的meta信息的步骤包括:从所述一个或多个节点处获取所述meta信息。可选地，所述meta信息中还记录了所述分布式存储系统中各分片的副本存储在哪个节点；在确定所述目标分片的副本所在节点出现故障之后，所述方法还包括通过以下步骤确定所述故障节点:在所述meta信息中查找所述目标分片的副本所在节点；以及根据所述目标分片的副本所在节点以及副本的在线状态，确定所述故障节点。可选地，若确定所述目标分片的原主副本所在节点为所述故障节点，则修复所述故障节点上所述目标分片的副本的数据的步骤包括:在所述目标分片的当前主副本与所述目标分片的原主副本之间进行数据同步;或者在所述目标分片的当前从副本与所述目标分片的原主副本之间进行数据同步。可选地，所述在所述目标分片的当前主副本与所述目标分片的原主副本之间进行数据同步的步骤包括:获取所述目标分片的当前主副本的第一日志记录以及所述目标分片的原主副本的第二日志记录；比较所述第一日志记录和所述第二日志记录，判断是否能够确定出两者的数据同步点；以及若确定出所述数据同步点，则根据所述数据同步点，在所述目标分片的当前主副本与所述目标分片的原主副本间进行数据同步。可选地，所述根据所述数据同步点，在所述目标分片的当前主副本与所述目标分片的原主副本间进行数据同步的步骤包括:根据所述数据同步点，确定存在于所述第一日志记录、且未存在于所述第二日志记录的第一日志记录增量，以及未存在于所述第一日志记录、且存在于所述第二日志记录的第二日志记录增量；以及在所述目标分片的原主副本中执行所述第一日志记录增量对应的操作，以及在所述目标分片的当前主副本中执行所述第二日志记录增量对应的操作。可选地，在比较所述第一日志记录和所述第二日志记录，判断是否能够确定出两者的数据同步点之后，所述方法还包括:若未确定出所述数据同步点，则获取所述目标分片的当前主副本上的所有数据；以及将所述目标分片的原主副本上的数据替换为获取的所述所有数据，以及将所述目标分片的原主副本的所述第二日志记录替换为所述第一日志记录，并在所述目标分片的原主副本中执行所述第一日志记录对应的操作。可选地，在比较所述第一日志记录和所述第二日志记录，判断是否能够确定出两者的数据同步点之后，所述方法还包括:若未确定出所述数据同步点，则将所述目标分片的原主副本的所述第二日志记录替换为所述第一日志记录，并在所述目标分片的原主副本中执行所述第一日志记录对应的操作。可选地，在修复所述目标分片的原主副本的数据之后，所述方法还包括:将所述目标分片的原主副本，以所述目标分片的当前主副本的从副本的身份加入所述分布式存储系统。可选地，若确定所述目标分片的原从副本所在节点为所述故障节点，则修复所述故障节点上所述目标分片的副本的数据的步骤包括:将所述目标分片的当前主副本的数据同步至所述目标分片的原从副本。可选地，所述监测目标分片的副本的在线数量的步骤包括:以广播的方式向所述分布式存储系统的各节点发送查找所述目标分片的副本的请求，所述请求中携带有所述目标分片的副本的标识；接收所述各节点返回的响应信息；以及根据所述响应信息确定所述目标分片的副本的在线数量。可选地，当所述目标分片包括多个时，所述监测目标分片的副本的在线数量的步骤包括:按照指定的顺序，依次对多个目标分片的副本的在线数量进行监测。依据本专利技术的另一方面，还提供了一种分布式存储系统数据修复的装置，包括:监测模块，适于监测目标分片的副本所在节点是否出现故障，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；进程重启模块，适于若监测到所述目标分片的副本所在节点出现故障，重新启动与所述目标分片的副本对应的进程;以及数据修复模块，适于修复所述故障节点上所述目标分片的副本的数据。可选地，所述监测模块还适于:监测目标分片的副本的在线数量;以及当监测到所述目标分片的副本的在线数量与预设数量不一致时，确定所述目标分片的副本所在节点出现故障。可选地，所述监测模块还适于:获取所述分布式存储系统的meta信息，其中，所述meta信息中记录了所述分布式存储系统中各分片的副本的在线状态；在所述meta信息中查找所述目标分片的副本的在线状态；以及根据所述目标分片的副本的在线状态，确定所述目标分片的副本的在线数量。可选地，若所述meta信息存储在所述分布式存储系统的一个或多个节点，当所述一个或多个节点中的任意一个节点上的分片的副本的在线状态发生变化时，对应修改该任意一个节点的meta信息，并广播给所述一个或多个节点中的其它节点，同步修改该其它节点上的meta信息； 所述监测模块还适于:从所述一个或本文档来自技高网...

【技术保护点】
一种分布式存储系统数据修复的方法，包括：监测目标分片的副本所在节点是否出现故障，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；若监测到所述目标分片的副本所在节点出现故障，重新启动与所述目标分片的副本对应的进程；以及修复所述故障节点上所述目标分片的副本的数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋昭，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11