分布式存储系统节点故障的侦测方法和装置制造方法及图纸

本发明专利技术提供了一种分布式存储系统节点故障的侦测方法和装置。该方法包括：监测目标分片的副本的在线数量，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；当监测到所述目标分片的副本的在线数量与预设数量不一致时，确定所述目标分片的副本所在节点出现故障。本发明专利技术实施例提供的技术方案能够实现及时、有效地侦测到故障节点的目的。

【技术实现步骤摘要】

本专利技术涉及计算机
，特别是一种分布式存储系统节点故障的侦测方法和 目.0
技术介绍
分布式存储系统，一般采用多副本的分布存储策略，通过多副本冗余存储来保证数据的可靠性。例如，可以采用3副本存储，利用hash(哈希)算法确定节点后，将数据的一个副本存储在该节点(或机器)上，而将另外2份副本存储在其他节点上。当某个节点出现故障时，仍然保证另外两个副本可以访问，并在合适的条件下完成故障副本的修复。为了提高分布式存储系统中各个节点对外提供业务服务的性能，可以对各个节点进行数据分片，各个数据分片具有接收并响应数据请求的主副本以及同步该主副本的数据操作的从副本，且主副本与其对应的一个或多个从副本位于不同的节点。并且，考虑到分布式存储系统的负载均衡，应尽可能保证各个节点上面的主副本是一样多的。分布式存储系统中的节点可能会出现故障，如何侦测故障节点成为亟待解决的技术问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的分布式存储系统节点故障的侦测方法和相应的装置。依据本专利技术的一方面，提供了一种分布式存储系统节点故障的侦测方法，包括:监测目标分片的副本的在线数量，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；当监测到所述目标分片的副本的在线数量与预设数量不一致时，确定所述目标分片的副本所在节点出现故障。可选地，所述监测目标分片的副本的在线数量的步骤包括:获取所述分布式存储系统的meta信息，其中，所述meta信息中记录了所述分布式存储系统中各分片的副本的在线状态；在所述meta信息中查找所述目标分片的副本的在线状态；以及根据所述目标分片的副本的在线状态，确定所述目标分片的副本的在线数量。[0013I可选地，若所述meta信息存储在所述分布式存储系统的一个或多个节点，当所述一个或多个节点中的任意一个节点上的分片的副本的在线状态发生变化时，对应修改该任意一个节点的meta信息，并广播给所述一个或多个节点中的其它节点，同步修改该其它节点上的meta信息；所述获取所述分布式存储系统的meta信息的步骤包括:从所述一个或多个节点处获取所述meta信息。可选地，所述meta信息中还记录了所述分布式存储系统中各分片的副本存储在哪个节点；在确定所述目标分片的副本所在节点出现故障之后，所述方法还包括通过以下步骤确定所述故障节点:在所述meta信息中查找所述目标分片的副本所在节点；以及根据所述目标分片的副本所在节点以及副本的在线状态，确定所述故障节点。可选地，所述监测目标分片的副本的在线数量的步骤包括:以广播的方式向所述分布式存储系统的各节点发送查找所述目标分片的副本的请求，所述请求中携带有所述目标分片的副本的标识；接收所述各节点返回的响应信息；以及根据所述响应信息确定所述目标分片的副本的在线数量。可选地，当所述目标分片包括多个时，所述监测目标分片的副本的在线数量的步骤包括:按照指定的顺序，依次对多个目标分片的副本的在线数量进行监测。可选地，在确定所述目标分片的副本所在节点出现故障之后，所述方法还包括:发出报警提示。依据本专利技术的另一方面，还提供了一种分布式存储系统节点故障的侦测装置，包括:监测模块，适于监测目标分片的副本的在线数量，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；确定模块，适于当监测到所述目标分片的副本的在线数量与预设数量不一致时，确定所述目标分片的副本所在节点出现故障。可选地，所述监测模块还适于:获取所述分布式存储系统的meta信息，其中，所述meta信息中记录了所述分布式存储系统中各分片的副本的在线状态；在所述meta信息中查找所述目标分片的副本的在线状态；以及根据所述目标分片的副本的在线状态，确定所述目标分片的副本的在线数量。可选地，若所述meta信息存储在所述分布式存储系统的一个或多个节点，当所述一个或多个节点中的任意一个节点上的分片的副本的在线状态发生变化时，对应修改该任意一个节点的meta信息，并广播给所述一个或多个节点中的其它节点，同步修改该其它节点上的meta信息；所述监测模块还适于:从所述一个或多个节点处获取所述meta信息。可选地，所述meta信息中还记录了所述分布式存储系统中各分片的副本存储在哪个节点；所述确定模块还适于:在所述meta信息中查找所述目标分片的副本所在节点；以及根据所述目标分片的副本所在节点以及副本的在线状态，确定所述故障节点。可选地，所述监测模块还适于:以广播的方式向所述分布式存储系统的各节点发送查找所述目标分片的副本的请求，所述请求中携带有所述目标分片的副本的标识；接收所述各节点返回的响应信息；以及根据所述响应信息确定所述目标分片的副本的在线数量。可选地，所述监测模块还适于:当所述目标分片包括多个时，按照指定的顺序，依次对多个目标分片的副本的在线数量进行监测。可选地，所述装置还包括:报警模块，适于在所述确定模块确定所述目标分片的副本所在节点出现故障之后，发出报警提示。在本专利技术实施例中，目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，并且主副本和从副本位于分布式存储系统的不同节点。本专利技术实施例主动监测目标分片的副本的在线数量，当监测到目标分片的副本的在线数量与预设数量不一致时，则确定目标分片的副本所在节点出现故障，从而实现及时、有效地侦测到故障节点的目的。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的【具体实施方式】。根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述以及其他目的、优点和特征。【附图说明】通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:图1示出了根据本专利技术一个实施例的分布式存储系统节点故障的侦测方法的流程示意图；图2示出了根据本专利技术一个实施例的分布式存储系统各个节点的数据分片示意图；图3示出了根据本专利技术一个实施例的利用日志记录在目标分片的当前主副本与原主副本之间进行数据同步的方法的流程示意图；图4示出了根据本专利技术一个实施例的日志记录的示意图；图5示出了根据本专利技术另一个实施例的日志记录的示意图；图6示出了根据本专利技术一个实施例的利用日志记录在目标分片的当前主副本与原从副本之间进行数据同步的方法的流程示意图；图7示出了根据本专利技术又一个实施例的日志记录的示意图；图8示出了根据本专利技术一个实施例的分布式存储系统节点故障的侦测装置的结构不意图；以及图9示出了根据本专利技术另一个实施例的分布式存储系统节点故障的侦测装置的结构示意图。【具体实施方式】下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本本文档来自技高网...

【技术保护点】
一种分布式存储系统节点故障的侦测方法，包括：监测目标分片的副本的在线数量，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；当监测到所述目标分片的副本的在线数量与预设数量不一致时，确定所述目标分片的副本所在节点出现故障。

【技术特征摘要】

【专利技术属性】
技术研发人员：宋昭，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11