数据巡检方法、装置和分布式存储系统制造方法及图纸

本公开提供了一种数据巡检方法、装置和分布式存储系统，属于数据存储技术领域。其中，数据巡检方法应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据。本公开提供的数据巡检方法、装置和分布式存储系统，当存储节点接收到管理节点的巡检指令时，获取该存储节点存储的主数据分片对应的各个从存储节点，向各个从存储节点获取从数据分片的校验结果。该存储节点只需校验存储于本地的主数据分片，各个从存储节点只需向主存储节点发送校验结果，而无需将从数据分片发送至主存储节点，因此极大地降低了存储节点之间的数据传输量，减少了存储节点之间的网络消耗，有利于提升分布式存储系统的整体性能和保障用户业务的顺畅执行。

【技术实现步骤摘要】
数据巡检方法、装置和分布式存储系统
本公开涉及数据存储
，尤其是涉及一种数据巡检方法、装置和分布式存储系统。
技术介绍
随着数字化的发展，企业对存储系统的容量要求越来越大。分布式存储系统中的副本冗余策略，虽然可以保证数据的可靠性，但是存储空间的耗费过高，限制了分布式存储系统的容量，因此很多企业采用了纠删码策略。纠删码策略中，利用纠删码算法将待存储数据进行编码得到校验数据，分割待存储数据和校验数据，得到多份数据分片和多份校验分片，将其中一份数据分片作为主数据分片，其余数据分片和校验分片作为从数据分片，分别存储到不同的存储节点上。如图1所示的分布式存储系统中纠删码策略下的数据分布示意图，其中，在纠删码数据池中，D1-D4为数据分片，X和Y为校验分片，他们分别存储在六个不同的存储节点。为了及时发现存储节点中的异常数据，分布式存储系统一般定时进行数据巡检。现有的数据巡检方法中，需要所有从存储节点将从数据分片的全部数据发送至主存储节点，然后主存储节点进行校验。因此需要大量的数据读取和数据传输，增加了网络节点之间的网络消耗，严重影响分布式存储系统的整体性能，且可能导致用户业务受到影响甚至引起用户业务中断。
技术实现思路
有鉴于此，本公开实施例的目的在于提供一种数据巡检方法、装置和分布式存储系统，可以节约存储节点之间的网络消耗，提高分布式存储系统的整体性能。为了实现上述目的，本公开实施例采用的技术方案如下：第一方面，本公开实施例提供了一种数据巡检方法，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述方法包括：当接收到管理节点的巡检指令时，获取所述存储节点存储的主数据分片对应的各个从存储节点；向各个所述从存储节点获取所述主数据分片对应的从数据分片的校验结果；校验所述主数据分片；根据所述主数据分片的校验结果以及各个所述从数据分片的校验结果，向所述管理节点回复巡检结果。第二方面，本公开提供了一种数据巡检方法，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述方法包括：当接收到主存储节点发送的巡检请求时，获取所述巡检请求对应的从数据分片；校验所述从数据分片；向所述主存储节点回复校验结果。第三方面，本公开实施例提供了一种数据巡检装置，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述装置包括：从数据分片校验模块，用于当接收到管理节点的巡检指令时，获取所述存储节点存储的主数据分片对应的各个从存储节点；向各个所述从存储节点获取所述主数据分片对应的从数据分片的校验结果；主数据分片校验模块，用于校验所述主数据分片；巡检结果反馈模块，用于根据所述主数据分片的校验结果以及各个所述从数据分片的校验结果，向所述管理节点回复巡检结果。第四方面，本公开实施例提供了一种数据巡检装置，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述装置包括：数据获取模块，用于当接收到主存储节点发送的巡检请求时，获取所述巡检请求对应的从数据分片；数据校验模块，用于校验所述从数据分片；校验结果回复模块，用于向所述主存储节点回复校验结果。第五方面，本公开实施例提供了一种分布式存储系统，包括多个存储节点；所述存储节点上设置有第三方面所述的数据巡检装置和/或第四方面所述的数据巡检装置。第六方面，本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令使所述处理器实现第一方面中任一项所述的方法或者第二方面中任一项所述的方法。上述数据巡检方法、装置和分布式存储系统，当存储节点接收到管理节点的巡检指令时，获取该存储节点存储的主数据分片对应的各个从存储节点，向各个从存储节点获取主数据分片对应的从数据分片的校验结果。该存储节点只需校验存储于本地的主数据分片，各个从存储节点只需向对应的主存储节点发送自身从数据分片的校验结果，而无需将从数据分片发送至主存储节点，因此极大地降低了存储节点之间的数据传输量，减少了存储节点之间的网络消耗，有利于提升分布式存储系统的整体性能和保障用户业务的顺畅执行。为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有的分布式存储系统中纠删码策略下的数据分布示意图；图2为本公开实施方式所应用的分布式存储系统的结构框图；图3为本公开实施方式提供的一种数据巡检方法的流程图；图4为本公开实施方式提供的另一种数据巡检方法的流程图；图5为本公开实施方式提供的纠删码数据池的数据分布示意图；图6为本公开实施方式提供的数据巡检方法的交互图；图7为本公开实施方式提供的一种数据巡检装置的结构框图；图8为本公开实施方式提供的另一种数据巡检装置的结构框图。具体实施方式为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。本公开实施方式提供的数据巡检方法和装置应用于分布式存储系统中，例如图2所示的分布式存储系统，该系统包括管理节点10和与管理节点10连接的多个存储节点20。管理节点10可以理解为分布式存储系统的数据处理接口，与分布式存储系统的用户接口连接，用于接收来自用户接口的读/写数据任务或向用户接口提供读/写数据任务的处理结果。本实施例中的存储节点20用于存储基于纠删码策略得到的主数据分片或从数据分片。如果存储节点20上存储了主数据分片，该存储节点20还存储有该主数据分片的校验信息；如果存储节点20上存储了从数据分片，该存储节点20还存储有该从数据分片的校验信息。为了保障数据的可靠性，本公开实施方式提供了一种数据巡检方法、装置和分布式存储系统，在数据巡检过程中，从存储节点对本地存储的从数据分片的校验信息进行校验，将校验结果传输给主存储节点，主存储节点基于接收到的校验结果完成数据巡检过程，可以减少存储节点之间的数据传输量，进而降低网络消耗，提高分布式存储系统的整体性能。该技术可以采用相关的软件或硬件实现，下面通过具体实施方式进行描述。图3示出了一种数据巡检方法的流程图，该数据巡检方法应用于分布式存储系统中的存储节点。该存储节点基于纠删码策略存储数据，该存储节点可以作为一些数据的主存储节点，同时作为另一些数据的从存储节点。主/从存储节点是相对数据分片而言的，对于主数据分片所在的存储节点，即为主存储节点；从数据分片所在的存储节点即为从存储节点。图3所示的方法以应用于主数据分片所在的存储节点为例进行说明，该方法包括如下步骤：步骤S302，当接收到管理节点的巡检指令时，获取存储节点存储的主数据分片对应的各个从存储节点。管理节点定时向存储本文档来自技高网...

【技术保护点】
1.一种数据巡检方法，其特征在于，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述方法包括：当接收到管理节点的巡检指令时，获取所述存储节点存储的主数据分片对应的各个从存储节点；向各个所述从存储节点获取所述主数据分片对应的从数据分片的校验结果；校验所述主数据分片；根据所述主数据分片的校验结果以及各个所述从数据分片的校验结果，向所述管理节点回复巡检结果。

【技术特征摘要】
1.一种数据巡检方法，其特征在于，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述方法包括：当接收到管理节点的巡检指令时，获取所述存储节点存储的主数据分片对应的各个从存储节点；向各个所述从存储节点获取所述主数据分片对应的从数据分片的校验结果；校验所述主数据分片；根据所述主数据分片的校验结果以及各个所述从数据分片的校验结果，向所述管理节点回复巡检结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当接收到写数据指令时，计算所述写数据指令中的主数据分片的第一校验信息；保存所述主数据分片和所述第一校验信息；校验所述主数据分片的步骤包括：计算所述主数据分片的第二校验信息，以及校验所述第一校验信息和所述第二校验信息是否一致。3.根据权利要求2所述的方法，其特征在于，保存所述主数据分片和所述第一校验信息的步骤包括：将所述主数据分片保存于所述主数据分片对应的数据对象的数据区，将所述第一校验信息保存于所述数据对象的属性区。4.根据权利要求1所述的方法，其特征在于，向各个所述从存储节点获取所述主数据分片对应的从数据分片的校验结果的步骤，包括：向各个所述从存储节点发送巡检请求；所述巡检请求携带有所述从数据分片的标识；接收各个所述从存储节点返回的校验结果；所述校验结果为所述从存储节点对所述主数据分片对应的从数据分片进行校验得到的。5.根据权利要求1所述的方法，其特征在于，根据所述主数据分片的校验结果以及各个所述从数据分片的校验结果，向所述管理节点回复巡检结果的步骤，包括：如果所述主数据分片的校验结果以及各个所述从数据分片的校验结果均为正常，向所述管理节点回复正常的巡检结果；如果所述主数据分片的校验结果以及各个所述从数据分片的校验结果中存在不正常的结果，向所述管理节点回复异常的巡检结果。6.一种数据巡检方法，其特征在于，应用于分布式存储系统中的存储节点，所述存储节点基于纠删码策略存储数据，所述方法包括：当接收到主存储节点发送的巡检请求时，获取所述巡检请求对应的从数据分片；校验所述从数据分片；向所述主存储节点回复校验结果。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：当接收到写数据指令时，计算所述写数据指令中的从数据分片的第一...

【专利技术属性】
技术研发人员：刘浩，
申请(专利权)人：新华三技术有限公司成都分公司，
类型：发明
国别省市：四川,51