【技术实现步骤摘要】
本专利技术涉及分布式存储领域，特别是涉及一种分布式存储系统的数据处理方法、设备及存储介质。
技术介绍
1、分布式存储是一种数据存储技术，它将数据分散存储在多个物理位置，这些位置可以是同一台服务器上的多个硬盘，也可以是分布在不同地理位置的多台服务器。分布式存储有着可扩展性、容错性、高可用性等优势，在互联网服务、大数据分析、云计算平台等场景被大量使用。
2、分布式存储系统包含大量存储节点，存储节点是构成整个分布式存储系统的各个独立的计算单元，它们共同工作以提供大规模、高可用性和高性能的数据存储服务。现有的分布式存储系统中，存储节点通常包括多个数据分片，每一数据分片包括多个区间分片，待存储的数据在进行存储时需按照规则进行编码，并得到多个数据块，然后将多个数据块发送至不同的存储节点，由存储节点将收到的数据块存储至本地的数据分片中的区间分片中。
3、为了方便管理数据分片中的区间分片，相关技术通过元数据管理的方式为每一区间分片配置相应的版本号，当区间分片中的数据改变时，需更新该区间分片的版本号。但是由于分布式存储系统的存储量较大，难以保持数据在多个副本之间的一致性，当存储节点出现故障或数据更新冲突时，版本号也难以及时更新或错误更新，元数据管理也容易出现错误管理。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种分布式存储系统的数据处理方法、设备及存储介质，解决了现有技术中区间分片的版本号也难以及时更新或错误更新导致元数据管理出现错误的问题。
2、第一
3、获取各个区间分片的版本号以及所述区间分片内已存储数据块的编码号，建立所述已存储数据块的编码号与所述区间分片的版本号的映射关系；并根据所述已存储数据块的编码号与所述区间分片的版本号的映射关系生成数据管理表；
4、确定待更新区间分片的版本号，并建立所述待更新区间分片与目标数据块之间的映射关系；
5、当所述目标数据块存储于所述待更新区间分片时，根据所述目标数据块的编码号和所述待更新区间分片的版本号的映射关系更新所述数据管理表。
6、优选地，在所述获取各个区间分片的版本号之前，还包括：
7、判断每一所述区间分片内是否存储有数据块；若是，则将所述区间分片标记为第一区间分片；若否，则将所述区间分片标记为第二区间分片；
8、将所述第一区间分片的存储地址发送至元数据节点，并通过所述元数据节点为所述第一区间分片配置相应的版本号。
9、优选地，在判断所述存储节点的每一所述区间分片内是否存储有数据块之后，还包括：
10、当所述第二区间分片内存储有数据块时，将所述第二区间分片标记为第一区间分片。
11、优选地，所述待更新区间分片包括新建区间分片和待升级区间分片，所述新建区间分片未配置版本号，所述待升级区间分片配置有版本号；所述确定待更新区间分片的版本号，并建立所述待更新区间分片与目标数据块之间的映射关系，具体包括：
12、当所述待更新区间分片为新建区间分片时，选择所述已存储数据块作为所述目标数据块，并建立所述待更新区间分片与目标数据块之间的映射关系；和/或
13、当所述待更新区间分片为待升级区间分片时，选择所述已存储数据块和/或待存储数据块作为所述目标数据块，并建立所述待更新区间分片与目标数据块之间的映射关系；所述待存储数据块为未写入任一所述区间分片的数据块。
14、优选地，当所述待更新区间分片为新建区间分片时，选择所述已存储数据块作为所述目标数据块，具体包括：
15、当所述待更新区间分片为新建区间分片时，查询未关联任一区间分片的所述已存储数据块作为所述目标数据块。
16、优选地，所述当所述待更新区间分片为待升级区间分片时，选择所述已存储数据块和/或待存储数据块作为所述目标数据块，具体包括：
17、当所述待更新区间分片为待升级区间分片时，选择被指定的所述已存储数据块作为所述目标数据块；和/或
18、当所述待更新区间分片为待升级区间分片时，选择最先接收的所述待存储数据块作为所述目标数据块。
19、优选地，在建立所述待更新区间分片与目标数据块之间的映射关系之后，还包括：
20、将与所述目标数据块于同一时间写入于所述存储节点的数据块记录为待关联数据块，并建立所述待更新区间分片的版本号与所述待关联数据块的编码号的映射关系；
21、根据所述待更新区间分片的版本号与所述待关联数据块的编码号的映射关系更新所述数据管理表。
22、第二方面，本实施例提供了一种分布式存储系统的数据处理方法，用于分布式存储系统的元数据节点，所述分布式存储系统的存储节点设有多个用于存储数据块的区间分片，每一所述区间分片通过所述元数据节点配置有相应的版本号，每一所述数据块设有相应的编码号，所述方法包括：
23、为存储节点的各个区间分片配置相应的版本号，并将每个所述区间分片版本号发送至所述存储节点；
24、通过所述存储节点建立的已存储数据块的编码号与所述区间分片的版本号的映射关系生成数据管理表；
25、配置待更新区间分片的版本号并发送至所述存储节点；
26、当目标数据块存储于所述待更新区间分片时，根据所述目标数据块的编码号和所述待更新区间分片的版本号的映射关系更新所述数据管理表。
27、第三方面，本实施例提供了一种分布式存储系统的数据处理设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序用于由所述处理器加载并执行如第一方面或第二方面中任意一项所述的分布式存储系统的数据处理方法。
28、第四方面，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于由处理器加载并执行如第一方面或第二方面中任意一项所述的分布式存储系统的数据处理方法。
29、在本申请实施例的分布式存储系统的数据处理方法、设备及存储介质中，可通过数据管理表查询每一区间分片在不同版本号时的数据存储详情，在分布式存储系统的存储量较大，导致存储节点出现故障或数据更新冲突时，可在数据管理表中追溯至正确数据的存储记录，并更正区间分片的版本号，提高了分布式存储系统的棒鲁性。
本文档来自技高网...【技术保护点】
1.一种分布式存储系统的数据处理方法，用于分布式存储系统的存储节点，所述存储节点设有多个用于存储数据块的区间分片，每一所述区间分片通过元数据节点配置有相应的版本号，每一所述数据块设有相应的编码号，其特征在于，所述方法包括：
2.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，在所述获取各个区间分片的版本号之前，还包括：
3.根据权利要求2所述的分布式存储系统的数据处理方法，其特征在于，在判断所述存储节点的每一所述区间分片内是否存储有数据块之后，还包括：
4.根据权利要求1-3中任一项所述的分布式存储系统的数据处理方法，其特征在于，所述待更新区间分片包括新建区间分片和待升级区间分片，所述新建区间分片未配置版本号，所述待升级区间分片配置有版本号；所述确定待更新区间分片的版本号，并建立所述待更新区间分片与目标数据块之间的映射关系，具体包括：
5.根据权利要求4所述的分布式存储系统的数据处理方法，其特征在于，当所述待更新区间分片为新建区间分片时，选择所述已存储数据块作为所述目标数据块，具体包括：
6.根据权利要求4
7.根据权利要求4所述的分布式存储系统的数据处理方法，其特征在于，在建立所述待更新区间分片与目标数据块之间的映射关系之后，还包括：
8.一种分布式存储系统的数据处理方法，用于分布式存储系统的元数据节点，所述分布式存储系统的存储节点设有多个用于存储数据块的区间分片，每一所述区间分片通过所述元数据节点配置有相应的版本号，每一所述数据块设有相应的编码号，其特征在于，所述方法包括：
9.一种分布式存储系统的数据处理设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序用于由所述处理器加载并执行如权利要求1-7中任意一项或权利要求8所述的分布式存储系统的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，所述指令用于由处理器加载并执行如权利要求1-7中任意一项或权利要求8所述的分布式存储系统的数据处理方法。
...【技术特征摘要】
1.一种分布式存储系统的数据处理方法，用于分布式存储系统的存储节点，所述存储节点设有多个用于存储数据块的区间分片，每一所述区间分片通过元数据节点配置有相应的版本号，每一所述数据块设有相应的编码号，其特征在于，所述方法包括：
2.根据权利要求1所述的分布式存储系统的数据处理方法，其特征在于，在所述获取各个区间分片的版本号之前，还包括：
3.根据权利要求2所述的分布式存储系统的数据处理方法，其特征在于，在判断所述存储节点的每一所述区间分片内是否存储有数据块之后，还包括：
4.根据权利要求1-3中任一项所述的分布式存储系统的数据处理方法，其特征在于，所述待更新区间分片包括新建区间分片和待升级区间分片，所述新建区间分片未配置版本号，所述待升级区间分片配置有版本号；所述确定待更新区间分片的版本号，并建立所述待更新区间分片与目标数据块之间的映射关系，具体包括：
5.根据权利要求4所述的分布式存储系统的数据处理方法，其特征在于，当所述待更新区间分片为新建区间分片时，选择所述已存储数据块作为所述目标数据块，具体包括：
6.根据权...
【专利技术属性】
技术研发人员：吕远，
申请(专利权)人：北京爱宾果科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。