一种分片处理方法、系统、存储介质及设备技术方案

本发明专利技术提供了一种分片处理方法、系统、存储介质及设备，方法包括以下步骤：在预设周期内按预定时间间隔定期获取各节点的时间信息；响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔；响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关；遍历所有分片，并基于遍历结果对应排布所有分片并且使得各有效网关对排布后的分片进行处理。本发明专利技术通过筛选有效网关，有利于分片处理的有效性和稳定性；通过设置对应排布的方法将所有分片对应到各网关，相比于现有技术中每个网关都分别对所有分片进行处理，提高了分片处理的效率，提升了分片处理的性能，且节省了存储空间，提高了磁盘利用率。了磁盘利用率。了磁盘利用率。

【技术实现步骤摘要】
一种分片处理方法、系统、存储介质及设备


[0001]本专利技术涉及数据处理
，尤其涉及一种分片处理方法、系统、存储介质及设备。

技术介绍

[0002]目前，rgw网关读取桶分片上需要聚合的小对象信息时，会首先对桶分片加锁，然后列举出桶分片上需要聚合的小对象信息，最后解锁。但是，一个集群中有多个rgw网关，当其中一个rgw网关读取某个桶分片时会对该分片加锁，其他网关要读取该分片时，就会等待解锁耗费大量时间，导致扫描小对象信息的性能十分低下。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提出一种分片处理方法、系统、存储介质及设备，用以解决现有技术中桶分片处理性能低下的问题。
[0004]基于上述目的，本专利技术提供了一种分片处理方法，包括如下步骤：
[0005]在预设周期内按预定时间间隔定期获取各节点的时间信息；
[0006]响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔；
[0007]响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关；
[0008]遍历所有分片，并基于遍历结果对应排布所有分片并且使得各有效网关对排布后的分片进行处理。
[0009]在一些实施例中，在预设周期内按预定时间间隔定期获取各节点的时间信息包括：在预设周期内按预定时间间隔定期获取各节点的主机名和时间信息并将其存放在网关信息表中。
[0010]在一些实施例中，响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔包括：获取网关信息表中的主机名和其对应的时间信息，并判断相同主机名对应的相邻时间信息的差值是否等于时间间隔。
[0011]在一些实施例中，响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关包括：响应于相同主机名对应的相邻时间信息的差值大于时间间隔，则将节点的网关识别为故障网关，且将其他节点的网关识别为有效网关，并将各有效网关依次有序存放在有效网关表中。
[0012]在一些实施例中，遍历结果包括所有分片的总数量和各分片的分片号，其中，各分片的分片号依次递增。
[0013]在一些实施例中，对应排布包括：
[0014]响应于所有分片的总数量小于等于所有有效网关的总数量，将各分片按照分片号递增的顺序依次对应到有序排列的有效网关；
[0015]响应于所有分片的总数量大于所有有效网关的总数量，将顺序在前的各分片按照
分片号递增的顺序依次对应到有序排列的有效网关，并将顺序在后的各分片再次按照分片号递增的顺序依次对应到有序排列的有效网关，重复直到所有的分片都对应到有效网关。
[0016]在一些实施例中，所有分片存储于bucket中。
[0017]本专利技术的另一方面，还提供了一种分片处理系统，包括：
[0018]时间信息获取模块，配置用于在预设周期内按预定时间间隔定期获取各节点的时间信息；
[0019]判断模块，配置用于响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔；
[0020]有效网关识别模块，配置用于响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关；以及
[0021]分片处理模块，配置用于遍历所有分片，并基于遍历结果对应排布所有分片并且使得各有效网关对排布后的分片进行处理。
[0022]本专利技术的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。
[0023]本专利技术的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。
[0024]本专利技术至少具有以下有益技术效果：
[0025]1.本专利技术通过筛选有效网关，有利于分片处理的有效性和稳定性；
[0026]2.通过设置对应排布的方法将所有分片对应到各网关，相比于现有技术中每个网关都分别对所有分片进行处理，提高了分片处理的效率，提升了分片处理的性能，且节省了存储空间，提高了磁盘利用率。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0028]图1为根据本专利技术提供的分片处理方法的实施例的示意图；
[0029]图2为根据本专利技术实施例提供的对应排布方法的示意图；
[0030]图3为根据本专利技术提供的分片处理系统的实施例的示意图；
[0031]图4为本专利技术提供的执行分片处理方法的计算机设备的一个实施例的硬件结构示意图。
具体实施方式
[0032]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0033]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在
于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
[0034]基于上述目的，本专利技术实施例的第一个方面，提出了一种分片处理方法的实施例。图1示出的是本专利技术提供的分片处理方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：
[0035]步骤S10、在预设周期内按预定时间间隔定期获取各节点的时间信息；
[0036]步骤S20、响应于周期到期，判断各节点的相邻时间信息的差值是否等于时间间隔；
[0037]步骤S30、响应于有节点的相邻时间信息的差值不等于时间间隔，则将除节点外的其他节点的网关识别为有效网关；
[0038]步骤S40、遍历所有分片，并基于遍历结果对应排布所有分片并且使得各有效网关对排布后的分片进行处理。
[0039]本专利技术实施例通过筛选有效网关，有利于分片处理的有效性和稳定性；通过设置对应排布的方法将所有分片对应到各网关，相比于现有技术中每个网关都分别对所有分片进行处理，提高了分片处理的效率，提升了分片处理的性能，且节省了存储空间，提高了磁盘利用率。
[0040]在一些实施例中，在预设周期内按预定时间间隔定期获取各节点的时间信息包括：在预设周期内按预定时间间隔定期获取各节点的主机名和时间信息并将其存放在网关信息表中。本实施例中，将各节点获取的主机名和时间信息封装为<key，value>结构，key为节点的主机名，value为当前时间，将该结构定期下刷至网关信息表。网关信息表是在元数据存储池中创建的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分片处理方法，其特征在于，包括以下步骤：在预设周期内按预定时间间隔定期获取各节点的时间信息；响应于所述周期到期，判断各节点的相邻时间信息的差值是否等于所述时间间隔；响应于有节点的相邻时间信息的差值不等于所述时间间隔，则将除所述节点外的其他节点的网关识别为有效网关；遍历所有分片，并基于遍历结果对应排布所有分片并且使得各有效网关对排布后的分片进行处理。2.根据权利要求1所述的方法，其特征在于，在预设周期内按预定时间间隔定期获取各节点的时间信息包括：在预设周期内按预定时间间隔定期获取各节点的主机名和时间信息并将其存放在网关信息表中。3.根据权利要求2所述的方法，其特征在于，响应于所述周期到期，判断各节点的相邻时间信息的差值是否等于所述时间间隔包括：获取所述网关信息表中的主机名和其对应的时间信息，并判断相同主机名对应的相邻时间信息的差值是否等于所述时间间隔。4.根据权利要求3所述的方法，其特征在于，响应于有节点的相邻时间信息的差值不等于所述时间间隔，则将除所述节点外的其他节点的网关识别为有效网关包括：响应于相同主机名对应的相邻时间信息的差值大于所述时间间隔，则将所述节点的网关识别为故障网关，且将其他节点的网关识别为有效网关，并将各有效网关依次有序存放在有效网关表中。5.根据权利要求4所述的方法，其特征在于，所述遍历结果包括所述所有分片的总数量和各分片的分片号，其中，各分片的分片号依次递增。6.根据权利要求5所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：赵煜，陶桐桐，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：