一种分片方法、系统及设备技术方案

本申请公开了一种分片方法、系统及设备，通过根据雪花主键中的机器ID将数据分成多个槽，其中，每个机器ID对应一个槽，然后把槽内数据按照分片阈值拆分成多个分片，当分片大小达到阈值时，新的插入数据插入到新的数据分片中，由于槽内数据主键是有序插入，可记录每个分片的主键的最小值和最大值，以便根据主键定位分片，最后再把分片分配到集群中。相对于现有技术中先按照范围把数据划分到小的分片的方式，导致分片需要不断拆分合并的方式，先把数据按照生成该主键的机器划分成数据槽，再在数据槽下进行分片，由于雪花主键特点，数据槽下的数据是有序的，可以根据主键快速锁定主键隶属的分片，不需要对分片进行拆分和合并，提高了分片效率。

【技术实现步骤摘要】

本申请涉及计算机，特别是涉及一种分片方法、系统、设备。

技术介绍

1、分布式集群能否便捷地动态扩展容量关系到整个集群的处理能力和资源利用效率，传统方法将单条数据按哈希、一致性哈希或区域碎片等方式进行分区，难以满足集群扩容哈希与范围碎片重新分布等问题，难以实现实时扩展；一致性哈希相对哈希与范围切片技术可以有效降低扩展过程中受到影响的节点数量，但单个节点之间的数据重新分配性能仍然较差，而通过添加一致性哈希的方法，可以使数据分布更加平衡，但同时也会带来更多的受到影响的节点。

2、目前主流的分布式计算技术采用的方法是按照分片键的范围进行分片，再根据特定的规则将其划分为不同的集群。与常规方法相比，该方案显著得提升了集群在扩容时数据重分布的性能，因为集群节点间数据重分布是按照一个个小的分片进行数据重分布的，不需要逐条数据进行重分布。

3、但是，当数据被无规则地插入时，按照分片键的范围进行分片，就会产生尺寸不均匀的分片，而过大的分片(可以通过阈值来确定，例如设定90m为大分片)很可能会变成热点，过小的分片又会带来巨大的管理负担，因此，为了解决上述本文档来自技高网...

【技术保护点】

1.一种分片方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据预设规则将分片分配到集群中对应的节点之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述雪花算法为包括工作机器i...

【技术特征摘要】

1.一种分片方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据预设规则将分片分配到集群中对应的节点之后，还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的...

【专利技术属性】
技术研发人员：吕虎，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：