【技术实现步骤摘要】
本专利技术涉及it与软件开发领域，尤其涉及一种热点数据动态防偏斜方法、装置、设备及存储介质。
技术介绍
1、在分布式系统当中，如果需要存储非常大的数据集，往往会将数据放在不同处理器上进行分区处理。在架构整个系统对数据进行预分区的过程中，一般会采用均匀分片的策略。然而在实际场景中分区的使用往往会存在不公平的情况。现实生活中往往会存在一些瞬时或者周期内访问量较多的业务场景(双11，热点新闻)这些场景下产生的数据我们简称为热点数据。对此类场景产生的数据对预先分配的分区往往会拥有更多的流量访问或占用更多的存储空间。这种情况我们称之为热点数据的偏斜。
技术实现思路
1、本专利技术的主要目的在于提供一种热点数据动态防偏斜方法、装置、设备及计算机可读存储介质，旨在通过系统自适应流量的方式来动态的进行分片。
2、为实现上述目的，本专利技术提供一种热点数据动态防偏斜方法，所述热点数据动态防偏斜方法包括以下步骤：
3、基于哈希散列函数对系统进行预处理；
4、设定业务需要自动分片的阈值，通过流量统计策略判断进行热分片或者冷分片；
5、设置动态分片因子，将分片因子通过随机数的方式拼接在主键的头部或者尾部；
6、对分片因子冷分片或者热分片拼接后的新数据主键哈希离散后重新进行系统分片存储。
7、在本申请提供的热点数据动态防偏斜方法中，所述基于哈希散列函数对系统进行预处理，包括：
8、对系统中所有的数据的存储或者读取，将对应的数
9、在本申请提供的热点数据动态防偏斜方法中，所述通过流量统计策略判断进行热分片或者冷分片，包括：
10、通过流量统计策略判断所得出的流量值是否大于设置的阈值，若大于阈值，则属于热点业务，则开始自动热分片。
11、在本申请提供的热点数据动态防偏斜方法中，所述通过流量统计策略判断进行热分片或者冷分片，包括：
12、通过流量统计策略判断所得出的流量值是否小于设置的阈值，若小于阈值，则不属于热点业务，则开始自动冷分片。
13、在本申请提供的热点数据动态防偏斜方法中，所述设置动态分片因子，包括：
14、对通过流量统计策略统计出的流量值与分布式系统的处理器数目进行取商操作；
15、若属于热分片，则将取商操作的值设置为分片因子的值；
16、若属于冷分片，则将分片因子值设为0。
17、在本申请提供的热点数据动态防偏斜方法中，所述将分片因子通过随机数的方式拼接在主键的头部或者尾部，包括：
18、若系统自行判定为热分片，将分片因子拼接进行哈希离散后将热点数据分区扩张到预定数量种不同的分区当中；
19、当系统发生热点数据写入或者读取操作，系统将瞬时流量分配到新分配的预定数量个分区处理。
20、在本申请提供的热点数据动态防偏斜方法中，将分片因子拼接到主键的尾部。
21、一种热点数据动态防偏斜装置，所述热点数据动态防偏斜装置包括：
22、预处理模块，用于基于哈希散列函数对系统进行预处理；
23、分片模块，用于设定业务需要自动分片的阈值，通过流量统计策略判断进行热分片或者冷分片；
24、拼接模块，用于设置动态分片因子，将分片因子通过随机数的方式拼接在主键的头部或者尾部；
25、重存储模块，用于对分片因子冷分片或者热分片拼接后的新数据主键哈希离散后重新进行系统分片存储。
26、此外，为实现上述目的，本专利技术还提供一种热点数据动态防偏斜设备，所述热点数据动态防偏斜设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的热点数据动态防偏斜程序，其中所述热点数据动态防偏斜程序被所述处理器执行时，实现如上述的热点数据动态防偏斜方法的步骤。
27、此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有热点数据动态防偏斜程序，其中所述热点数据动态防偏斜程序被处理器执行时，实现如上述的热点数据动态防偏斜方法的步骤。
28、本专利技术提供一种热点数据动态防偏斜方法，基于哈希散列函数对系统进行预处理；设定业务需要自动分片的阈值，通过流量统计策略判断进行热分片或者冷分片；设置动态分片因子，将分片因子通过随机数的方式拼接在主键的头部或者尾部；对分片因子冷分片或者热分片拼接后的新数据主键哈希离散后重新进行系统分片存储。通过本方法可以较大的缩短热点数据访问系统的响应时间，及较大程度的提高分布式系统下不同处理器的利用效率。现有技术较多的是通过静态设置分片的方式防止热点数据偏斜，静态设置分片的方式往往具有拓展性差，并且在大型分布式场景当中会造成较大的资源浪费。本方案通过设置分片因子，通过系统自适应流量的方式来动态的进行分片。同时引入热切片跟冷切片策略，提高系统的可伸缩性，使分布式系统对处理机器利用率达到最大化。通过在高峰期限内对热点数据有效的防偏斜，极大的降低系统负载和极大的缩短了系统的响应时间。
本文档来自技高网...【技术保护点】
1.一种热点数据动态防偏斜方法，其特征在于，所述热点数据动态防偏斜方法包括以下步骤：
2.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述基于哈希散列函数对系统进行预处理，包括：
3.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述通过流量统计策略判断进行热分片或者冷分片，包括：
4.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述通过流量统计策略判断进行热分片或者冷分片，包括：
5.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述设置动态分片因子，包括：
6.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述将分片因子通过随机数的方式拼接在主键的头部或者尾部，包括：
7.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，将分片因子拼接到主键的尾部。
8.一种热点数据动态防偏斜装置，其特征在于，所述热点数据动态防偏斜装置包括：
9.一种热点数据动态防偏斜设备，其特征在于，所述热点数据动态防偏斜设备包括处理器、存储器、以及存储在所述存储
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有热点数据动态防偏斜程序，其中所述热点数据动态防偏斜程序被处理器执行时，实现如权利要求1至7中任一项所述的热点数据动态防偏斜方法的步骤。
...【技术特征摘要】
1.一种热点数据动态防偏斜方法，其特征在于，所述热点数据动态防偏斜方法包括以下步骤：
2.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述基于哈希散列函数对系统进行预处理，包括：
3.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述通过流量统计策略判断进行热分片或者冷分片，包括：
4.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述通过流量统计策略判断进行热分片或者冷分片，包括：
5.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述设置动态分片因子，包括：
6.如权利要求1所述的热点数据动态防偏斜方法，其特征在于，所述将分片因子通过随机数的方式拼接在主键的头部或者尾部，包括：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。