一种消除热点数据的方法及装置制造方法及图纸

一种消除热点数据的方法及装置，用以检测并消除集群中的热点数据。该方法包括：获取集群中每个服务器的性能影响因子；所述性能影响因子包括访问频度和垃圾回收时间；根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器；所述热点服务器为热点数据集中的服务器；若所述热点服务器的所述性能影响因子满足触发条件，则将所述热点服务器中的数据分配到所述集群的其它服务器中。分配到所述集群的其它服务器中。分配到所述集群的其它服务器中。

【技术实现步骤摘要】
一种消除热点数据的方法及装置


[0001]本申请涉及大数据集群
，尤其涉及一种消除热点数据的方法及装置。

技术介绍

[0002]随着互联网与移动设备的快速发展，人们日常生活与工作中产生的数据越来越多。为了对大规模的数据进行分析和处理，公司、企业需要搭建大数据集群，而Hadoop作为一款开源的分布式数据处理框架，已经被广泛应用在大数据的分析和处理领域。
[0003]HBase是Hadoop集群中的一个分布式数据库，它具有高可靠、高性能、面向列和可伸缩的特性，可以提供快速随机访问海量数据的能力。但在实际访问HBase时，当Region Server中的一个或多个数据表被频繁访问时，会出现热点现象，大量的访问会使热点数据所在的Region Server性能下降。而对于集群整体来讲，数据访问的不均匀会导致HBase负载不平衡，进而导致集群整体性能降低。
[0004]因此，目前亟需一种方案，用以检测并消除集群中的热点数据。

技术实现思路

[0005]本申请提供一种消除热点数据的方法及装置，用以检测并消除集群中的热点数据。
[0006]第一方面，本申请实施例提供一种消除热点数据的方法，该方法包括：获取集群中每个服务器的性能影响因子；所述性能影响因子包括访问频度和垃圾回收时间；根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器；所述热点服务器为热点数据集中的服务器；若所述热点服务器的所述性能影响因子满足触发条件，则将所述热点服务器中的数据分配到所述集群的其它服务器中。r/>[0007]上述技术方案中，根据集群中各服务器的垃圾回收耗时确定热点服务器，在热点服务器满足触发条件时，利用集群本身的数据高可用特性将当前检测出的热点服务器中的数据分配到集群的其他服务器中，使得集群中每个服务器的读写负载保持动态平衡，进而可以持续保持整个集群的高性能。
[0008]在一种可能的设计中，所述根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器，包括：将所述集群中所有服务器的所述垃圾回收时间排序，确定所述垃圾回收时间最长的服务器为所述集群中的热点服务器。
[0009]上述技术方案中，在对内存进行垃圾回收时需要消耗CPU等资源，服务器的垃圾回收耗时对用户体验影响较大，因此可以将垃圾回收时间最长的服务器确定为集群中的热点服务器。
[0010]在一种可能的设计中，所述若所述热点服务器的所述性能影响因子满足触发条件，包括若所述访问频度的倒数和所述垃圾回收时间的乘积大于预设阈值，则满足触发条件。
[0011]上述技术方案中，在将热点服务器中的数据分配到其它服务器上时，该热点服务
器以及该热点服务器中的数据均不能被访问，当确定的热点服务器每分钟被访问次数特别多时，对其上的数据进行重新分配会影响到较多的用户，因此，需要在热点服务器访问频度相对较小的情况下，对热点服务器上的数据进行分配。
[0012]在一种可能的设计中，将所述热点服务器中的数据分配到所述集群的其它服务器中，包括：向所述集群中的管理服务器发送所述热点服务器下线的指令；所述管理服务器将所述热点服务器中的数据按照负载均衡的策略，分配到所述集群的其它服务器中。
[0013]上述技术方案中，在检测数据访问集中的热点服务器后，向集群中的管理服务器发送热点服务器下线的指令，利用集群本身的数据高可用性，将指示下线的服务器(即热点服务器)中的数据分配到集群的其他服务器中。
[0014]在一种可能的设计中，所述方法还包括：向所述集群中的监控服务器发送所述热点服务器下线的指令；所述监控服务器将所述热点服务器从注册列表中删掉，使所述热点服务器不对外提供服务。
[0015]上述技术方案中，在检测数据访问集中的热点服务器后，向集群中的监控服务器发送热点服务器下线的指令，指示监控服务器将热点服务器从注册列表中删掉，避免由于不知道该热点服务器下线，继续对该热点服务器进行读写的情况发生。
[0016]在一种可能的设计中，所述管理服务器将所述热点服务器中的数据按照负载均衡的策略，分配到所述集群的其它服务器中之后，还包括：所述管理服务器将所述热点服务器上线；所述监控服务器将所述热点服务器添加到所述注册列表中，使所述热点服务器重新对外提供服务。
[0017]上述技术方案中，在管理服务器将热点服务器中的数据分配完毕后，将该热点服务器重新上线，以便重新启用该热点服务器；并且将该热点服务器添加到注册列表中，以告知该热点服务器可以继续对外提供服务。
[0018]在一种可能的设计中，所述方法还包括：检测所述集群的状态；若所述集群的状态异常，则暂停获取集群中每个服务器的性能影响因子，直至检测到所述集群的状态恢复正常。
[0019]上述技术方案中，在检测到集群的状态异常时，暂停执行上述消除热点数据的步骤，避免由于集群状态异常，在将热点服务器中的数据分配到集群的其它服务器中的过程中出现数据混乱的情况发生。
[0020]第二方面，本申请实施例提供一种消除热点数据的装置，包括：
[0021]获取模块，用于获取集群中每个服务器的性能影响因子；所述性能影响因子包括访问频度和垃圾回收时间；
[0022]确定模块，用于根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器；所述热点服务器为热点数据集中的服务器；
[0023]处理模块，用于若所述热点服务器的所述性能影响因子满足触发条件，则将所述热点服务器中的数据分配到所述集群的其它服务器中。
[0024]在一种可能的设计中，所述确定模块，还用于将所述集群中所有服务器的所述垃圾回收时间排序，确定所述垃圾回收时间最长的服务器为所述集群中的热点服务器。
[0025]在一种可能的设计中，所述若所述热点服务器的所述性能影响因子满足触发条件，包括若所述访问频度的倒数和所述垃圾回收时间的乘积大于预设阈值，则满足触发条
件。
[0026]在一种可能的设计中，所述处理模块，还用于向所述集群中的管理服务器发送所述热点服务器下线的指令；所述管理服务器将所述热点服务器中的数据按照负载均衡的策略，分配到所述集群的其它服务器中。
[0027]在一种可能的设计中，所述处理模块，还用于向所述集群中的监控服务器发送所述热点服务器下线的指令；所述监控服务器将所述热点服务器从注册列表中删掉，使所述热点服务器不对外提供服务。
[0028]在一种可能的设计中，所述管理服务器将所述热点服务器中的数据按照负载均衡的策略，分配到所述集群的其它服务器中之后，还包括：所述管理服务器将所述热点服务器上线；所述监控服务器将所述热点服务器添加到所述注册列表中，使所述热点服务器重新对外提供服务。
[0029]在一种可能的设计中，所述装置还包括检测模块，用于检测所述集群的状态；所述处理模块，还用于若所述集群的状态异常，则暂停获取集群中每个服务器的性能影响因子，直至检测到所述集群的状态恢复正常。
[0030]第三方面，本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种消除热点数据的方法，其特征在于，所述方法包括：获取集群中每个服务器的性能影响因子；所述性能影响因子包括访问频度和垃圾回收时间；根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器；所述热点服务器为热点数据集中的服务器；若所述热点服务器的所述性能影响因子满足触发条件，则将所述热点服务器中的数据分配到所述集群的其它服务器中。2.根据权利要求1所述的方法，其特征在于，所述根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器，包括：将所述集群中所有服务器的所述垃圾回收时间排序，确定所述垃圾回收时间最长的服务器为所述集群中的热点服务器。3.根据权利要求1所述的方法，其特征在于，所述若所述热点服务器的所述性能影响因子满足触发条件，包括若所述访问频度的倒数和所述垃圾回收时间的乘积大于预设阈值，则满足触发条件。4.根据权利要求1所述的方法，其特征在于，将所述热点服务器中的数据分配到所述集群的其它服务器中，包括：向所述集群中的管理服务器发送所述热点服务器下线的指令；所述管理服务器将所述热点服务器中的数据按照负载均衡的策略，分配到所述集群的其它服务器中。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：向所述集群中的监控服务器发送所述热点服务器下线的指令；所述监控服务器将所述热点服务器从注册列表中删掉，使所述热点服务器不对外提供服...

【专利技术属性】
技术研发人员：李广，郝建明，沈刚，张育新，张琦，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：