一种HBase配置参数自动调优方法及装置、用户设备制造方法及图纸

本发明专利技术公开了一种HBase配置参数自动调优方法及装置、用户设备，该方法包括：获取HBase数据库配置参数后，首先根据该HBase配置参数随机生成多组HBase配置文件，然后模拟负载，并根据生成的多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵，再根据该参数吞吐矩阵构建基于随机森林的性能模型，最后将性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。可见，实施本发明专利技术实施例，能够实现HBase配置参数自动调优，不再依赖于实施者的个人能力和经验，大大提高了作业效率。

【技术实现步骤摘要】
一种HBase配置参数自动调优方法及装置、用户设备
本专利技术涉及数据库领域，尤其涉及一种HBase配置参数自动调优方法及装置、用户设备。
技术介绍
HBase(HadoopDatabase，HBase)数据库是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase广泛使用在国内外大型互联网公司，同时也被很多中小型IT企业所广泛采用。HBase参数调优是系统部署、运维过程中的一项重要活动。HBase架构设计复杂，涉及一系列模块化的组件。这些组件包括负责网络通信的远程过程调用、缓存和缓冲区等。这些组件的行为和组件间的交互都由一系列参数控制。这些参数影响请求队列大小，缓存策略和并行程度等，是影响HBase性能的决定性因素。但是，这些参数的默认值仅仅能够尽量保证系统的稳定运行，远远达不到性能优化。因此，参数调优有很大的性能提升空间。参数调优能够提高系统性能，可以减少投资运维成本。例如，对某个特定的HBase应用，其设计吞吐目标是10000操作/秒，默认参数配置情况下需要30台服务器才能够达到10000操作/秒。但是通过参数调优，20台服务器就能够达到10000操作/秒。这意味着只需部署20台服务器即可满足应用的性能需求，节约了33％的系统投资成本。虽然，参数调优是降低成本的有效途径，但参数调优的实施面临着一系列挑战如如何克服参数见的干扰。当前，参数调优的效果依赖于具体的实施者，经验丰富并且对HBase架构有深入理解的工程师能够达到比较好的效果，但是对于一般技术背景的工程师，参数调优的效果往往不佳。并且，手动调优效率低，耗时长。手动调优的方法通常是尝试一组组不同的参数值，实际实施过程中，一组组尝试显得很不现实。以HBase参考手册为例，其推荐了超过二十个配置参数。即使每个参数只有2个取值，也存在着超过2的20次方个组合。
技术实现思路
本专利技术实施例公开了一种HBase配置参数自动调优方法及装置、用户设备，实现了HBase配置参数自动调优，不再依赖于实施者的个人能力和经验。本专利技术实施例第一方面公开一种HBase配置参数自动调优方法，包括：获取HBase(HadoopDatabase，HBase)数据库配置参数，并根据所述HBase配置参数随机生成多组HBase配置文件；模拟负载，并根据所述多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵；根据所述参数吞吐矩阵构建基于随机森林的性能模型，所述性能模型以HBase配置参数为输入，系统吞吐为输出；将所述性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法中，将性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数的步骤包括：将第一配置参数输入性能模型，然后将所述性能模型输入遗传算法计算评估值；如果所述评估值不是最优值，则将第一配置参数进行杂交和变异后生成第二配置参数；再将第二配置参数作为第一配置参数重复执行将第一配置参数输入性能模型的步骤，直到获取最优值为止，所述最优值对应的第一配置参数即为最优HBase配置参数。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法中，获取HBase配置参数，并根据所述HBase配置参数随机产生多组HBase配置文件的步骤包括：根据HBase参考手册选择若干个HBase配置参数；确定每个HBase配置参数的上限值、下限值和步长，并根据所述上限值、下限值和步长将每个参数分别随机取值，生成多组HBase配置文件。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法中，模拟负载，并根据所述多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵的步骤包括：根据所述HBase配置文件将HBase依次更新参数配置；每次更新参数配置后执行HBase命令操作获取对应吞吐量，并保存所述参数配置和对应的吞吐量，直至完成所有HBase配置文件；生成参数吞吐矩阵。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法中，性能模型还包括时延特征。本专利技术实施例第二方面公开一种HBase配置参数自动调优装置，包括：HBase配置文件生成模块，用于获取HBase配置参数，并根据所述HBase配置参数随机生成多组HBase配置文件；参数吞吐矩阵生成模块，用于模拟负载，并根据所述多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵；性能模型构建模块，用于根据所述参数吞吐矩阵构建基于随机森林的性能模型，所述性能模型以HBase配置参数为输入，系统吞吐为输出；遗传算法模块，用于将所述性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述遗传算法模块包括：输入单元，用于将第一配置参数输入性能模型；评估值计算单元，用于将输入单元输入的性能模型输入遗传算法计算评估值；判断单元，用于判断评估值计算单元计算的估值是否是最优值；第二配置参数生成单元，用于当判断单元判断出评估值不是最优值时，将第一配置参数进行杂交和变异后生成第二配置参数。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述HBase配置文件生成模块包括：配置参数选择单元，用于根据HBase参考手册选择若干个HBase配置参数；HBase配置文件生成单元，用于确定每个HBase配置参数的上限值、下限值和步长，并根据所述上限值、下限值和步长将每个参数分别随机取值，生成多组HBase配置文件。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述参数吞吐矩阵生成模块包括：参数配置更新单元，用于根据HBase配置文件生成单元生成的HBase配置文件将HBase依次更新参数配置；吞吐量获取单元，用于每次更新参数配置后执行HBase命令操作获取对应吞吐量，并保存所述参数配置和对应的吞吐量，直至完成所有HBase配置文件；参数吞吐矩阵生成单元，用于根据所述参数配置和对应的吞吐量生成参数吞吐矩阵。本专利技术实施例第三方面公开一种用户设备，包括本专利技术实施例第二方面公开的所述HBase配置参数自动调优装置。与现有技术相比，本专利技术实施例具备以下有益效果：本专利技术实施例中，获取HBase数据库配置参数后，首先根据该HBase配置参数随机生成多组HBase配置文件，然后模拟负载，并根据生成的多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵，再根据该参数吞吐矩阵构建基于随机森林的性能模型，最后将性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。可见，实施本专利技术实施例，能够实现HBase配置参数自动调优，不再依赖于实施者的个人能力和经验，大大提高了作业效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例公开的一种HBase配置参数自动调优方法的流程示意图；图2是本专利技术实施例公开的另一种HBase配置参数自动调优方法本文档来自技高网...

【技术保护点】
1.一种HBase配置参数自动调优方法，其特征在于，包括：获取HBase数据库配置参数，并根据所述HBase配置参数随机生成多组HBase配置文件；模拟负载，并根据所述多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵；根据所述参数吞吐矩阵构建基于随机森林的性能模型，所述性能模型以HBase配置参数为输入，系统吞吐为输出；将所述性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。

【技术特征摘要】
1.一种HBase配置参数自动调优方法，其特征在于，包括：获取HBase数据库配置参数，并根据所述HBase配置参数随机生成多组HBase配置文件；模拟负载，并根据所述多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵；根据所述参数吞吐矩阵构建基于随机森林的性能模型，所述性能模型以HBase配置参数为输入，系统吞吐为输出；将所述性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。2.根据权利要求1所述的方法，其特征在于，所述将性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数的步骤包括：将第一配置参数输入性能模型，然后将所述性能模型输入遗传算法计算评估值；如果所述评估值不是最优值，则将第一配置参数进行杂交和变异后生成第二配置参数；再将第二配置参数作为第一配置参数重复执行将第一配置参数输入性能模型的步骤，直到获取最优值为止，所述最优值对应的第一配置参数即为最优HBase配置参数。3.根据权利要求2所述的方法，其特征在于，所述获取HBase配置参数，并根据所述HBase配置参数随机产生多组HBase配置文件的步骤包括：根据HBase参考手册选择若干个HBase配置参数；确定每个HBase配置参数的上限值、下限值和步长，并根据所述上限值、下限值和步长将每个参数分别随机取值，生成多组HBase配置文件。4.根据权利要求3所述的方法，其特征在于，所述模拟负载，并根据所述多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵的步骤包括：根据所述HBase配置文件将HBase依次更新参数配置；每次更新参数配置后执行HBase命令操作获取对应吞吐量，并保存所述参数配置和对应的吞吐量，直至完成所有HBase配置文件；生成参数吞吐矩阵。5.根据权利要求1-3所述的方法，其特征在于，所述性能模型还包括时延特征。6.一种HBase配置参数自动调优装置，其...

【专利技术属性】
技术研发人员：熊文，喻之斌，须成忠，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44