一种基于Ottertune服务的集群调优方法及装置制造方法及图纸

本申请公开了一种基于Ottertune服务的集群调优方法、装置、设备及介质，方法包括：利用目标数据库的样本集群状态信息和样本性能信息学习训练得出目标模型；获取目标数据库的当前集群状态信息；将当前集群状态信息输入至目标模型中，利用目标模型输出与当前集群状态信息对应的当前性能信息；若当前性能信息未达到目标性能状态，根据当前性能信息确定出对应的配置信息，利用配置信息调整目标数据库的配置变量，并进入获取目标数据库的当前集群状态信息的步骤。本方法避免了需要技术人员反复调整目标数据库的配置变量的操作，操作过程更加便捷，降低对人力资源的消耗；避免了技术人员出现手误的情况，能够相对保障数据库的可靠性和稳定性。稳定性。稳定性。

A cluster tuning method and device based on ottertune service

【技术实现步骤摘要】
一种基于Ottertune服务的集群调优方法及装置


[0001]本专利技术涉及数据库领域，特别涉及一种基于Ottertune服务的集群调优方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]数据库管理系统(Database Management System，DBMS)是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库；数据库如Hadoop或者Spark或者Hive等通常会有成百上千个配置变量，比如要使用多少内存做缓存和写入磁盘的频率等；也就是说，数据库管理系统需要对数据库的成百上千个配置变量进行管理，配置变量直接影响数据库的性能，甚至错误的配置变量将导致运行故障甚至导致安全问题。
[0003]目前各组织机构通常组织技术人员根据操作经验通过数据库管理系统对数据库的配置变量进行调整，实现集群调优。但是现有技术的方法，不仅需要消耗大量的人力资源，操作过程繁琐，而且在实际操作过程中，技术人员可能由于手误等操作导致配置变量设置错误，从而影响数据库的稳定性和可靠性。
[0004]因此，如何高效地进行集群调优，能够保障数据库的可靠性和稳定性，降低对人力资源的消耗，是本领域技术人员目前需要解决的技术问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于Ottertune服务的集群调优方法，能够高效地进行集群调优，能够保障数据库的可靠性和稳定性，降低对人力资源的消耗；本专利技术的另一目的是提供一种基于Ottertune服务的集群调优装置、设备及计算机可读存储介质，均具有上述有益效果。
[0006]为解决上述技术问题，本专利技术提供一种基于Ottertune服务的集群调优方法，包括：
[0007]利用目标数据库的样本集群状态信息和样本性能信息学习训练得出目标模型；
[0008]获取所述目标数据库的当前集群状态信息；
[0009]将所述当前集群状态信息输入至所述目标模型中，利用所述目标模型输出与所述当前集群状态信息对应的当前性能信息；
[0010]判断所述当前性能信息是否达到目标性能状态；
[0011]若否，则根据所述当前性能信息确定出对应的配置信息，利用所述配置信息调整所述目标数据库的配置变量，并进入所述获取所述目标数据库的当前集群状态信息的步骤；若是，结束进程。
[0012]优选地，所述根据所述当前性能信息确定出对应的配置信息，利用所述配置信息调整所述目标数据库的配置变量的过程，具体包括：
[0013]获取与所述目标数据库对应的目标服务器的硬件配置信息和软件配置信息；
[0014]根据所述硬件配置信息、所述软件配置信息以及所述当前性能信息确定出对应的
配置信息，利用所述配置信息调整所述目标数据库的所述配置变量。
[0015]优选地，所述利用目标数据库的样本集群状态信息和样本性能信息学习训练得出目标模型的过程，具体包括：
[0016]获取所述目标数据库的所述样本集群状态信息和与各所述样本集群状态信息对应的样本性能信息；
[0017]将所述样本集群状态信息和所述样本性能信息输入至深度神经网络中进行学习训练，当模型精准度达到预设标准时输出所述目标模型。
[0018]优选地，所述将所述样本集群状态信息和所述样本性能信息输入至所述深度神经网络中进行学习训练，当模型精准度达到预设标准时输出所述目标模型的过程，具体包括：
[0019]将所述样本集群状态信息和所述样本性能信息输入至所述深度神经网络中进行学习训练，调用多个不同的比对函数库判断所述模型精准度，当所述模型精准度达到预设标准时输出所述目标模型。
[0020]优选地，在所述获取所述目标数据库的所述样本集群状态信息和与各所述样本集群状态信息对应的样本性能信息之后，进一步包括：
[0021]对所述样本集群状态信息进行降维处理。
[0022]优选地，进一步包括：
[0023]当迭代更新模型达到最大迭代次数时，将迭代更新次数为所述最大迭代次数对应的模型输出为所述目标模型。
[0024]优选地，进一步包括：
[0025]记录确定出的各所述配置信息以及对应的配置变量。
[0026]为解决上述技术问题，本专利技术还提供一种基于Ottertune服务的集群调优装置，包括：
[0027]训练模块，用于利用目标数据库的样本集群状态信息和样本性能信息学习训练得出目标模型；
[0028]获取模块，用于获取所述目标数据库的当前集群状态信息；
[0029]执行模块，用于将所述当前集群状态信息输入至所述目标模型中，利用所述目标模型输出与所述当前集群状态信息对应的当前性能信息；
[0030]判断模块，用于判断所述当前性能信息是否达到目标性能状态；若否，则调用调整模块；若是，结束进程。
[0031]所述调整模块，用于根据所述当前性能信息确定出对应的配置信息，利用所述配置信息调整所述目标数据库的配置变量，并调用所述获取模块。
[0032]为解决上述技术问题，本专利技术还提供一种基于Ottertune服务的集群调优设备，包括：
[0033]存储器，用于存储计算机程序；
[0034]处理器，用于执行所述计算机程序时实现上述任一种基于Ottertune服务的集群调优方法的步骤。
[0035]为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种基于Ottertune服务的集群调优方法的步骤。
[0036]本专利技术提供的一种基于Ottertune服务的集群调优方法，相较于现有技术中技术人员根据操作经验反复调整所述目标数据库的配置变量的方式，本方法通过学习训练出目标模型，根据目标模型确定出与所述当前集群状态信息对应的当前性能信息，再根据所述当前性能信息确定出对应的配置信息，利用所述配置信息调整所述目标数据库的配置变量，避免了需要技术人员反复调整目标数据库的配置变量的操作，操作过程更加便捷，降低对人力资源的消耗；并且本方法避免了技术人员出现手误的情况，因此能够相对保障数据库的可靠性和稳定性。
[0037]为解决上述技术问题，本专利技术还提供了一种基于Ottertune服务的集群调优装置、设备及计算机可读存储介质，均具有上述有益效果。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]图1为本专利技术实施例提供的一种基于Ottertune服务的集群调优方法的流程图；
[0040]图2为本专利技术实施例提供的一种基于Ottertune服务的集群调优装置的结构图；
[0041]图3为本专利技术实施例提供的一种基于Ottert本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Ottertune服务的集群调优方法，其特征在于，包括：利用目标数据库的样本集群状态信息和样本性能信息学习训练得出目标模型；获取所述目标数据库的当前集群状态信息；将所述当前集群状态信息输入至所述目标模型中，利用所述目标模型输出与所述当前集群状态信息对应的当前性能信息；判断所述当前性能信息是否达到目标性能状态；若否，则根据所述当前性能信息确定出对应的配置信息，利用所述配置信息调整所述目标数据库的配置变量，并进入所述获取所述目标数据库的当前集群状态信息的步骤；若是，结束进程。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前性能信息确定出对应的配置信息，利用所述配置信息调整所述目标数据库的配置变量的过程，具体包括：获取与所述目标数据库对应的目标服务器的硬件配置信息和软件配置信息；根据所述硬件配置信息、所述软件配置信息以及所述当前性能信息确定出对应的配置信息，利用所述配置信息调整所述目标数据库的所述配置变量。3.根据权利要求1所述的方法，其特征在于，所述利用目标数据库的样本集群状态信息和样本性能信息学习训练得出目标模型的过程，具体包括：获取所述目标数据库的所述样本集群状态信息和与各所述样本集群状态信息对应的样本性能信息；将所述样本集群状态信息和所述样本性能信息输入至深度神经网络中进行学习训练，当模型精准度达到预设标准时输出所述目标模型。4.根据权利要求3所述的方法，其特征在于，所述将所述样本集群状态信息和所述样本性能信息输入至所述深度神经网络中进行学习训练，当模型精准度达到预设标准时输出所述目标模型的过程，具体包括：将所述样本集群状态信息和所述样本性能信息输入至所述深度神经网络中进行学习训练，调用多个不同的比对函数库判断所述模型精...

【专利技术属性】
技术研发人员：金昭，
申请(专利权)人：山东英信计算机技术有限公司，
类型：发明
国别省市：