系统参数调优的方法、装置及电子设备制造方法及图纸

本申请提出一种系统参数调优的方法、装置及电子设备。该方法包括：获取针对所述计算机系统预设的配置参数，以及利用预设的基准程序得到的与所述配置参数对应的第一评价结果；根据所述配置参数以及所述第一评价结果，对所述配置参数进行聚类，得到第一预设数量的参数分组；针对每一所述参数分组，利用与所述参数分组对应的性能预测模型，通过梯度优化法，沿着使所述性能预测模型所输出的性能预测结果更好的方向进行配置参数调优，确定每一所述参数分组分别对应的局部最优配置参数；基于所述局部最优配置参数，确定与全部所述参数分组对应的全局最优配置参数，从而可以基于所述全局最优配置参数对所述计算机系统进行配置，使计算机系统性能最优。机系统性能最优。机系统性能最优。

【技术实现步骤摘要】
系统参数调优的方法、装置及电子设备


[0001]本申请涉及计算机技术，具体涉及一种系统参数调优的方法、装置及电子设备。

技术介绍

[0002]计算机系统的运行性能与配置参数有关。所述配置参数可以包含多个维度的系统参数。所述系统参数是指计算机系统中可以进行动态设置并对计算机系统性能产生影响的配置项，例如，内核配置参数和应用配置参数等。
[0003]当前主流的配置参数调优方法主要基于贝叶斯理论。即根据实时反馈的计算机性能调优效果，在预置的参数空间中，利用全局预测模型动态搜索出更优的配置参数，使得计算机运行性能更佳。此优化方法框架较为通用，近年来不仅用于计算机系统相关的参数调优场景，也广泛用于深度学习模型的超参数调优场景。
[0004]所述全局预测模型用于根据配置参数，预测根据所述配置参数系统参数调优时，计算机的运行性能。全局主要体现在该模型可以针对所述参数空间内的全部配置参数进行有效预测。
[0005]然而，由于维度灾难(curse of dimensionality)和数据的异质性(heterogeneity)，往往很难得到可以准确预测所述运行性能的全局预测模型，从而无法准确进行参数调优，进而影响对计算机性能的优化效果。

技术实现思路

[0006]有鉴于此，本申请至少公开一种系统参数调优的方法。该方法可以包括：获取针对计算机系统预设的配置参数，以及利用预设的基准程序得到的与所述配置参数对应的第一评价结果；所述第一评价结果用于评估所述计算机系统性能；根据所述配置参数以及所述第一评价结果，对所述配置参数进行聚类，得到第一预设数量的参数分组；针对每一所述参数分组，利用与所述参数分组对应的性能预测模型，通过梯度优化法，沿着使所述性能预测模型所输出的性能预测结果更好的方向进行配置参数调优，确定每一所述参数分组分别对应的局部最优配置参数；所述性能预测模型为基于所述参数分组内各组配置参数以及各组配置参数对应的第一评价结果进行训练得到的神经网络模型；基于所述局部最优配置参数，确定与全部所述参数分组对应的全局最优配置参数。
[0007]在一些实施例中，所述根据所述配置参数以及所述第一评价结果，对所述配置参数进行聚类，得到多个参数分组，包括：根据从所述配置参数中选取的第一预设数量的中心参数，对所述配置参数进行初步划分得到所述第一预设数量的参数分组；针对每一组所述配置参数，根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组；其中，所述配置参数和所述配置参数对应的第一评价结果之间具备第二线性关系，所述第二线性关系和所述目标参数分组对应的第一线性关系之间的匹配度最高；所述第一线性关系基于所述目标参数分组内的各组配置参数和各组配置参数的第一评价结果拟合得到。
[0008]在一些实施例中，所述根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组，包括：针对每一所述参数分组，利用所述参数分组内的各组配置参数与各组配置参数的第一评价结果，拟合得到每一所述参数分组分别对应的第一线性回归模型；所述第一线性回归模型用于指示所述第一线性关系；利用每一所述参数分组分别对应的第一线性回归模型，对所述配置参数进行预测，得到与每一所述参数分组分别对应的第二评价结果；根据所述第二评价结果与所述第一评价结果，得到与每一所述参数分组分别对应的预测误差；所述预测误差指示所述第二线性关系与各参数分组对应的第一线性关系之间的匹配度；将所述配置参数重新划分至与最小预测误差对应的目标参数分组。
[0009]在一些实施例中，所述针对每一组所述配置参数，根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组，包括：多次执行针对多组所述配置参数中每一组所述配置参数，根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组的步骤，直至各参数分组内的配置参数不再发生变化，或，在完成一次针对每一组所述配置参数重新划分参数分组之后，针对每一参数分组重新拟合得到的第二线性回归模型，与所述第一线性规划模型相匹配。
[0010]在一些实施例中，在所述第一评价结果和所述性能预测结果越大，指示所述计算机系统性能越好的情形下，所述梯度优化法包括梯度上升法；在所述第一评价结果和所述性能预测结果越小，指示所述计算机系统性能越好的情形下，所述梯度优化法包括梯度下降法。
[0011]在一些实施例中，在所述梯度优化法为梯度下降法的情形下，所述针对每一所述参数分组，利用与所述参数分组对应的性能预测模型，通过梯度优化法，沿着使所述性能预测模型所输出的性能预测结果更好的方向进行配置参数调优，确定每一所述参数分组分别对应的局部最优配置参数，包括：针对每一所述参数分组，多次利用梯度下降法，沿着使所述性能预测模型所输出的性能预测结果更好的方向，利用参数变化步长，对所述参数分组中的当前最优配置参数进行调整，生成多组新配置参数以进行配置参数调优，以及将生成的多组所述新配置参数添加至所述参数分组；针对每一参数分组，将所述参数分组内与最小第一评价结果对应的配置参数确定为所述参数分组对应的局部最优配置参数。
[0012]在一些实施例中，所述多次利用梯度下降法，沿着使所述性能预测模型所输出的性能预测结果更好的方向，利用参数变化步长，对所述参数分组中的当前最优配置参数进行调整，生成多组新配置参数，以及将生成的多组所述新配置参数添加至所述参数分组，包括：针对所述参数分组多次执行以下步骤，直到达到预设执行次数或者满足预设条件：根据所述参数分组内的各组配置参数，以及各组配置参数对应的第一评价结果，对所述性能预测模型进行训练；将所述各组配置参数对应的第一评价结果中的最小第一评价结果所对应配置参数确定为当前最优配置参数；根据梯度下降法，沿着使完成训练的所述性能预测模型输出的性能预测结果更好的方向，根据所述当前最优配置参数与参数变化步长，生成新配置参数；将生成的所述新配置参数添加至所述参数分组。
[0013]在一些实施例中，所述根据梯度下降法，沿着使完成训练的所述性能预测模型输出的性能预测结果更好的方向，根据所述当前最优配置参数与参数变化步长，生成新配置参数，包括：根据所述当前最优参数，确定所述性能预测模型在所述当前最优配置参数处的
梯度；所述梯度指示所述性能预测模型在所述当前最优配置参数处的预测结果的变化情况；在所述梯度为正数的情形下，根据所述当前最优配置参数与所述参数变化步长之差，生成新配置参数；在所述梯度为负数的情形下，根据所述当前最优配置参数与所述参数变化步长之和，生成新配置参数。
[0014]在一些实施例中，所述参数变化步长包括调节系数与预设单位步长之积；所述调节系数的确定方法包括：将每次梯度下降确定的当前最优配置参数，与上一次梯度下降确定的当前最优配置参数进行比较；在连续第二预设数量的梯度下降过程中，每一次梯度下降中确定的当前最优配置参数均为上一次梯度下降新增加的新配置参数的情形下，增加所述调节系数；在连续第三预设数量的梯度下降本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统参数调优的方法，包括：获取针对计算机系统预设的配置参数，以及利用预设的基准程序得到的与所述配置参数对应的第一评价结果；所述第一评价结果用于评估所述计算机系统性能；根据所述配置参数以及所述第一评价结果，对所述配置参数进行聚类，得到第一预设数量的参数分组；针对每一所述参数分组，利用与所述参数分组对应的性能预测模型，通过梯度优化法，沿着使所述性能预测模型所输出的性能预测结果更好的方向进行配置参数调优，确定每一所述参数分组分别对应的局部最优配置参数；所述性能预测模型为基于所述参数分组内各组配置参数以及各组配置参数对应的第一评价结果进行训练得到的神经网络模型；基于所述局部最优配置参数，确定与全部所述参数分组对应的全局最优配置参数。2.根据权利要求1所述的方法，所述根据所述配置参数以及所述第一评价结果，对所述配置参数进行聚类，得到第一预设数量的参数分组，包括：根据从所述配置参数中选取的第一预设数量的中心参数，对所述配置参数进行初步划分得到所述第一预设数量的参数分组；针对每一组所述配置参数，根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组；其中，所述配置参数和所述配置参数对应的第一评价结果之间具备第二线性关系，所述第二线性关系和所述目标参数分组对应的第一线性关系之间的匹配度最高；所述第一线性关系基于所述目标参数分组内的各组配置参数和各组配置参数的第一评价结果拟合得到。3.根据权利要求2所述的方法，所述根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组，包括：针对每一所述参数分组，利用所述参数分组内的各组配置参数与各组配置参数的第一评价结果，拟合得到每一所述参数分组分别对应的第一线性回归模型；所述第一线性回归模型用于指示所述第一线性关系；利用每一所述参数分组分别对应的第一线性回归模型，对所述配置参数进行预测，得到与每一所述参数分组分别对应的第二评价结果；根据所述第二评价结果与所述第一评价结果，得到与每一所述参数分组分别对应的预测误差；所述预测误差指示所述第二线性关系与各参数分组对应的第一线性关系之间的匹配度；将所述配置参数重新划分至与最小预测误差对应的目标参数分组。4.根据权利要求2或3所述的方法，所述针对每一组所述配置参数，根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组，包括：多次执行针对每一组所述配置参数，根据所述配置参数以及所述配置参数对应的第一评价结果，将所述配置参数重新划分至目标参数分组的步骤，直至各参数分组内的配置参数不再发生变化，或，在完成一次针对每一组所述配置参数重新划分参数分组之后，针对每一参数分组重新拟合得到的第二线性回归模型，与所述第一线性规划模型相匹配。5.根据权利要求1所述的方法，在所述第一评价结果和所述性能预测结果越大指示所述计算机系统性能越好的情形下，所述梯度优化法包括梯度上升法；
在所述第一评价结果和所述性能预测结果越小指示所述计算机系统性能越好的情形下，所述梯度优化法包括梯度下降法。6.根据权利要求1所述的方法，在所述梯度优化法为梯度下降法的情形下，所述针对每一所述参数分组，利用与所述参数分组对应的性能预测模型，通过梯度优化法，沿着使所述性能预测模型所输出的性能预测结果更好的方向进行配置参数调优，确定每一所述参数分组分别对应的局部最优配置参数，包括：针对每一所述参数分组，多次利用梯度下降法，沿着使所述性能预测模型所输出的性能预测结果更好的方向，利用参数变化步长，对所述参数分组中的当前最优配置参数进行调整，生成多组新配置参数以进行配置参数调优，以及将生成的多组所述新配置参数添加至所述参数分组；针对每一参数分组，将所述参数分组内与最小第一评价结果对应的配置参数确定为所述参数分组对应的局部最优配置参数。7.根据权利要求6所述的方法，所述多次利用梯度下降法，沿着使所述性能预测模型所输出的性能预测结果更好的方向，利用参数变化步长，对...

【专利技术属性】
技术研发人员：王润哲，胡玉溪，王庆龙，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：