一种基于迁移学习的软件系统配置调优方法及装置制造方法及图纸

本发明专利技术提供了一种基于迁移学习的软件系统配置调优方法及装置，通过随机采样方式得到多组配置，然后将软件系统按照每组配置进行设置得到每组配置对应的性能值，并将每组配置以及对应的性能值加入集合从而组成数据集合；利用数据集合对预设的随机森林模型进行训练；通过采集函数在候选配置中确定一组目标配置，再按照目标配置得到目标性能值；将目标配置以及对应的目标性能值加入数据集合中，并重复更新随机森林模型以及获取目标性能值的过程，直至达到最大迭代次数得到性能值最优的一组配置；将目标任务的配置按照性能最优的一组配置进行设置。本发明专利技术在提升了软件系统性能的同时，提高了算法的调优效率和对于不同工作负载的适应能力。适应能力。适应能力。

【技术实现步骤摘要】
一种基于迁移学习的软件系统配置调优方法及装置


[0001]本专利技术属于性能优化
，具体涉及一种基于迁移学习的软件系统配置调优方法及装置。

技术介绍

[0002]现代软件系统针对不同业务场景为用户提供了大量可配置参数，用户通过选择不同可配置参数去控制系统性能行为的所有方面，参数配置的选择对系统性能和用户体验有重大影响。然而，巨大且复杂的参数配置空间和高昂的性能度量成本对系统的性能优化带来了巨大的挑战近年来人们对软件系统的配置优化问题进行了大量研究，但这些方法都存在一定的不足之处。大量配置调优方法仅针对某一工作负载进行调优，当软件系统的工作负载变化后，现有方法需要重新进行往复的学习优化过程，这使得新系统的参数优化费时且费力。
[0003]目前也存在一些针对工作负载变化场景设计的配置优化方法，这些方法往往利用过往调优过程中获得的性能模型或者数据样本帮助构建目标任务的性能模型，加速调优过程。这类方法构建的目标任务性能模型精度较差，进而影响调优效率。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于迁移学习的软件系统配置调优方法及装置。本专利技术要解决的技术问题通过以下技术方案实现：第一方面，本专利技术提供了一种基于迁移学习的软件系统配置调优方法包括：S100，获取软件系统输入的所有参数以及目标任务，并在所有参数组成的配置空间中通过随机采样方式得到目标任务的多组配置；S200，将软件系统按照每组配置进行设置得到每组配置对应的性能值，并将每组配置以及对应的性能值加入集合，从而组成目标任务的数据集合；S300，利用数据集合对预设的随机森林模型进行训练，得到训练后的随机森林模型；S400，在训练后的随机森林模型基础上通过采集函数在候选配置中，确定一组目标配置；S500，将软件系统按照目标配置进行设置得到软件系统的目标性能值；S600，将目标配置以及对应的目标性能值加入S200中的数据集合中，并重复S300至S500直至达到最大迭代次数得到性能值最优的一组配置；S700，将目标任务的配置按照性能最优的一组配置进行设置。
[0005]第二方面，本专利技术提供了一种基于迁移学习的软件系统配置调优装置包括：获取模块，用于为获取软件系统输入的所有参数以及目标任务，并在所有参数组成的配置空间中通过随机采样方式得到目标任务的多组配置；第一配置模块，用于将软件系统按照每组配置进行设置得到每组配置对应的性能
值，并将每组配置以及对应的性能值加入集合，从而组成目标任务的数据集合；训练模块，用于利用数据集合对预设的随机森林模型进行训练，得到训练后的随机森林模型；确定模块，用于在训练后的随机森林模型基础上通过采集函数在候选配置中，确定一组目标配置；第二配置模块，用于将软件系统按照目标配置进行设置得到软件系统的目标性能值；迭代模块，用于将目标配置以及对应的目标性能值加入S200中的数据集合中，并重复S300至S500直至达到最大迭代次数得到性能值最优的一组配置；执行模块，用于将目标任务的配置按照性能最优的一组配置进行设置。
[0006]本专利技术提供了一种基于迁移学习的软件系统配置调优方法及装置，通过随机采样方式得到多组配置，然后将软件系统按照每组配置进行设置得到每组配置对应的性能值，并将每组配置以及对应的性能值加入集合，从而组成数据集合；利用数据集合对预设的随机森林模型进行训练；在训练后的随机森林模型基础上通过采集函数在候选配置中，确定一组目标配置；将软件系统按照目标配置进行设置得到软件系统的目标性能值；将目标配置以及对应的目标性能值加入数据集合中，并重复对随机森林模型获取目标性能值的过程，直至达到最大迭代次数得到性能值最优的一组配置；将目标任务的配置按照性能最优的一组配置进行设置。本专利技术与其他基于迁移学习思想的配置调优方法相比，在提升了软件系统性能的同时，通过引入过往对其他工作负载进行配置调优获得的知识，在对新的工作负载进行配置调优时将算法的搜索空间限定在配置具有较高性能的区域内，从而提高了算法的调优效率和对于不同工作负载的适应能力。
[0007]以下将结合附图及实施例对本专利技术做进一步详细说明。
附图说明
[0008]图1是本专利技术实施例部分提供的一种基于迁移学习的软件系统配置调优方法的算法流程图；图2是本专利技术实施例部分提供的一种基于迁移学习的软件系统配置调优方法的调优框架图；图3是本专利技术实施例部分提供的一种基于迁移学习的软件系统配置调优方法在工作负载1下的调优效果与调优效率对比实验结果图；图4是本专利技术实施例部分提供的一种基于迁移学习的软件系统配置调优方法在工作负载2下的调优效果与调优效率对比实验结果图；图5是本专利技术实施例部分提供的一种基于迁移学习的软件系统配置调优方法在工作负载3下的调优效果与调优效率对比实验结果图；图6是本专利技术实施例部分提供的一种基于迁移学习的软件系统配置调优方法在工作负载4下的调优效果与调优效率对比实验结果图。
具体实施方式
[0009]下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于
此。
[0010]如图1所示，本专利技术提供了一种基于迁移学习的软件系统配置调优方法包括：S100，获取软件系统输入的所有参数以及目标任务，并在所有参数组成的配置空间中通过随机采样方式得到多组配置；S200，将软件系统按照每组配置进行设置得到每组配置对应的性能值，并将每组配置以及对应的性能值加入集合，从而组成数据集合；S300，利用数据集合对预设的随机森林模型进行训练，得到训练后的随机森林模型；S400，在训练后的随机森林模型基础上通过采集函数在候选配置中，确定一组目标配置；本步骤的采集函数表示为：（4）；其中，配置的性能预测均值与当前最优性能值的差，表示目前最优的性能值，和分别指的是标准正态分布的累积分布函数CDF和概率密度函数PDF，表示随机森林模型预测的方差，表示随机森林模型预测的均值，表示训练好的随机森林模型，表示一组候选配置。
[0011]本专利技术的采集函数指的是根据随机森林模型调整过的期望提升函数。期望提升函数不仅考虑性能提升的概率，同时考虑性能提升的幅度，能够在配置搜索过程中更好地平衡探索与利用。
[0012]S500，将软件系统按照目标配置进行设置得到软件系统的目标性能值；S600，将目标配置以及对应的目标性能值加入S200中的数据集合中，并重复S300至S500直至达到最大迭代次数得到性能值最优的一组配置；S700，将目标任务的配置按照性能最优的一组配置进行设置。
[0013]本专利技术提供了一种基于迁移学习的软件系统配置调优方法，通过随机采样方式得到多组配置，然后将软件系统按照每组配置进行设置得到每组配置对应的性能值，并将每组配置以及对应的性能值加入集合，从而组成数据集合。参照图2，利用数据集合对预设的随机森林模型进行训练；通过基于参数选择的配置空间设计和基于迁移学习的配置空间设计，确定一组候选配置；在训练后的随机森林模型基础上通过采集函数在候选配置中，确定一个目标配置；将软件系统按照目标配置进行设置得到软本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的软件系统配置调优方法，其特征在于，包括：S100，获取软件系统输入的所有参数以及目标任务，并在所有参数组成的配置空间中通过随机采样方式得到目标任务的多组配置；S200，将软件系统按照每组配置进行设置得到每组配置对应的性能值，并将每组配置以及对应的性能值加入集合，从而组成目标任务的数据集合；S300，利用所述数据集合对预设的随机森林模型进行训练，得到训练后的随机森林模型；S400，在训练后的随机森林模型基础上通过采集函数在候选配置中，确定一组目标配置；S500，将软件系统按照目标配置进行设置得到软件系统的目标性能值；S600，将所述目标配置以及对应的目标性能值加入S200中的数据集合中，并重复S300至S500直至达到最大迭代次数得到性能值最优的一组配置；S700，将目标任务的配置按照性能最优的一组配置进行设置。2.根据权利要求1所述的基于迁移学习的软件系统配置调优方法，其特征在于，在S400之前，所述基于迁移学习的软件系统配置调优方法还包括：S410，根据软件系统输入的所有参数以及待配置的目标任务，生成初始候选配置；S420，在所述初始候选配置中利用集成分类器选择候选配置。3.根据权利要求2所述的基于迁移学习的软件系统配置调优方法，其特征在于，S410包括：S411，将软件系统输入的所有参数去除无用的参数，得到筛选过的参数；S412，通过基尼系数和随机森林代理模型，计算筛选过的每个参数的重要性排名，选择前预设数量个参数作为重要性参数；S413，将重要性参数构成子配置空间，并对子配置空间进行拉丁方采样得到第一候选配置；S414，将筛选过的参数组成的完整配置空间进行随机采样，得到第二候选配置；S415，将第一候选配置和第二候选配置组成初始候选配置。4.根据权利要求2所述的基于迁移学习的软件系统配置调优方法，其特征在于，S420包括：S421，在历史数据库中查找出源任务对应的配置以及性能值；S422，查找与目标任务相似度符合条件的至少一个源任务；S423，将源任务的每个配置对应的性能进行重新标注，并将重新标注的性能以及对应的配置作为源任务样本；S424，利用每个源任务的样本训练一个支持向量机分类器，得到每个源任务训练得到的支持向量机分类器；S425，将所有训练得到的支持向量机分类器组成集成分类器，并利用集成分类器对每个初始候选配置进行分类，得到每个初始候选配置的多个分类结果；S426，如果一个初始候选配置的多个分类结果超过半数表明该初始候选配置位于高性能区域，则将该初始候选配置确定为候选配置。5.根据权利要求4所述的基于迁移学习的软件系统配置调优方法，其特征在于，S422包
括：S4221，查找配置与目标任务的配置相同的源任务；S4222，判断源任务与目标任务的配置是否均相同，如果源任务中缺少目标任务的配置，则将缺少的配置确定为缺失配置；S4223，根据源任务的其他配置训练随机森林代理模型，并将缺失配置输入至训练后的随机森林代理模型中输出源任务的缺失配置对应的性...

【专利技术属性】
技术研发人员：谢孟凯，周富满，金闪，李秉伦，李倩，林勇，李方伟，贾继儒，冯枭英，邵明辰，郑晓静，学健，靳海涛，张冰琦，陈松芬，
申请(专利权)人：北京电科智芯科技有限公司，
类型：发明
国别省市：