基于机器学习的文件系统参数自动调优方法及系统技术方案

本发明专利技术公开了基于机器学习的文件系统参数自动调优方法及系统，方法包括：获取文件系统的读写比例；对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能；根据测试得到的访问性能，识别文件系统的关键参数；根据文件系统的读写比例、访问性能以及关键参数，通过深度神经网络训练得到预测模型；根据预测模型的输出值，通过负载匹配方法和遗传算法，获取文件系统的推荐参数。本发明专利技术通过机器学习技术，将文件系统的参数调整实现为自动化流程，大大降低了人工成本，提高了工作效率；另外，本发明专利技术能够对不同的文件系统和硬件环境进行参数调优，提高了通用性，可广泛应用于机器学习技术领域。

【技术实现步骤摘要】
基于机器学习的文件系统参数自动调优方法及系统
本专利技术涉及机器学习
，尤其是基于机器学习的文件系统参数自动调优方法及系统。
技术介绍
系统软件的高效运行需要对其自身的多种参数进行人工设定，例如：(1)关系型数据库中日志文件(Logfilesize)的大小；(2)操作系统虚拟内存大小以及(3)文件系统的页缓存大小(PageCache)等等。但是，在一般情况下，由于此类参数的默认值并不适用于所有的上层多样应用程序。因此，需要人工劳力，例如数据库管理员或者系统运维人员，去监控应用程序的运行数据，总结其运行特征，然后再对系统软件进行参数调整，使得系统环境能够和该应用程序的运行特征互相适配，以达到较优的性能。由于系统软件的底层性和特殊性，导致其可调整的参数数量一般较多，这不仅加大了人工调整的工作量，也减慢了系统软件与特定应用程序之间的匹配速度，从而降低了应用程序的运行性能。而且，不合适的参数配置甚至会导致系统软件出现运行错误，从而引起应用程序或者整个系统的崩溃。现有技术提出了通过机器学习技术，对某一系统软件进行参数自动推荐和调优。但是，目前的参数推荐和调优方法只能对某一系统软件类型的指定系统发挥作用，通用性差。
技术实现思路
为解决上述技术问题，本专利技术的目的在于：提供一种效率高且通用性强的，基于机器学习的文件系统参数自动调优方法及系统。本专利技术一方面所采取的技术方案为：基于机器学习的文件系统参数自动调优方法，包括以下步骤：获取文件系统的读写比例；对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能；根据测试得到的访问性能，识别文件系统的关键参数；根据文件系统的读写比例、访问性能以及关键参数，通过深度神经网络训练得到预测模型；根据预测模型的输出值，通过负载匹配方法和遗传算法，获取文件系统的推荐参数。进一步，所述对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能这一步骤，包括以下步骤：判断文件系统的参数的类型，其中，参数的类型包括离散型和连续型；若参数类型为离散型，则获取文件系统的所有参数值；若参数类型为连续型，则获取文件系统的默认参数值、最大参数值以及最小参数值；根据获取的参数值，基于不同的读写比例生成不同类型的负载；用不同类型的负载分别访问文件系统，得到访问性能的测试结果。进一步，所述根据测试得到的访问性能，识别文件系统的关键参数这一步骤，包括以下步骤：根据参数值、负载类型以及负载的访问性能，生成初始数据集；对初始数据集进行剥离操作，得到最终数据集；通过岭回归方法对最终数据集进行处理，得到参数的回归系数；对参数的回归系数进行排序，选取设定个数的参数作为关键参数。进一步，所述根据文件系统的读写比例、访问性能以及关键参数，通过深度神经网络训练得到预测模型这一步骤，包括以下步骤：根据关键参数、所述关键参数对应的负载类型以及所述关键参数对应的访问性能，生成训练数据集；将训练数据集划分为训练集和验证集；将训练集中的关键参数及所述关键参数的负载类型输入深度神经网络；通过深度神经网络输出文件系统的预测访问性能；根据验证集，通过损失函数计算预测访问性能与实际访问性能的第一距离；根据计算得到的第一距离，采用随机梯度下降法对参数进行实时更新。进一步，所述根据预测模型的输出值，通过负载匹配方法和遗传算法，获取文件系统的推荐参数这一步骤，包括以下步骤：根据文件系统的读写比例，通过负载匹配方法获取第一候选参数值；根据第一候选参数值，通过预测模型获取第一输出值；通过遗传算法生成新的文件系统的第二候选参数值；根据第二候选参数值，通过预测模型获取第二输出值；对第一输出值和第二输出值进行比较，确定文件系统的推荐参数。进一步，所述根据文件系统的读写比例，通过负载匹配方法获取第一候选参数值这一步骤，包括以下步骤：对文件系统的读写比例、访问性能以及关键参数进行归一化处理；根据归一化处理的结果，计算新文件系统的读写比例与旧文件系统的读写比例之间的第二距离；对计算得到的第二距离进行排序；根据排序结果，确定候选参数值。进一步，所述第二距离的计算方法为Euclidean距离计算方法。进一步，还包括以下步骤：对推荐参数进行优化探索，获取最优推荐参数；根据优化探索的结果，对预测模型进行优化训练。本专利技术另一方面所采取的技术方案是：基于机器学习的文件系统参数自动调优系统，包括：获取模块，用于获取文件系统的读写比例；测试模块，用于对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能；识别模块，用于根据测试得到的访问性能，识别文件系统的关键参数；训练模块，用于根据文件系统的读写比例、访问性能以及关键参数，通过深度神经网络训练得到预测模型；推荐模块，用于根据预测模型的输出值，通过负载匹配方法和遗传算法，获取文件系统的推荐参数。本专利技术另一方面所采取的技术方案是：基于机器学习的文件系统参数自动调优系统，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于机器学习的文件系统参数自动调优方法。本专利技术的有益效果是：本专利技术通过机器学习技术，将文件系统的参数调整实现为自动化流程，大大降低了人工成本，提高了工作效率；另外，本专利技术能够对不同的文件系统和硬件环境进行参数调优，提高了通用性。附图说明图1为本专利技术基于机器学习的文件系统参数自动调优方法的步骤流程图；图2为本专利技术实施例的系统部署结构示意图。具体实施方式下面结合说明书附图和具体实施例对本专利技术作进一步解释和说明。对于本专利技术实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。如图1所示，本专利技术实施例提供了一种基于机器学习的文件系统参数自动调优方法，包括以下步骤：S1、获取文件系统的读写比例；具体地，对于不同的应用负载，其对文件系统的读写压力是不同的。本专利技术使用对文件系统的读取比例(readratio)来表示不同的文件系统负载，并根据不同的读写比例，将负载分为读密集型、写密集型和读写混合型。对于不同的文件系统，存在不同的参数及其个数。本专利技术单独地对每个文件系统的每个参数(记为C)进行修改，并测试在该参数值下不同读取比例的应用负载(记为W)的访问性能(记为P)。本专利技术收集的性能数据主要是在某文件系统之下的设备的每秒读写次数(IOPS，Input/OutputOperationsPerSecond)。S2、对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能；进一步作为步骤S2的优选实施方式，所述步骤S2包括以下步骤：S21、判断文件系统的参数的类型，其中，参数的类型包括离散型和连续型；若参数类型为离散型，则获取文件系统的所有参数值；若参数类型为连续型，则获取文件系统的默认参数值、最大参数值以及最小参数值；S22、根据获取的参数值，基于不同的读写比例生成不同类型的负载；S23、用不同类型的负载分别访问文件系统，得到访问性能的测试结果。具体地，如果C的取值是离散型的参数，本专利技术对其每个允许的取值都进行实验，通过文件系统相关的测试软件来生成不同类型的本文档来自技高网...

【技术保护点】
1.基于机器学习的文件系统参数自动调优方法，其特征在于：包括以下步骤：获取文件系统的读写比例；对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能；根据测试得到的访问性能，识别文件系统的关键参数；根据文件系统的读写比例、访问性能以及关键参数，通过深度神经网络训练得到预测模型；根据预测模型的输出值，通过负载匹配方法和遗传算法，获取文件系统的推荐参数。

【技术特征摘要】
1.基于机器学习的文件系统参数自动调优方法，其特征在于：包括以下步骤：获取文件系统的读写比例；对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能；根据测试得到的访问性能，识别文件系统的关键参数；根据文件系统的读写比例、访问性能以及关键参数，通过深度神经网络训练得到预测模型；根据预测模型的输出值，通过负载匹配方法和遗传算法，获取文件系统的推荐参数。2.根据权利要求1所述的基于机器学习的文件系统参数自动调优方法，其特征在于：所述对文件系统的参数进行修改，然后分别在不同读写比例下测试文件系统的负载的访问性能这一步骤，包括以下步骤：判断文件系统的参数的类型，其中，参数的类型包括离散型和连续型；若参数类型为离散型，则获取文件系统的所有参数值；若参数类型为连续型，则获取文件系统的默认参数值、最大参数值以及最小参数值；根据获取的参数值，基于不同的读写比例生成不同类型的负载；用不同类型的负载分别访问文件系统，得到访问性能的测试结果。3.根据权利要求2所述的基于机器学习的文件系统参数自动调优方法，其特征在于：所述根据测试得到的访问性能，识别文件系统的关键参数这一步骤，包括以下步骤：根据参数值、负载类型以及负载的访问性能，生成初始数据集；对初始数据集进行剥离操作，得到最终数据集；通过岭回归方法对最终数据集进行处理，得到参数的回归系数；对参数的回归系数进行排序，选取设定个数的参数作为关键参数。4.根据权利要求3所述的基于机器学习的文件系统参数自动调优方法，其特征在于：所述根据文件系统的读写比例、访问性能以及关键参数，通过深度神经网络训练得到预测模型这一步骤，包括以下步骤：根据关键参数、所述关键参数对应的负载类型以及所述关键参数对应的访问性能，生成训练数据集；将训练数据集划分为训练集和验证集；将训练集中的关键参数及所述关键参数的负载类型输入深度神经网络；通过深度神经网络输出文件系统的预测访问性能；根据验证集，通过损失函数计算预测访问性能与实际访问性能的第一距离；根据计算得到的第一距离，采用随机梯度下降法对参数进行实时更新。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员：李丁丁，林荣华，吴正洋，汤庸，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：广东,44