一种动态调整文件系统读写资源的方法技术方案

本发明专利技术公开了一种动态调整文件系统读写资源的方法，适于在计算设备中执行，计算设备与计算机集群耦接，计算机集群包括计算节点，计算节点中驻留有存储客户端，运行中的作业能够通过存储客户端访问存储服务器进行数据读写，方法包括：当目标作业分配到计算节点后，每运行预设时长时，收集预设时长内目标作业的作业状态数据，并输入到作业分类模型，获得所述目标作业对应的作业类型，其中，每种作业类型对应一种读写资源配置；基于目标作业的作业类型对应的读写资源配置，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源。本发明专利技术一并公开了相应的计算设备及可读存储介质。

【技术实现步骤摘要】
一种动态调整文件系统读写资源的方法
本专利技术涉及数据处理领域，尤其涉及一种动态调整文件系统读写资源的方法、计算设备及可读存储介质。
技术介绍
集群文件系统成为当今高性能计算机的主流体系结构，随着高性能计算技术的不断发展,很多高性能计算应用的存储需求在不断提高，Lustre是领先的集群文件系统，已经成为构建高性能计算存储系统的标准，在高性能计算市场中占据统治地位，为了提升文件系统性能，可以对文件系统进行扩展，随着节点不断增加，这使得计算机集群变得日益庞大，同时随着应用不断地更新迭代其对高性能计算系统中存储的要求也越来越高，在存储性能一定的前提下，面对不断增长和变化的用户需求，合理管理存储资源显得尤为重要，但是目前的作业处理中，都是根据用户的优先级将用户分配到计算机集群中的不同的计算节点，以保证优先级高的用户作业的QoS，这就使得读写资源不能得到实时调节，影响整个文件系统的稳定性。
技术实现思路
为此，本专利技术提供了一种动态调整文件系统读写资源的方法、计算设备和可读存储介质，以力图解决或者至少缓解上面存在的问题。根据本专利技术的一个方面，提供一种动态调整文件系统读写资源的方法，适于在计算设备中执行，计算设备与计算机集群耦接，计算机集群包括多个适于运行作业的计算节点，计算节点中驻留有存储客户端，存储客户端与存储服务器通信连接，运行中的作业能够通过存储客户端访问存储服务器进行数据读写，方法包括：当目标作业分配到计算节点后，每运行预设时长时，收集预设时长内目标作业的作业状态数据；将作业状态数据输入到作业分类模型，获得目标作业对应的作业类型，其中，每种作业类型对应一种读写资源配置；基于目标作业的作业类型对应的读写资源配置，为目标作业对应的存储客户端配置下一个预设时长的读写资源。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，基于目标作业的作业类型对应的读写资源配置，为目标作业对应的存储客户端配置下一个预设时长的读写资源还包括：结合目标作业的作业类型对应的读写资源配置和存储服务器的负载率，为目标作业对应的存储客户端配置下一个预设时长的读写资源。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，还包括：目标作业分配到计算节点的初始时刻，目标作业的读写资源配置设置为预定读写资源配置。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，文件系统为lustre文件系统。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，作业状态数据为目标作业运行预设时长内的系统调用数据，包括调用次数占比最大的预定数量个系统函数名称及其调用次数占比。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，读写资源配置为存储客户端访问存储服务器的RPC速率，基于目标作业的作业类型对应的读写资源配置，为目标作业对应的存储客户端配置下一个预设时长的读写资源包括：根据目标作业的作业类型对应的读写资源配置设定令牌桶过滤器规则。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，结合目标作业的作业类型对应的读写资源配置和存储服务器的负载率，为目标作业对应的存储客户端配置下一个预设时长的读写资源包括：获取存储服务器的负载率；如果负载率低于预定值，则根据目标作业的作业类型对应的读写资源配置设定令牌桶过滤器规则。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，结合目标作业的作业类型对应的读写资源配置和存储服务器的负载率，为目标作业对应的存储客户端配置下一个预设时长的读写资源包括：获取存储服务器的负载率；如果负载率超过预定值，且目标作业的作业类型对应的读写资源配置高于之前的读写资源配置，则目标作业的读写资源配置不做调整，并根据预定规则调整其他作业的读写资源配置。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，根据预定规则调整其他作业的读写资源配置包括：获取优先级低于目标作业的其它作业；按照优先级由低到高的顺序依次降低其它作业的读写资源配置，直至存储服务器负载率低于预定值。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，将作业状态数据输入到作业分类模型，获得目标作业对应的作业类型包括：作业分类模型通过KNN算法根据作业状态数据获取目标作业对应的作业类型。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，作业分类模型通过下列方式获得，包括：收集作业分类模型的训练样本，训练样本包含样本数据和标注数据；将训练样本输入作业分类模型，作业分类模型对训练样本进行分类，获得作业类型和各作业类型的标注数据；当作业类型及其对应的标注数据不再变化或达到最大迭代次数时，结束训练，获得训练好的作业分类模型。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，收集作业分类模型的训练样本包括：收集大量同一作业数据的运行过程中系统调用数据；将系统调用数据按照预设时长分成数据分片；统计每一个数据分片中的系统函数的调用次数，获取前预定数量个调用次数占比最大的系统函数及其调用次数占比作为训练样本的样本数据，计算每一个数据分片所占用的读写资源配置作为该训练样本的标注数据。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，作业分类模型对训练样本进行聚类时所采用的的算法为k-means算法。可选的，在根据本专利技术的动态调整文件系统读写资源的方法中，系统调用数据通过perf采集。根据本专利技术的一方面，提供一种作业分类模型的生成方法，适于在计算设备中执行，方法包括：收集作业分类模型的训练样本，训练样本包含样本数据和标注数据；将训练样本输入作业分类模型，作业分类模型对训练样本进行分类，获得作业类型和各作业类型的标注数据；当作业类型及其对应的标注数据不再变化或达到最大迭代次数时，结束训练，获得训练好的作业分类模型。可选的，在根据本专利技术的作业分类模型的生成方法中，收集作业分类模型的训练样本包括：收集大量同一作业数据的运行过程中系统调用数据；将系统调用数据按照预设时长分成数据分片；统计每一个数据分片中的系统函数的调用次数，获取前预定数量个调用次数占比最大的系统函数及其调用次数占比作为训练样本的样本数据，计算每一个数据分片所占用的读写资源配置作为该训练样本的标注数据。可选的，在根据本专利技术的作业分类模型的生成方法中，作业分类模型对训练样本进行聚类时所采用的的算法为k-means算法。可选的，在根据本专利技术的作业分类模型的生成方法中，其中，系统调用数据通过perf采集。根据本专利技术的一个方面，提供了一种计算设备，包括：至少一个处理器；以及存储器，存储有程序指令，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如上所述的方法的指令。根据本专利技术的一个方面，提供了一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得计算设备执行如上所述方法。根据本专利技术的动态调整文件系统读写资源的方法，利用作业分类模型，根据收集到的上一时段的作业状态数据实时预测作业数据的类别和所对应的预测资源配置，并将预本文档来自技高网...

【技术保护点】
1.一种动态调整文件系统读写资源的方法，适于在计算设备中执行，所述计算设备与计算机集群耦接，所述计算机集群包括多个适于运行作业的计算节点，所述计算节点中驻留有文件系统的存储客户端，所述存储客户端与文件系统的存储服务器通信连接，运行中的作业能够通过存储客户端访问存储服务器进行数据读写，所述方法包括：/n当目标作业分配到计算节点后，每运行预设时长时，收集所述预设时长内目标作业的作业状态数据；/n将所述作业状态数据输入到作业分类模型，获得所述目标作业对应的作业类型，其中，每种作业类型对应一种读写资源配置；/n基于目标作业的作业类型对应的读写资源配置，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源。/n

【技术特征摘要】
1.一种动态调整文件系统读写资源的方法，适于在计算设备中执行，所述计算设备与计算机集群耦接，所述计算机集群包括多个适于运行作业的计算节点，所述计算节点中驻留有文件系统的存储客户端，所述存储客户端与文件系统的存储服务器通信连接，运行中的作业能够通过存储客户端访问存储服务器进行数据读写，所述方法包括：
当目标作业分配到计算节点后，每运行预设时长时，收集所述预设时长内目标作业的作业状态数据；
将所述作业状态数据输入到作业分类模型，获得所述目标作业对应的作业类型，其中，每种作业类型对应一种读写资源配置；
基于目标作业的作业类型对应的读写资源配置，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源。


2.如权利要求1所述的方法，其中，所述基于目标作业的作业类型对应的读写资源配置，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源还包括：
结合所述目标作业的作业类型对应的读写资源配置和所述存储服务器的负载率，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源。


3.如权利要求1或2所述的方法，还包括：
所述目标作业分配到计算节点的初始时刻，所述目标作业的读写资源配置设置为预定读写资源配置。


4.如权利要求1或2所述的方法，其中，所述文件系统为lustre文件系统。


5.如权利要求1或2所述的方法，其中，所述作业状态数据为目标作业运行预设时长内的系统调用数据，包括调用次数占比最大的预定数量个系统函数名称及其调用次数占比。


6.如权利要求1或2所述的方法，其中，所述读写资源配置为所述存储客户端访问存储服务器的RPC速率，所述基于目标作业的作业类型对应的读写资源配置，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源包括：
根据所述目标作业的作业类型对应的读写资源配置设定令牌桶过滤器规则。


7.如权利要求2所述的方法，其中，所述结合所述目标作业的作业类型对应的读写资源配置和所述存储服务器的负载率，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源包括：
获取存储服务器的负载率；
如果所述负载率低于预定值，则根据所述目标作业的作业类型对应的读写资源配置设定令牌桶过滤器规则。


8.如权利要求2所述的方法，其中，所述结合所述目标作业的作业类型对应的读写资源配置和所述存储服务器的负载率，为所述目标作业对应的存储客户端配置下一个预设时长的读写资源包括：
获取存储服务器的负载率；
如果所述负载率超过预定值，且所述目标作业的作业类型对应的读写资源配置高于之前的读写资源配置，则所述目标作业的读写资源配置不做调整，并根据预定规则调整其他作业的读写资源配置。


9.如权利要求8所述的方法，其中，所述根据预定规则调整其他作业的读写资源配置包括：
获取优先级低于所述目标作业的其它作业；
按照优先级由低到高的顺序依次降低其它作业的读写资源配置，直至所述存储服务器负载率低于预定值。


10.如权利要求1或2所述的方法，其中，所述将所述作业状态数据输入到作业分类模型，获得所述目标作业对应的作业类型...

【专利技术属性】
技术研发人员：肖正刚，王宁，杨昆，
申请(专利权)人：北京并行科技股份有限公司，
类型：发明
国别省市：北京;11