一种分布式存储系统的参数调优方法、系统及装置制造方法及图纸

本发明专利技术公开了一种分布式存储系统的参数调优方法、系统及装置，构建并训练好用于根据分布式存储系统的各状态参数推荐分布式存储系统的各可调参数的第一全连接神经网络；采集分布式存储系统的各状态参数值，并将各状态参数值输入至第一全连接神经网络，得到分布式存储系统的各可调参数的推荐值；根据推荐值相应调整分布式存储系统的各可调参数。可见，本申请可通过全连接神经网络推荐出分布式存储系统的各可调参数值，相比于人工参数调优方式，基于全连接神经网络的参数调优方式更适用于大规模的分布式存储系统。大规模的分布式存储系统。大规模的分布式存储系统。

【技术实现步骤摘要】
一种分布式存储系统的参数调优方法、系统及装置


[0001]本专利技术涉及分布式存储领域，特别是涉及一种分布式存储系统的参数调优方法、系统及装置。

技术介绍

[0002]目前，分布式存储系统中具有较多的可调参数，将这些参数修改为不同值往往会对分布式存储系统的性能产生不同的影响。在分布式存储系统出厂时，都是采用默认的参数配置，但这些默认参数值的组合一般都不是最优的参数组合。研究表明，即使调整分布式存储系统中一小部分的参数值，也可以将分布式存储系统的性能提升数倍以上，现有技术通常由系统管理员依据自身的专业知识和经验调整分布式存储系统的参数值，以提升分布式存储系统的性能。但是，随着分布式存储系统的规模及复杂性不断提升，人工参数调优方式的难度较大，不适用于大规模的分布式存储系统。
[0003]因此，如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。

技术实现思路

[0004]本专利技术的目的是提供一种分布式存储系统的参数调优方法、系统及装置，可通过全连接神经网络推荐出分布式存储系统的各可调参数值，相比于人工参数调优方式，基于全连接神经网络的参数调优方式更适用于大规模的分布式存储系统。
[0005]为解决上述技术问题，本专利技术提供了一种分布式存储系统的参数调优方法，包括：
[0006]构建并训练好用于根据分布式存储系统的各状态参数推荐所述分布式存储系统的各可调参数的第一全连接神经网络；
[0007]采集所述分布式存储系统的各状态参数值，并将所述各状态参数值输入至所述第一全连接神经网络，得到所述分布式存储系统的各可调参数的推荐值；
[0008]根据所述推荐值相应调整所述分布式存储系统的各可调参数。
[0009]优选地，所述第一全连接神经网络输出的各可调参数的推荐值均位于0
‑
1之间；
[0010]则所述分布式存储系统的参数调优方法还包括：
[0011]分别为所述分布式存储系统的各可调参数设定各自对应的最小值和最大值；
[0012]在得到所述分布式存储系统的各可调参数的推荐值之后，在根据所述推荐值相应调整所述分布式存储系统的各可调参数之前，根据所述各可调参数各自对应的最小值和最大值，将所述各可调参数的推荐值映射到各自对应的最小值和最大值之间，以根据所述各可调参数映射后的值相应调整所述分布式存储系统的各可调参数。
[0013]优选地，采集所述分布式存储系统的各状态参数值的过程，包括：
[0014]在所述分布式存储系统与客户端交互过程中，采集所述分布式存储系统在写操作下的性能指标参数值；
[0015]采集所述分布式存储系统的各存储节点的CPU、磁盘及网卡的性能指标参数值。
[0016]优选地，所述分布式存储系统的参数调优方法还包括：
[0017]在将所述各状态参数值输入至所述第一全连接神经网络之前，将采集的各状态参数值进行归一化处理，以将归一化处理后的各状态参数值输入至所述第一全连接神经网络。
[0018]优选地，所述分布式存储系统的参数调优方法还包括：
[0019]构建并训练好用于根据所述分布式存储系统的各状态参数及各可调参数预测所述分布式存储系统的IO性能参数的第二全连接神经网络；
[0020]将所述分布式存储系统的各状态参数值及各可调参数值输入至所述第二全连接神经网络，得到所述分布式存储系统的IO性能参数的预测值；其中，所述预测值越大，所述分布式存储系统的IO性能越好。
[0021]优选地，所述分布式存储系统的参数调优方法还包括：
[0022]获取向所述分布式存储系统下发IO读写请求的客户端的带宽；
[0023]根据预设奖励函数得到所述分布式存储系统对应的奖励值r；其中，为所述客户端的初始带宽；BW
t
为所述客户端的当前带宽；BW
t
‑1为所述客户端的上一次带宽；奖励值r越大，所述分布式存储系统的IO性能越好。
[0024]优选地，所述分布式存储系统的参数调优方法还包括：
[0025]构建由所述分布式存储系统的各可调参数组成的动作向量a
t
，并构建由所述分布式存储系统的各状态参数组成的状态向量S
t
；
[0026]则构建用于根据分布式存储系统的各状态参数推荐所述分布式存储系统的各可调参数的第一全连接神经网络的过程，包括：
[0027]构建用于根据所述状态向量S
t
推荐所述动作向量a
t
的第一全连接神经网络；
[0028]采集所述分布式存储系统的各状态参数值，并将所述各状态参数值输入至所述第一全连接神经网络，得到所述分布式存储系统的各可调参数的推荐值的过程，包括：
[0029]采集所述分布式存储系统的各状态参数值，得到由所述各状态参数值组成的状态向量S
t
；
[0030]将所述状态向量S
t
输入至所述第一全连接神经网络，得到由所述各可调参数的推荐值组成的动作向量a
t
。
[0031]优选地，所述第一全连接神经网络和所述第二全连接神经网络的训练过程，包括：
[0032]将所述分布式存储系统的各可调参数重置至默认参数，并当所述客户端在预设时间内持续下发IO读写请求时，采集状态向量S
t
，且在所述客户端下发所述IO读写请求结束后，采集所述客户端的带宽；
[0033]将本次采集的状态向量输入至所述第一全连接神经网络，得到其内各可调参数的推荐值均位于0
‑
1之间的动作向量a
t
，并根据所述各可调参数各自实际对应的最小值和最大值，将所述各可调参数的推荐值映射到各自对应的最小值和最大值之间，得到动作向量a
t
实际对应的参数向量；
[0034]根据所述参数向量相应调整所述分布式存储系统的各可调参数，并重启所述分布
式存储系统使所述各可调参数生效；
[0035]当所述客户端重新在预设时间内持续下发IO读写请求时，采集所述分布式存储系统在新配置下的状态向量S
t+1
，且在所述客户端重新下发所述IO读写请求结束后，采集所述客户端的带宽，并根据所述预设奖励函数计算所述分布式存储系统在新配置下的奖励值r
t
；
[0036]将四元组(s
t a
t r
t s
t+1
)加入经验回放池，并返回执行将本次采集的状态向量输入至所述第一全连接神经网络的步骤，并在返回执行的次数达到预设第一次数时停止返回操作，并根据所述经验回放池内的数据及DDPG算法更新所述第一全连接神经网络和所述第二全连接神经网络的网络参数值；
[0037]在第一/第二全连接神经网络的网络参数值更新后，重新执行将所述分布式存储系统的各可调参数重置至默认参数的步骤，直至重新执行的次数到达预设第二次数时，第一/本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统的参数调优方法，其特征在于，包括：构建并训练好用于根据分布式存储系统的各状态参数推荐所述分布式存储系统的各可调参数的第一全连接神经网络；采集所述分布式存储系统的各状态参数值，并将所述各状态参数值输入至所述第一全连接神经网络，得到所述分布式存储系统的各可调参数的推荐值；根据所述推荐值相应调整所述分布式存储系统的各可调参数。2.如权利要求1所述的分布式存储系统的参数调优方法，其特征在于，所述第一全连接神经网络输出的各可调参数的推荐值均位于0
‑
1之间；则所述分布式存储系统的参数调优方法还包括：分别为所述分布式存储系统的各可调参数设定各自对应的最小值和最大值；在得到所述分布式存储系统的各可调参数的推荐值之后，在根据所述推荐值相应调整所述分布式存储系统的各可调参数之前，根据所述各可调参数各自对应的最小值和最大值，将所述各可调参数的推荐值映射到各自对应的最小值和最大值之间，以根据所述各可调参数映射后的值相应调整所述分布式存储系统的各可调参数。3.如权利要求1所述的分布式存储系统的参数调优方法，其特征在于，采集所述分布式存储系统的各状态参数值的过程，包括：在所述分布式存储系统与客户端交互过程中，采集所述分布式存储系统在写操作下的性能指标参数值；采集所述分布式存储系统的各存储节点的CPU、磁盘及网卡的性能指标参数值。4.如权利要求3所述的分布式存储系统的参数调优方法，其特征在于，所述分布式存储系统的参数调优方法还包括：在将所述各状态参数值输入至所述第一全连接神经网络之前，将采集的各状态参数值进行归一化处理，以将归一化处理后的各状态参数值输入至所述第一全连接神经网络。5.如权利要求1
‑
4任一项所述的分布式存储系统的参数调优方法，其特征在于，所述分布式存储系统的参数调优方法还包括：构建并训练好用于根据所述分布式存储系统的各状态参数及各可调参数预测所述分布式存储系统的IO性能参数的第二全连接神经网络；将所述分布式存储系统的各状态参数值及各可调参数值输入至所述第二全连接神经网络，得到所述分布式存储系统的IO性能参数的预测值；其中，所述预测值越大，所述分布式存储系统的IO性能越好。6.如权利要求5所述的分布式存储系统的参数调优方法，其特征在于，所述分布式存储系统的参数调优方法还包括：获取向所述分布式存储系统下发IO读写请求的客户端的带宽；根据预设奖励函数得到所述分布式存储系统对应的奖励值r；其中，BW0为所述客户端的初始带宽；BW
t
为所述客户端的当前带宽；BW
t
‑1为所述客户端的上一次带宽；奖励值r越
大，所述分布式存储系统的IO性能越好。7.如权利要求6所述的分布式存储系统的参数调优方法，其特征在于，所述分布式存储系统的参数调优方法还包括：构建由所述分布式存储系统的各可调参数组成的动作向量a
t
，并构建由所述分布式存储系统的各状态参数组成的状态向量S
t
；则构建用于根据分布式存储系统的各状态参数推荐所述分布式存储系统的各可调参数的第一全连接神经网络的过程，包括：构建用于根据所述状态向量S
...

【专利技术属性】
技术研发人员：王团结，梁鑫辉，李强，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：