一种分布式云存储平台性能参数的智能调优系统技术方案

本发明专利技术公开一种分布式云存储平台性能参数的智能调优系统，涉及系统参数调节技术领域，包括服务端和客户端；服务端为多参数系统；客户端包括场景识别模块、数据训练模块和数据交互模块；场景识别模块自动识别业务场景，获取当前业务参数，并生成特定的测试命令，实现自动化监测；数据训练模块选用SVR算法构建系统参数及对应的性能模型，选用拟牛顿算法计算模型的极值点，获取当前最优的参数配置；数据交互模块首先利用最优参数在服务端自动构建系统可调节模块，随后将生成的特定测试命令发送至服务端，服务端执行测试命令，并反馈执行结果至数据训练模块，数据训练模块利用SVR算法进行参数寻优，实现性能参数的自动调优。本发明专利技术可以提高调优效率。发明专利技术可以提高调优效率。发明专利技术可以提高调优效率。

【技术实现步骤摘要】
一种分布式云存储平台性能参数的智能调优系统


[0001]本专利技术涉及系统参数调节
，具体的说是一种分布式云存储平台性能参数的智能调优系统。

技术介绍

[0002]分布式云存储往往通过多参数调节其系统性能，不同参数值的设置会直接影响系统性能，例如rockesdb、cache tier和bcache等系统。为获取不同应用场景、不同参数下系统的性能极值，人工调节各项参数存在场景多、参数多、测试量大的问题。

技术实现思路

[0003]本专利技术针对目前技术发展的需求和不足之处，提供一种分布式云存储平台性能参数的智能调优系统。
[0004]本专利技术的一种分布式云存储平台性能参数的智能调优系统，解决上述技术问题采用的技术方案如下：
[0005]一种分布式云存储平台性能参数的智能调优系统，该系统包括服务端和客户端两部分；
[0006]服务端为多参数系统；
[0007]客户端包括场景识别模块、数据训练模块和数据交互模块，其中：
[0008]场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；
[0009]数据训练模块选用SVR算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；
[0010]数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用SVR算法进行参数寻优，最终实现性能参数的自动调优。
[0011]进一步的，数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用CVT算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用SVR算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。
[0012]具体的，本智能调优系统对Ceph集群的cache tier池参数进行调优，调优过程如下：
[0013](1)使用场景识别模块自动识别Ceph集群的业务场景，获取当前业务场景的block size参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测；
[0014](2)数据交互模块根据Ceph集群的多组cache tier参数X1(x
11
,x
12
…
x
1i
)
…
X
n
(x
n1
,
x
n2
…
x
ni
)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的IO性能值Y1…
Y
n
；
[0015](3)数据训练模块根据cache tier参数X1…
X
n
和对应的集群性能Y1…
Y
n
，应用SVR算法计算集群IO参数的性能模型f(X)；
[0016](4)数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Y
h
以及对应的集群参数X
h
；
[0017](5)数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用SVR算法计算集群IO参数的性能模型f(X)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。
[0018]优选的，所涉及数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(X)的极值点Y
h
移动。
[0019]可选的，执行步骤(3)，数据训练模块应用SVR算法计算集群IO参数的性能模型f(X)，具体流程如下：
[0020](3.1)数据训练模块在cache tier参数可选范围Q∈R2中预选n个观测点，表示为X
i
＝[x
i1
,x
i2
…
x
im
]，各参数对应的集群IO性能点表示为Y
i
；
[0021](3.2)引入非线性映射X
→
φ(X)，将数据映射到高维空间，那么，在精度ε下，集群IO参数的性能模型f(X)的非线性拟合函数可表示为：
[0022][0023]其中，w表示函数的影响因子，b表示函数的偏移量；
[0024](3.3)引入RBF高斯核函数：
[0025][0026]支持向量为SVs，在计算过程中，假设在i个观测点中共有k个支持向量，则根据SVR算法的最优回归方程：
[0027][0028]可得出集群IO参数的性能模型为：
[0029][0030]其中，X代表cache tier参数选择(x1,x2…
x
m
)，
[0031]σ参数控制函数的宽度，可选取cache tier参数设置的最大值，
[0032]α
i
和α
i
*为拉格朗日函数的参数，为SVR算法推导的过程参数，SVR算法采用工具箱实现，并不需要对其人工赋值，b表示函数的偏移量。
[0033]可选的，执行步骤(4)，数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Y
h
以及对应的集群参数X
h
，具体流程如下：
[0034](4.1)数据训练模块首先利用性能模型f(X)当前两次迭代之间的位移和目标函数的梯度差构造Hessen矩阵近似阵的逆矩阵；
[0035](4.2)数据训练模块随后使用拟牛顿法求解性能模型f(X)的极值点Y
h
以及对应的集群参数X
h
。
[0036]进一步可选的，执行步骤(4.1)，数据训练模块构造Hessen矩阵近似阵的逆矩阵，具体操作为：
[0037](4.1.1)将f(X)在X
k+1
处展成Taylor级数，取二阶近似，得到：
[0038][0039](4.1.2)两边关于X求梯度，得到：
[0040][0041](4.1.3)令X＝X
k
，s
k
＝X
k+1
‑
X
k
，且j
k
＝g
k+1
‑
g
k
则有：...

【技术保护点】

【技术特征摘要】
1.一种分布式云存储平台性能参数的智能调优系统，其特征在于,该系统包括服务端和客户端两部分；所述服务端为多参数系统；所述客户端包括场景识别模块、数据训练模块和数据交互模块，其中：所述场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；所述数据训练模块选用SVR算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；所述数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用SVR算法进行参数寻优，最终实现性能参数的自动调优。2.根据权利要求1所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，所述数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用CVT算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用SVR算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；所述数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。3.根据权利要求2所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，所述系统对Ceph集群的cache tier池参数进行智能调优，具体调优过程如下：(1)使用场景识别模块自动识别Ceph集群的业务场景，获取当前业务场景的block size参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测；(2)数据交互模块根据Ceph集群的多组cache tier参数X1(x
11
,x
12
…
x
1i
)
…
X
n
(x
n1
,x
n2
…
x
ni
)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的IO性能值Y1…
Y
n
；(3)数据训练模块根据cache tier参数X1…
X
n
和对应的集群性能Y1…
Y
n
，应用SVR算法计算集群IO参数的性能模型f(X)；(4)数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Y
h
以及对应的集群参数X
h
；(5)数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用SVR算法计算集群IO参数的性能模型f(X)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。4.根据权利要求3所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(X)的极值点Y
h
移动。5.根据权利要求3所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(3)，数据训练模块应用SVR算法计算集群IO参数的性能模型f(X)，具体流程如下：(3.1)数据训练模块在cache tier参数可选范围Q∈R2中预选n个观测点，表示为X
i
＝
[x
i1
,x
i2
…
x
im
]，各参数对应的集群IO性能点表示为Y
i
；(3.2)引入非线性映射X
→
φ(X)，将数据映射到高维空间，那么，在精度ε下，集群IO参数的性能模型f(X)...

【专利技术属性】
技术研发人员：王迎彬，高传集，王腾飞，李超，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：