一种基于LSTM和遗传算法的Ceph参数调优方法技术

本发明专利技术属于参数调优技术领域，具体涉及一种基于LSTM和遗传算法的Ceph参数调优方法，包括下列步骤：收集数据集；证明非线性关系；S3、使用LSTM构建性能预测模型；使用EGA进行寻优。收集数据集的方法为：对Ceph的8个配置参数在可调范围内随机取值，设第i个参数conf

【技术实现步骤摘要】
一种基于LSTM和遗传算法的Ceph参数调优方法


[0001]本专利技术属于参数调优
，具体涉及一种基于LSTM和遗传算法的Ceph参数调优方法。

技术介绍

[0002]国内外研究学者对Ceph系统的性能优化工作主要分为三个方面：特定硬件环境优化、面向应用场景优化和内部机制优化。在特定硬件环境优化方面，随着NVDIMM(Non
‑
Volatile Dual In
‑
line Memory Module)产品的出现，可字节寻址的非易失性存储器将提供与内存相近的IO性能。模拟了在Ceph系统中使用NVDIMM作为底层介质的性能，针对单个节点，将所有内容映射到NVDIMM，吞吐量均可以提高100％以上。
[0003]面向应用场景优化中，在高性能计算领域，Ceph并不是最适用的存储系统。将高性能计算中数据密集型应用访问的文件分为读密集型、写密集型或读写密集型。使用这些文件的读写特征来设置文件放置决策，使高性能计算工作负载均衡。在云计算领域中，数据对象的数据日志操作，同时保持了写原子性和可靠性，实验结果表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSTM和遗传算法的Ceph参数调优方法，其特征在于：包括下列步骤：S1、收集数据集；S2、证明数据集的非线性关系，从而证明Ceph调优的复杂性；S3、使用LSTM构建性能预测模型；S4、使用EGA进行寻优，来得到一组最优参数。2.根据权利要求1所述的一种基于LSTM和遗传算法的Ceph参数调优方法，其特征在于：所述S1中收集数据集的方法为：S1.1、对Ceph的8个配置参数在可调范围内随机取值，设第i个参数conf
i
的取值范围为[lb
i
，ub
i
]，conf
i
＝random(lb
i
，ub
i
)，i＝1,2,
…
,8；S1.2、将参数组合config＝{conf1，conf2，conf3，conf4，conf5，conf6，conf7，conf8}更新到Ceph系统中，并测试对应的Ceph块存储系统读写性能；S1.3参数组合config
i
和对应的iops
i
构成一个数据项(config
i
，iops
i
)，将收集到的所有数据项作为构建Ceph性能预测模型的数据集。3.根据权利要求2所述的一种基于LSTM和遗传算法的Ceph参数调优方法，其特征在于：所述Ceph的8个参数分别为bluestore_cache_size_ssd、bluestore_cache_size_hdd、bluestore_cache_meta_ratio、bluestore_cache_kv_ratio、osd_max_write_size、osd_map_cache_size、rbd_cache_size和rbd_cache_max_dirty；所述bluestore_cache_size_ssd和bluestore_cache...

【专利技术属性】
技术研发人员：李雷孝，牛铁铭，李杰，李少旭，林浩，马志强，万剑雄，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：