一种基于分布式内存盘的Ceph性能优化的方法和设备技术

技术编号:25755579 阅读:47 留言:0更新日期:2020-09-25 21:04
本发明专利技术提供了一种基于分布式内存盘的Ceph性能优化的方法和设备,该方法包括以下步骤:在Ceph分布式存储系统的每个存储节点上的内存文件系统上创建虚拟磁盘;将多个存储节点上的虚拟磁盘进行整合,利用整合后的虚拟磁盘创建高速存储池;基于创建的高速存储池对Ceph分布式存储系统进行性能加速。通过使用本发明专利技术的方案,能够使用分布式内存盘作为高速存储池,比固态硬盘等介质提供更高的性能,能够兼容现有的使用固态硬盘进行加速的方案,通过冗余规则的使用及特殊情况下的处理流程,克服内存易丢失数据的缺陷,具备较高的可靠性。

【技术实现步骤摘要】
一种基于分布式内存盘的Ceph性能优化的方法和设备
本领域涉及计算机领域,并且更具体地涉及一种基于分布式内存盘的Ceph性能优化的方法和设备。
技术介绍
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式存储系统。Ceph集群可以提供块存储、对象存储、文件存储三种使用场景。现有的性能优化方式中,通常使用固态硬盘作为高速介质,使用分层存储或缓存的方式来提升性能。在分布式存储领域主机中的内存通常作为单节点上软件栈的缓存来使用。内存以物理页为单位进行缓存,与硬盘等块设备使用扇区为单位不同。现有技术中存在单机使用内存盘进行加速的方案,存在容量小,数据易丢失的缺点。
技术实现思路
有鉴于此,本专利技术实施例的目的在于提出一种基于分布式内存盘的Ceph性能优化的方法和设备,通过使用本专利技术的方法,能够使用分布式内存盘作为高速存储池,比固态硬盘等介质提供更高的性能,能够兼容现有的使用固态硬盘进行加速的方案,通过冗余规则的使用及特殊情况下的处理流程,克服内存易丢失数据的缺陷,具备较高的可靠性。基于上述目的,本专利技本文档来自技高网...

【技术保护点】
1.一种基于分布式内存盘的Ceph性能优化的方法,其特征在于,包括以下步骤:/n在Ceph分布式存储系统的每个存储节点上的内存文件系统上创建虚拟磁盘;/n将多个所述存储节点上的所述虚拟磁盘进行整合,利用整合后的虚拟磁盘创建高速存储池;/n基于创建的所述高速存储池对所述Ceph分布式存储系统进行性能加速。/n

【技术特征摘要】
1.一种基于分布式内存盘的Ceph性能优化的方法,其特征在于,包括以下步骤:
在Ceph分布式存储系统的每个存储节点上的内存文件系统上创建虚拟磁盘;
将多个所述存储节点上的所述虚拟磁盘进行整合,利用整合后的虚拟磁盘创建高速存储池;
基于创建的所述高速存储池对所述Ceph分布式存储系统进行性能加速。


2.根据权利要求1所述的方法,其特征在于,还包括:
响应于接收到存储节点重启或关机的命令,调用脚本程序记录所述存储节点的所述高速存储池的状态及配置信息,并记录所述存储节点上内存盘的配置及对应OSD的配置信息;
响应于所述存储节点重新启动完毕,基于检测到的记录的所述信息,重建所述存储节点的内存文件系统中的虚拟块设备,使用新创建的虚拟块设备替换原存储节点的虚拟块设备;
基于其他未重启的存储节点上的数据,计算重启过程中缺失的数据块并进行同步。


3.根据权利要求1所述的方法,其特征在于,还包括:
响应于接收到存储节点意外断电恢复的命令,将管理节点中的所述存储节点的OSD容量和id信息传递到所述存储节点上并重建所述存储节点的内存文件系统中的虚拟块设备,使用新创建的虚拟块设备替换原存储节点的虚拟块设备;
基于其他存储节点上的数据,计算断电过程中缺失的数据块并进行同步。


4.根据权利要求1所述的方法,其特征在于,在Ceph分布式存储系统的每个存储节点上的内存文件系统上创建虚拟磁盘包括:
在每个存储节点上挂载指定大小的Tmpfs到指定路径;
在所述路径下分别创建指定大小的虚拟磁盘文件;
在每个存储节点上将所述虚拟磁盘文件挂载为本地loop设备。


5.根据权利要求1所述的方法,其特征在于,将多个所述存储节点上的所述虚拟磁盘进行整合,利用整合后的虚拟磁盘创建高速存储池包括:
将所有存储节点上的本地loop设备分别初始化为所述Ceph分布式存储系统的OSD,使用所述OSD创建所述高速存储池,并根据存储节点的数量和分布情况设置所述高速存储池的故障域;
将每个所述OSD分为若干个PG归置组,将原始数据块及冗余数据块通过所述Ceph分布式存储系统自带的哈希算法均衡分布在不同所述OSD的不同PG中。


...

【专利技术属性】
技术研发人员:丁钊
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1