The application discloses a data storage method and device. The data storage method includes: dividing the stored data into N objects, in which N is a positive integer, and N objects are assigned to a M reset group, in which M is a positive integer less than N; for any one in the M reset group, at least three object stores corresponding to the set are determined based on the storage mapping table. In the device, the storage mapping table contains the mapping relationship between the reset group and the object storage device, and stores the objects contained in the set to the corresponding object storage device corresponding to the set based on the pseudo random data distribution algorithm. The data storage method and equipment of the application example can improve the data storage efficiency in the Ceph distributed data storage system and effectively realize the high speed reading and writing of the data in the Ceph distributed data storage system.
【技术实现步骤摘要】
数据存储方法和设备
本申请涉及计算机领域,尤其涉及一种数据存储方法和设备。
技术介绍
随着大数据时代的到来,传统的集中式数据存储系统已经无法满足大规模数据存储的需求。为了满足大规模数据存储的需求,确保数据存储的可靠性和安全性,出现了分布式数据存储系统。Ceph是一种开源的分布式数据存储系统,能够将数据分散存储在通过多个存储节点,即,多台存储服务器上,实现数据的分布式存储,提高数据存储系统的可靠性、可用性和存取效率。在实际应用中,Ceph分布式数据存储系统通过三级映射,实现数据的分布式存储。首先,将需要存储的文件数据(File)划分为若干个数据大小一致的对象数据(Object),实现File到Object的映射;然后,通过哈希算法将任一个Object分配到一个归置组(PlacementGroup,PG)中,实现Object到PG的映射;最后,通过伪随机数据分布算法(ControlledReplicationUnderScalableHashing,CRUSH)将任一个PG中包含的Object存储到对象存储集群中不同的对象存储设备(ObjectStorageDevice,OSD)中,实现PG到OSD的映射。但是,由于Ceph分布式数据存储系统需要在数据存储过程中进行哈希运算、实现数据的映射存储,因此数据的存储效率较低,无法满足高速读写的需求。
技术实现思路
鉴于此,本申请实施例提供一种数据存储方法和设备,以提高Ceph分布式数据存储系统的数据存储效率。根据本申请实施例的一种数据存储方法,应用于Ceph分布式数据存储系统,并且包括:将待存储数据划分到N个对象中,其中 ...
【技术保护点】
1.一种数据存储方法,其特征在于,该数据存储方法应用于Ceph分布式数据存储系统,并且包括:将待存储数据划分到N个对象中,其中,N为正整数;将所述N个对象分配到M个归置组中,其中,M为小于N的正整数;对于所述M个归置组中的任意一个归置组,基于存储映射表确定与所述归置组对应的至少三个对象存储设备,其中,所述存储映射表中包含归置组与对象存储设备之间的映射关系,并且基于伪随机数据分布算法,将所述归置组中包含的各个对象存储到与所述归置组对应的相应对象存储设备中。
【技术特征摘要】
1.一种数据存储方法,其特征在于,该数据存储方法应用于Ceph分布式数据存储系统,并且包括:将待存储数据划分到N个对象中,其中,N为正整数;将所述N个对象分配到M个归置组中,其中,M为小于N的正整数;对于所述M个归置组中的任意一个归置组,基于存储映射表确定与所述归置组对应的至少三个对象存储设备,其中,所述存储映射表中包含归置组与对象存储设备之间的映射关系,并且基于伪随机数据分布算法,将所述归置组中包含的各个对象存储到与所述归置组对应的相应对象存储设备中。2.如权利要求1所述的数据存储方法,其特征在于,还包括:从内存中读取各个对象存储设备的哈希值;对于所述M个归置组中的任意一个归置组,建立所述归置组的归置组标识码与至少三个对象存储设备的哈希值之间的映射关系,将所述映射关系存储在所述存储映射表中。3.如权利要求2所述的数据存储方法,其特征在于,还包括:从系统文件夹中调取预设数目的存储节点的设备信息,其中,所述预设数目的存储节点中的任意一个存储节点包含至少三个对象存储设备;对于所述预设数目的存储节点中的任意一个存储节点,基于所述存储节点的设备信息,计算所述存储节点中的各个对象存储设备的哈希值;将所述预设数目的存储节点中的各个对象存储设备的哈希值存储在所述内存中。4.如权利要求3所述的数据存储方法,其特征在于,还包括:在节点扫描脚本中设定所述预设数目的存储节点的设备信息;通过解析所述节点扫描脚本,将所述预设数目的存储节点的设备信息存储在所述系统文件夹中。5.如权利要求4所述的数据存储方法,其特征在于,还包括:当存储有对象的任意一个对象存储设备发生故障时,计算该对象存储设备所在的存储节点中的各个对象存储设备的更新哈希值;根据所述存储节点中的各个对象存储设备的更新哈希值,确定所述存储节点中的空闲对象存储设备;以及将发生故障的对象存储设备中存储的对象存储到所述空闲对象存储设备中。6.如权利要求3所述的数据存储方法,其特征在于,还包括:当存储有归置组的任意一个存储节点发生故障时,在所述节点扫描脚本中增加空闲存储节点;以及基于所述伪随机数据分布算法,将发生故障的存储节点中存储的归置组存储到所述空闲存储节点中。7.一种数据存储设备,其特征在于,该数据存储设备应用于Ceph分布式数据存储系统,并且包括:划分单元,被配置用于将待存...
【专利技术属性】
技术研发人员:付永振,靳晓嘉,魏春来,汤云峰,王靖,付旭轮,单雷光,
申请(专利权)人:中国移动通信集团河北有限公司,中国移动通信集团公司,
类型:发明
国别省市:河北,13
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。