数据存储方法、装置、设备及计算机存储介质制造方法及图纸

技术编号:37956985 阅读:22 留言:0更新日期:2023-06-30 09:30
本发明专利技术实施例涉及存储技术领域,公开了一种数据存储方法、装置、设备及计算机存储介质,其中所述方法包括:将待存储数据进行分离处理,得到待存储数据的元数据和内容数据,并将所述待存储数据的元数据存储在scylladb集群中,将所述待存储数据的内容数据进行纠删码处理,得到N个纠删码分片,N为不小于3的正整数,向N个单副本池,发送所述N个纠删码分片;其中,所述N个单副本池与所述N个纠删码分片一一对应,所述N个单副本池属于至少两个rados集群。通过上述方式,本发明专利技术实施例能够避免容易出现数据无法被访问的情况,提高云存储系统的可用性。性。性。

【技术实现步骤摘要】
数据存储方法、装置、设备及计算机存储介质


[0001]本专利技术实施例涉及存储
,具体涉及一种数据存储方法、装置、设备及计算机存储介质。

技术介绍

[0002]云存储是用于对海量数据的管理的存储。云存储系统在对数据进行存储时,为了保证数据的安全性,一般采用数据冗余的方式,对数据进行保存。而为了同时提高存储空间利用率,常用纠删码技术实现数据冗余。
[0003]用纠删码技术实现数据冗余,是将数据分割成多个分片,并进行纠删码计算,得到多个纠删码分片。当部分纠删码分片丢失,可以通过剩下的纠删码分片将数据恢复。
[0004]本申请的专利技术人在实施本专利技术实施例的过程中发现:现有的在云存储中使用纠删码技术实现数量冗余时,依然容易出现数据无法被访问的情况。

技术实现思路

[0005]鉴于上述问题,本专利技术实施例提供了一种数据存储方法、装置、设备及计算机存储介质。用于解决现有的在云存储中使用纠删码技术实现数量冗余时,依然容易出现数据无法被访问的情况的技术问题。
[0006]根据本专利技术实施例的一个方面,提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种一种数据存储方法,其特征在于,所述方法包括:将待存储数据进行分离处理,得到待存储数据的元数据和内容数据,并将所述待存储数据的元数据存储在scylladb集群中;将所述待存储数据的内容数据进行纠删码处理,得到N个纠删码分片;N为不小于3的正整数;向N个单副本池,发送所述N个纠删码分片;其中,所述N个单副本池与所述N个纠删码分片一一对应;所述N个单副本池属于至少两个rados集群。2.根据权利要求1所述的方法,所述将所述待存储数据的内容数据进行纠删码处理,得到N个纠删码分片,进一步包括:在所述待存储数据的大小大于第一预设阈值时,将所述待存储数据的内容数据进行纠删码处理,得到N个待存储数据分片。3.根据权利要求2所述的方法,其特征在于,在所述将待存储数据进行分离处理,得到待存储数据的元数据和内容数据,并将所述待存储数据的元数据存储在scylladb集群中之后,所述方法还包括:当所述待存储数据的大小小于或等于所述第一预设阈值时,将所述待存储数据写入scylladb集群。4.根据权利要求1所述的方法,其特征在于,所述N个纠删码分片包括数据分片和校验分片,所述将所述待存储数据的内容数据进行纠删码处理,得到N个纠删码分片,进一步包括:对所述待存储数据进行切片处理,得到至少两个所述数据分片;对所有所述数据分片进行校验计算,得到至少一个所述校验分片。5.根据权利要求1所述的方法,其特征在于,所述向N个单副本池,发送所述N个纠删码分片,进一步包括:向所述N个单副本池中正常的单副本池,发送相应的纠删码分片。6.根据权利要求1所述...

【专利技术属性】
技术研发人员:余礼杨
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1