【技术实现步骤摘要】
数据存储方法及其装置、可读介质和系统
本申请涉及数据存储领域,特别涉及一种数据存储方法及其装置、可读介质和系统。
技术介绍
副本存储和纠删码存储是两种常见的数据存储方式,副本存储是指,将数据按照一定比例和分配策略保存在其他节点上的存储技术。纠删码存储是指,将数据分割成片段,把冗余数据块扩展、编码,并将数据存储在不同存储节点的存储技术。副本存储方式可提升数据的安全性和可靠性,但是存在高冗余的问题,磁盘利用率低。而纠删码存储方式可以解决高冗余的问题,但是伴随着大量的计算,使得纠删码存储方式相比于副本存储方式来说,数据存入效率要低很多,而且纠删码存储常用于基于对象的云存储,而分布式系统存在网络不稳定的问题。
技术实现思路
本申请实施例提供了一种数据存储方法及其装置、可读介质和系统。本申请实施例提供的数据存储方法是通过磁盘阵列方式存储新数据,纠删码的方式存储老数据,实现了兼顾数据存储的吞吐量、可靠性和磁盘利用率。第一方面,本申请实施例提供了一种数据存储方法,包括:获取待存储的数据;将所述待 ...
【技术保护点】
1.一种数据存储方法,其特征在于,包括:/n获取待存储的数据;/n将所述待存储数据分成等大的多个存储数据块,并生成所述多个存储数据块的校验数据块,其中,所述校验数据块能够在所述多个存储数据块中的一个存储数据块丢失的情况下,恢复所述丢失的存储数据块;/n将所述多个存储数据块和校验数据块分别存储到不同存储器的存储域中。/n
【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:
获取待存储的数据;
将所述待存储数据分成等大的多个存储数据块,并生成所述多个存储数据块的校验数据块,其中,所述校验数据块能够在所述多个存储数据块中的一个存储数据块丢失的情况下,恢复所述丢失的存储数据块;
将所述多个存储数据块和校验数据块分别存储到不同存储器的存储域中。
2.根据权利要求1所述的方法,其特征在于,所述生成所述多个存储数据块的校验数据块,包括:
通过对所述多个存储数据块进行异或运算,生成所述校验数据块。
3.根据权利要求1所述的方法,其特征在于,还包括:
判断所述多个存储数据块的存储时间是否大于时间阈值;
在判断为大于时间阈值的情况下,将所述多个数据块对应的待存储的数据以纠删码的方式存储,并从对应的所述存储器的存储域中删除所述多个数据块和校验数据块。
4.根据权利要求1所述的方法,其特征在于,还包括:
判断所述多个存储数据块的访问频率是否大于频率阈值;
在判断为大于频率阈值的情况下,将所述多个数据块对应的待存储的数据以纠删码的方式存储,并从对应的所述存储器的存储域中删除所述多个数据块和校验数据块。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述每个所述存储器包括多个存储域。
6.一种数据存储...
【专利技术属性】
技术研发人员:李红旺,吴永军,江旭楷,
申请(专利权)人:上海依图网络科技有限公司,
类型:发明
国别省市:上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。