数据存储方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供了一种数据存储方法、装置、电子设备及计算机可读存储介质，涉及数据处理技术领域，解决了分布式存储系统的灵活性较差的技术问题。该方法包括：获取待存储的原始数据，并基于所述原始数据生成M个数据块和N个校验块；将所述M个数据块和所述N个校验块分别保存至M+N个存储块中；将纠删码信息持久化至每个所述存储块中；其中，所述纠删码信息中包含M和N的数值。

Data storage method, device, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据存储方法、装置、电子设备及计算机可读存储介质
本申请涉及数据处理
，尤其是涉及一种数据存储方法、装置、电子设备及计算机可读存储介质。
技术介绍
在分布式存储系统中，最常见的两种数据冗余技术是多副本策略和纠删码(ErasureCode，简称EC)。相比于多副本策略，纠删码具有冗余度更低、磁盘利用率更高等优势。对于纠删码，需要说明的是，将若干块原始的数据块通过计算，得到若干块校验块，对于这些全部的数据块和校验块，丢失任意的校验块元素时，均可以通过对应的算法恢复出原来的数据。目前的分布式存储系统中，整个集群的配置是固定的，即上述数据块的块数和上述校验块的块数都是固定的，集群一旦搭建就不能变更这个配置，否则数据会发生损坏，导致无法读取。对于用户多种不同的副本需求，目前的分布式存储系统只能采用单独搭建新集群的方式来实现，若不单独搭建新集群则无法灵活的适应不同的副本需求，因此目前的分布式存储系统的灵活性较差。
技术实现思路
本专利技术的目的在于提供一种数据存储方法、装置、电子设备及计算机可读存储介质，以解决目前本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，应用于分布式存储系统，所述方法包括：/n获取待存储的原始数据，并基于所述原始数据生成M个数据块和N个校验块；/n将所述M个数据块和所述N个校验块分别保存至M+N个存储块中；/n将纠删码信息持久化至每个所述存储块中；/n其中，所述纠删码信息中包含M和N的数值。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于分布式存储系统，所述方法包括：
获取待存储的原始数据，并基于所述原始数据生成M个数据块和N个校验块；
将所述M个数据块和所述N个校验块分别保存至M+N个存储块中；
将纠删码信息持久化至每个所述存储块中；
其中，所述纠删码信息中包含M和N的数值。


2.根据权利要求1所述的方法，其特征在于，所述将纠删码信息持久化至每个所述存储块中的步骤，包括：
将所述纠删码信息写入每个所述存储块的块ID中。


3.根据权利要求1所述的方法，其特征在于，所述将纠删码信息持久化至每个所述存储块中的步骤，包括：
生成包含纠删码信息的描述文件；
将所述描述文件保存至每个所述存储块中。


4.根据权利要求1所述的方法，其特征在于，所述将纠删码信息持久化至每个所述存储块中的步骤，包括：
将所述纠删码信息写入每个所述数据块和每个所述校验块。


5.一种数据存储方法，其特征在于，应用于分布式存储客户端，所述方法包括：
获取待读取数据的纠删码信息；
在分布式存储系统中查找与所述纠删码信息匹配的M+N个存储块；
分别从M+N个存储块中读取M个数据块和N个校验块；
其中，所述纠删码信息中包含M和N的数值。


6.根据权利要求5所述的方法，其特征在于，所述在分布式存储系统中查找与所述纠删码信息匹配的M+N个存储块的步骤，包括：
读取分布式存储系统中每个存储块的块ID，所述块ID中包含纠删码信息；
查找块ID与所述待读取数据的纠删码信息匹配的M+N个存储块。


7.根据权利要求5所述的方法，其特征在于，所述在分布式存储系统中查找与所述纠删码信息匹配的M+N个存储块的步骤，包括：
读取分布...

【专利技术属性】
技术研发人员：甘红星，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11