一种数据存储方法及装置制造方法及图纸

本申请提供一种数据存储方法及装置，涉及存储技术领域，能够降低网络消耗，提高数据存储的性能。该方法包括：获取第一数据的数据分片和本地校验分片，该第一数据的数据分片包括N个数据分片,N≥2，N为整数；将该N个数据分片中的J个数据分片和该J个数据分片对应的本地校验分片存储在第一数据中心DC中的不同存储装置中，并将剩余的N‑J个数据分片临时存储在该第一DC中，以及将该N‑J个数据分片中每一组数据分片和该组数据分片对应的本地校验分片发给与该组数据分片对应的第二DC中，其中，每一组数据分片对应一个第二DC。

A data storage method and device

The application provides a data storage method and device, which relates to the storage technology field, which can reduce network consumption and improve the performance of data storage. The method includes obtaining a first data slice and local check slice, the first data slice includes N data slice, N = 2, N is an integer; different local memory device check the N data into J data sheet in the slice and the J data the corresponding slice slice storage in the first data center in DC, and the remaining N J data slice is temporarily stored in the first DC, and the N J local check data slices of each group of data slice and the set of data corresponding to the slice to slice with the set of data corresponding to the second slice DC, wherein each group of data slices corresponding to a second DC.

【技术实现步骤摘要】
一种数据存储方法及装置
涉及存储
，尤其涉及一种数据存储方法及装置。
技术介绍
在存储
中，为了提高数据的安全性，同时降低存储的成本，一般会采用纠删码(ErasureCoding，EC)冗余方式对数据进行存储。EC冗余就是对需要存储的数据进行分片得到多个数据分片，并对该多个数据分片进行校验，得到对应的多个校验分片。然后将得到的数据分片和校验分片存储在数据中心(DataCenter，DC)中。当存储的部分数据分片损坏时，可以通过校验分片和未损坏的数据分片中将该损坏的部分数据分片恢复。在存储分片(包括数据分片和校验分片)时，目前有两种方式较为常用。一种是以数据分片跨DC存储的方式进行EC冗余存储，即将多个数据分片分开存储在多个DC中。例如，如图1所示，假设以3个DC为例。DC1在接收到数据1后，对该多个数据进行EC冗余得到数据分片1-6以及校验分片。其中校验分片包括本地校验分片1-3和全局校验分片1-3。数据分片1-3和对应的本地校验分片1存储在DC1中，本地校验分片1用于在数据分片1-3中的任一数据分片损坏时，利用未损坏的数据分片重构出该损坏的数据分片。数据分片4-6和对应本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括：获取第一数据的数据分片和本地校验分片，所述第一数据的数据分片包括N个数据分片,N≥2，N为整数；将所述N个数据分片中的J个数据分片和所述J个数据分片对应的本地校验分片存储在第一数据中心DC中的不同存储装置中，并将剩余的N‑J个数据分片临时存储在所述第一DC中，以及将所述N‑J个数据分片中每一组数据分片和该组数据分片对应的本地校验分片发给与该组数据分片对应的第二DC中；其中，所述N‑J个数据分片划分为至少一组，所述每一组数据分片包括至少一个数据分片，所述每一组数据分片对应一个第二DC，J≥1，J为整数。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取第一数据的数据分片和本地校验分片，所述第一数据的数据分片包括N个数据分片,N≥2，N为整数；将所述N个数据分片中的J个数据分片和所述J个数据分片对应的本地校验分片存储在第一数据中心DC中的不同存储装置中，并将剩余的N-J个数据分片临时存储在所述第一DC中，以及将所述N-J个数据分片中每一组数据分片和该组数据分片对应的本地校验分片发给与该组数据分片对应的第二DC中；其中，所述N-J个数据分片划分为至少一组，所述每一组数据分片包括至少一个数据分片，所述每一组数据分片对应一个第二DC，J≥1，J为整数。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当总占比大于或者等于预设的第一门限值时，删除所述第一DC中临时存储的所述N-J个数据分片，所述总占比为所述第一DC中临时存储的数据分片占用的总容量占所述第一DC的容量的比例。3.根据权利要求2所述的方法，其特征在于，所述删除所述第一DC中临时存储的所述N-J个数据分片之前，所述方法还包括：判断所述第一数据的访问频率是否小于或者等于预设的第一访问门限；所述删除所述第一DC中临时存储的所述N-J个数据分片，包括：若所述访问频率小于或者等于所述第一访问门限，则删除所述第一DC中临时存储的所述N-J个数据分片。4.根据权利要求3所述的方法，其特征在于，所述若所述访问频率小于或者等于所述第一访问门限，则删除所述第一DC中临时存储的所述N-J个数据分片之后，所述方法还包括：当所述访问频率大于或者等于预设的第二访问门限，且所述总占比小于所述第一门限值时，从所述N-J个数据分片所存储的第二DC中拷贝所述N-J个数据分片；将拷贝的所述N-J个数据分片临时存储在所述第一DC中。5.根据权利要求2-4任一项所述的方法，其特征在于，所述第一门限值的计算方式如下：X＝(n/K/(n+m))*h％；其中，X表示所述第一门限值，K表示所述第二DC的个数，K≥1，K为整数，m表示K个所述第二DC中允许存储的校验分片的总数量，n表示K个所述第二DC中允许存储的数据分片的总数量，h％表示热数据比例。6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取第一数据的数据分片和本地校验分片之后，所述方法还包括：判断总占比是否大于或者等于预设的第二门限值，所述总占比为所述第一DC中临时存储的数据分片占用的总容量占所述第一DC的容量的比例；所述将所述N个数据分片中的J个数据分片和所述J个数据分片对应的本地校验分片存储在第一DC中的不同存储装置中，并将剩余的N-J个数据分片临时存储在所述第一DC中，以及将所述N-J个数据分片中每一组数据分片和该组数据分片对应的本地校验分片发给与该组数据分片对应的第二DC中，包括：在确定所述总占比小于所述第二门限值时，将所述N个数据分片中的J个数据分片和所述J个数据分片对应的本地校验分片存储在第一DC中的不同存储装置中，并将剩余的N-J个数据分片临时存储在所述第一DC中，以及将所述N-J个数据分片中每一组数据分片和该组数据分片对应的本地校验分片发给与该组数据分片对应的第二DC中。7.根据权利要求1、5或6所述的方法，其特征在于，所述将所述N个数据分片中的J个数据分片和所述J个数据分片对应的本地校验分片存储在第一DC中的不同存储装置中，并将剩余的N-J个数据分片临时存储在所述第一DC中之后，所述方法还包括：客户端服务器从所述第一DC中读取...

【专利技术属性】
技术研发人员：姚唐仁，王晨，冯玮，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44