一种数据存储方法及装置制造方法及图纸

本发明专利技术公开了一种数据存储方法，包括：客户端将非满条带的原始数据发送至一个数据节点；在数据节点处将非满条带的原始数据额外复制M份并发送至其他M个数据节点，从而将N+M纠删码在非满条带时转为M+1副本存储，其中，N表示满条带时原始数据的个数，M表示校验数据的个数，非满条带的原始数据的个数小于N；写入M份的原始数据之后响应客户端。本发明专利技术的实施例在不降低可靠性的前提下，将N+M纠删码非满条带写转化为M+1副本的方式，这样可以大大降低N+M纠删码补齐所带来的额外开销，从而降低了写的延迟。对于小块随机写的应用程序有较大的性能提升，并且保持了可靠性。另外，本发明专利技术还公开了相应的数据存储装置。

A Data Storage Method and Device

The invention discloses a data storage method, which includes: the client sends the raw data of the non-full strip to a data node; at the data node, the original data of the non-full strip is extra copied by M copies and sent to other M data nodes, thereby converting the N+M erasure code into M+1 copy when the non-full strip is stored, where N represents the number of original data when the full strip is full, and M represents the proofreading. The number of test data is less than N, and the number of raw data is less than N. After writing M copies of raw data, the client responds. The embodiment of the present invention converts N+M erasure code non-full band writing into M+1 copy without reducing reliability, which can greatly reduce the additional overhead caused by N+M erasure code completion and reduce the writing delay. For small randomly written applications, the performance is improved greatly and the reliability is maintained. In addition, the invention also discloses a corresponding data storage device.

【技术实现步骤摘要】
一种数据存储方法及装置
本专利技术涉及数据存储
，具体来说，涉及一种数据存储方法及装置。
技术介绍
存储系统容错通常有数据备份和纠删码两种技术。使用备份技术带来的额外存储开销很大，导致存储成本非常高。随着信息系统规模的不断扩大，备份技术难以兼顾存储系统的空间利用率和容错能力的要求。相较之下，纠删码具有更高的空间利用率、更好的适应性和更高的可靠性。在分布式存储系统中，纠删码技术将原始数据进行编码得到冗余，并将原始数据和冗余存储起来，从而达到容错效果。当前纠删码技术的研究主要包括RS类编码、再生码、局部冗余编码、高性能新型编码方式等几个方面。(1)RS类编码RS码因其简单的编解码方式和灵活的参数选择被广泛应用于实际系统中，如Google、Facebook和Microsoft旗下的存储系统。虽然RS码可以在维持与副本方式同等可靠性的前提下大大减少存储开销，但其在数据修复阶段需要大量的数据读取、传输等开销。许多纠删码策略在RS基础进行了改进。Rotated-RS编码方式通过使用一些数据块在解码时重复使用来减少修复过程中数据的读取和网络传输量。Z-code的编码在数据修复方面的网络带宽传本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：客户端将非满条带的原始数据发送至一个数据节点；在所述数据节点处将所述非满条带的原始数据额外复制M份并发送至其他M个数据节点，从而将N+M纠删码在非满条带时转为M+1副本存储，其中，N表示满条带时原始数据的个数，M表示校验数据的个数，所述非满条带的原始数据的个数小于N；写入M份的所述原始数据之后响应所述客户端。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：客户端将非满条带的原始数据发送至一个数据节点；在所述数据节点处将所述非满条带的原始数据额外复制M份并发送至其他M个数据节点，从而将N+M纠删码在非满条带时转为M+1副本存储，其中，N表示满条带时原始数据的个数，M表示校验数据的个数，所述非满条带的原始数据的个数小于N；写入M份的所述原始数据之后响应所述客户端。2.根据权利要求1所述的数据存储方法，其特征在于，所述数据存储方法还包括：如果后续写入的数据和所述非满条带的原始数据组成N个数据的满条带，则计算出M个校验数据，并将N+M个数据分别发送到原先的各个数据节点。3.根据权利要求1所述的数据存储方法，其特征在于，所述数据存储方法还包括：如果后续没有数据到达，则从底层存储设备中补齐相关数据再计算校验数据。4.根据权利要求3所述的数据存储方法，其特征在于，在从底层存储设备中补齐相关数据再计算校验数据的步骤之后，包括：删除所述M份的副本，为缓存其他数据提供空间。5.一种数据存储装置，其特征在于，包括：第一发...

【专利技术属性】
技术研发人员：袁清波，郭照斌，杨浩，苗艳超，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京,11