基于纠删码的分布式文件系统存储方法及装置制造方法及图纸

本发明专利技术公开了一种基于纠删码的分布式文件系统存储方法，包括：获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。本发明专利技术还公开了一种基于纠删码的分布式文件系统存储装置。本发明专利技术降低了待存储数据所占用的空间。

Method and device for storing distributed file system based on erasure code

The invention discloses a method for correcting the distributed file system storage, delete code based on stored data to the client including obtaining the written, and the erasure code encoding method to obtain the calibration data corresponding to the data to be stored; strip storage data and the calibration data of the K, a the data to be stored and M copies of the verification data; among them, K and M is a positive integer; K the stored data to be stored and M copies of the verification data. The invention also discloses a distributed file system storage device based on erasure code. The invention reduces the space occupied by the data to be stored.

【技术实现步骤摘要】
基于纠删码的分布式文件系统存储方法及装置
本专利技术涉及计算机互联网
，尤其涉及一种基于纠删码的分布式文件系统存储方法及装置。
技术介绍
随着网络技术及信息处理技术的不断发展，个人数据和企业数据的产生量呈现爆炸性膨胀的趋势，IT系统正面临着海量数据存储成本高、管理困难、可靠性低的问题，为了充分利用资源，减少重复的投资，数据存储作为IT系统的主要架构和基础设施之一，逐步被作为一个完整的系统从IT系统中独立出来。分布式文件系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点，目前正被作为企业海量数据存储方案被业界所广泛讨论和应用。因此对于分布式文件系统的研究不仅紧跟目前发展的趋势，而且具有较高的应用价值。在如金融行业、保险行业、电信行业等对数据安全可靠性要求高的行业，为了保证数据的高可靠性，通常采用数据冗余备份的方法进行容灾。传统的数据容灾方式通过对原始数据进行完全复制备份，将备份数据存储在异地的存储服务端上，但是这种容灾方式花费的成本十分高昂。
技术实现思路
本专利技术的主要目的在于提供一种基于纠删码的分布式文件系统存储方法，旨在降低待存储数据所占用的空间。为实现上述目的，本专利技术提供的一种基于纠删码的分布式文件系统存储方法，所述基于纠删码的分布式文件系统存储方法包括：获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。优选地，所述对所述待存储数据和所述校验数据进行分片处理之前还包括：根据存储空间设置适当的纠删码比例，即K：M。优选地，所述对所述待存储数据和所述校验数据进行分片处理包括：判断所述待存储数据的长度是否为分片长度的K倍；若否，则在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。优选地，所述存储K份所述待存储数据和M份所述校验数据包括：判断所述客户端请求的存储地址是否为缓存层；若是，则将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；若否，则将所述K份所述待存储数据和M份所述校验数据存入存储层。优选地，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。此外，为实现上述目的，本专利技术还提供一种基于纠删码的分布式文件系统存储装置，所述基于纠删码的分布式文件系统存储装置包括：获取模块，用于获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；分片模块，用于对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储模块，用于存储K份所述待存储数据和M份所述校验数据。优选地，所述基于纠删码的分布式文件系统存储装置还包括：设置模块，用于根据存储空间设置适当的纠删码比例，即K：M。优选地，所述分片模块包括：第一判断单元，用于判断所述待存储数据的长度是否为分片长度的K倍；添加单元，用于在所述待存储数据的长度不足分片长度的整数倍时，在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。优选地，所述存储模块包括：第二判断单元，用于判断所述客户端请求的存储地址是否为缓存层；第一存储单元，用于在所述客户端请求的存储地址是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；第二存储单元，用于在所述客户端请求的存储地址不是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入存储层。优选地，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。本专利技术通过获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。在后续读取待存储数据时，纠删码函数读取K份所述待存储数据能够重建原所述待存储数据，若在待存储数据损坏的情况下，只要对应的校对数据的损坏数量在M份以内，依旧可以通过已有的待存储数据计算出原所述待存储数据，相较于现有技术中需要对原始数据进行完全复制备份的方式，降低了待存储数据所占用的空间。附图说明图1为本专利技术基于纠删码的分布式文件系统存储方法第一实施例的流程示意图；图2为本专利技术基于纠删码的分布式文件系统存储方法第二实施例的流程示意图；图3为本专利技术基于纠删码的分布式文件系统存储方法第三实施例的流程示意图；图4为本专利技术基于纠删码的分布式文件系统存储方法第四实施例的流程示意图；图5为本专利技术基于纠删码的分布式文件系统存储装置第一实施例的功能模块示意图；图6为本专利技术基于纠删码的分布式文件系统存储装置第二实施例的功能模块示意图；图7为本专利技术基于纠删码的分布式文件系统存储装置第三实施例中分片模块的细化功能模块示意图；图8为本专利技术基于纠删码的分布式文件系统存储装置第四实施例中存储模块的细化功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种基于纠删码的分布式文件系统存储方法，请参阅图1，在第一实施例中，该基于纠删码的分布式文件系统存储方法包括：步骤S10，获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；本专利技术实施例提供的基于纠删码的分布式文件系统存储方法用于分布式文件系统中的存储装置存储客户端的数据。客户端需要待存储数据时向存储装置发出请求，在获准后将待存储写入所述存储装置。所述存储装置获取客户端写入的所述待存储数据，纠删码函数会根据所述待存储数据通过纠删码编码方式得到所述待存储数据对应的校验数据。所述校验数据为一组描述所述待存储数据的数字，在部分所述待存储数据丢失后可通过算法计算出丢失的待存储数据。步骤S20，对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；步骤S30，存储K份所述待存储数据和M份所述校验数据。本专利技术通过获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。在后续读取待存储数据时，纠删码函数读取K份所述待存储数据能够重建原所述待存储数据，若在待存储数据损坏的情况下，只要对应的校对数据的损坏数量在M份以内，依旧可以通过已有的待存储数据计算出原所述待存储数据，相较于现有技术中需要对原始数据进行完全复制备份的方式，降低了待存储数据所占用的空间。进一步地，K份所述待存储数据和M份所述校验数据中包括用于查找自身数据的检索信息。在客户端读取所述待存储数据时能够根据所述检索信息查读取到目标待存储数据，避免了系统全盘搜索，不仅加快了读取速度也减轻了系统的负载，而且优化了分布式文件系统的性能。进一步地，请参阅图2，基于本专利技术基于纠删码的分布式文件系统存储方法第一实施本文档来自技高网...

【技术保护点】
一种基于纠删码的分布式文件系统存储方法，其特征在于，所述基于纠删码的分布式文件系统存储方法包括：获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。

【技术特征摘要】
1.一种基于纠删码的分布式文件系统存储方法，其特征在于，所述基于纠删码的分布式文件系统存储方法包括：获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。2.根据权利要求1所述的基于纠删码的分布式文件系统存储方法，其特征在于，所述对所述待存储数据和所述校验数据进行分片处理之前还包括：根据存储空间设置适当的纠删码比例，即K：M。3.根据权利要求1所述的基于纠删码的分布式文件系统存储方法，其特征在于，所述对所述待存储数据和所述校验数据进行分片处理包括：判断所述待存储数据的长度是否为分片长度的K倍；若否，则在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。4.根据权利要求1所述的基于纠删码的分布式文件系统存储方法，其特征在于，所述存储K份所述待存储数据和M份所述校验数据包括：判断所述客户端请求的存储地址是否为缓存层；若是，则将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；若否，则将所述K份所述待存储数据和M份所述校验数据存入存储层。5.根据权利要求1-4中任一项所述的基于纠删码的分布式文件系统存储方法，其特征在于，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。6.一种基于纠删码的分布式文件系统存储装置，其特征在于，所述基于纠删码的分布式文件...

【专利技术属性】
技术研发人员：张勤，
申请(专利权)人：深圳市中博科创信息技术有限公司，
类型：发明
国别省市：广东,44