基于纠删码的分布式数据存储方法及系统技术方案

本发明专利技术实施例提供一种基于纠删码的分布式数据存储方法及系统，所述方法包括：客户端将待存储数据写入缓存服务器中；缓存服务器对待存储数据进行缓存；当达到预定条件时，中转服务器向缓存服务器拉取预定大小的缓存数据，对缓存数据使用纠删码编码方式进行编码并生成校验数据；以及中转服务器将缓存数据写入存储服务器的多个数据块中，将校验数据写入存储服务器的至少一个校验块中。

【技术实现步骤摘要】
基于纠删码的分布式数据存储方法及系统
本专利技术涉及计算机互联网技术，尤其涉及一种基于纠删码的分布式数据存储方法及系统。
技术介绍
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。目前的分布式存储的主流方案都是使用了多副本的存储方式，即业务数据在多台设备上各存储一份完整的副本。但是，在多副本的存储方式下，主流的分布式存储业务需要的IOPS(Input/OutputOperationsPerSecond的简称，即每秒进行读写(I/O)操作的次数)能力远远低于硬件所能提供的能力，而且成本也很高。为了解决成本高以及I/O浪费的问题，现在出现了基于纠删码(Raid或者RS等)的各种分布式存储方案。每个文件先分为一个或多个数据分片，然后再将这些分本文档来自技高网...

【技术保护点】
一种基于纠删码的分布式数据存储方法，其特征在于，包括：客户端将待存储数据写入缓存服务器中；所述缓存服务器对所述待存储数据进行缓存；当达到预定条件时，中转服务器向所述缓存服务器拉取预定大小的缓存数据，对所述缓存数据使用纠删码编码方式进行编码并生成校验数据；以及所述中转服务器将所述缓存数据写入存储服务器的多个数据块中，将所述校验数据写入所述存储服务器的至少一个校验块中。

【技术特征摘要】
1.一种基于纠删码的分布式数据存储方法，其特征在于，包括：
客户端将待存储数据写入缓存服务器中；
所述缓存服务器对所述待存储数据进行缓存；
当达到预定条件时，中转服务器向所述缓存服务器拉取预定大小的缓存数据，对所述缓存数据使用纠删码编码方式进行编码并生成校验数据；以及
所述中转服务器将所述缓存数据写入存储服务器的多个数据块中，将所述校验数据写入所述存储服务器的至少一个校验块中。


2.如权利要求1所述的方法，其特征在于，所述预定条件包括：
所述缓存服务器中所缓存的数据的大小达到所述预定大小；或
所述客户端写入数据的操作超过预定时长；或者
所述缓存服务器出现故障。


3.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述客户端向所述缓存服务器发送数据获取请求；
所述缓存服务器根据所述数据获取请求查找本地是否存储有所述待获取数据，如果有，则直接将所述待获取数据返回所述客户端，否则，将所述数据获取请求发送给所述存储服务器；以及
当所述存储服务器接收到所述数据获取请求时，查找所述待获取数据，并将所述待获取数据通过所述缓存服务器返回所述客户端，所述客户端对所述存储服务器返回的数据进行解码。


4.如权利要求1所述的方法，其特征在于，所述每个数据块或每个校验块均分别单独对应于所述存储服务器的多个设备中的一个设备，在对应于所述多个数据块的多个设备中各自存储有自身的数据索引信息，在对应于至少一个校验块的至少一个设备中各自存储有所述多个数据块的所有数据索引信息。


5.一种基于纠删码的分布式数据存储...

【专利技术属性】
技术研发人员：王炎，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东;44