一种数据存储的容错冗余方法及设备技术

本发明专利技术提供一种数据存储的容错冗余方法及设备，所述方法包括：在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker‑XOR码编码后存储为Hitchhiker‑XOR码数据；若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker‑XOR码编码；若所述Hitchhiker‑XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。本发明专利技术分别利用存储开销低的Hitchhiker‑XOR码和恢复延迟低的LRC码进行存储；在数据的访问频次变化后，进行两种编码之间的切换，整体上降低数据恢复延迟并保证较低的存储开销。

Fault tolerant redundancy method and equipment for data storage

The present invention provides a method and equipment fault tolerant redundant data storage, the method includes: in data storage, LRC code encoding after storage for the LRC code data access to high frequency data, access to the low frequency data for Hitchhiker XOR codes encoding after storage for Hitchhiker XOR code data; if the LRC code data access frequency is reduced, will switch the encoding for the Hitchhiker XOR code encoding; if the Hitchhiker XOR code data access frequency increases, it will switch its encoding for the LRC code encoding. The present invention used storage overhead low Hitchhiker XOR code and recovery of memory latency low LRC code; in the access frequency change data after switching between two kinds of encoding, reducing the overall data recovery delay and ensure low storage overhead.

【技术实现步骤摘要】
一种数据存储的容错冗余方法及设备
本专利技术涉及计算机数据存储
，更具体地，涉及一种数据存储的容错冗余方法及设备。
技术介绍
随着信息技术对社会各个领域的渗透，人类无时不刻地产生着大量的数据。现在，人们只要在线上甚至线下进行一些电子设备上的操作，例如发送定位信息、使用搜索引擎搜索、网上购物、进行网络社交等，都可能产生出能被分析的数据。现阶段，相应的技术已经能够通过分析这些数据，在科技、商业甚至国计民生等各个方面产生影响。而在信息技术日益发展的今天，海量数据的产生，使得需要进行分析处理的数据量也达到了TB甚至是PB级别。以腾讯公司为例，其微信应用的月活跃账户数已达到8.05亿，其大数据资源调度平台每日接入2.4PB的数据量，日扫描数据量达到20PB。因此对于任何组织和个人来说，数据丢失都会带来严重的后果。针对可能发生的数据丢失，存储系统会通过对数据进行冗余，使得系统能够容忍一定限度的错误，使得当系统无法访问某些存放在不可用机器中的数据时，可以通过在其他可用机器上的冗余数据对暂时无法访问的数据进行恢复。一般而言，数据冗余可以通过多副本容错技术或纠删码容错技术实现。在使用纠删码进行数本文档来自技高网...

【技术保护点】
一种数据存储的容错冗余方法，其特征在于，包括：在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker‑XOR码编码后存储为Hitchhiker‑XOR码数据；若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker‑XOR码编码；若所述Hitchhiker‑XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。

【技术特征摘要】
1.一种数据存储的容错冗余方法，其特征在于，包括：在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker-XOR码编码后存储为Hitchhiker-XOR码数据；若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码；若所述Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。2.如权利要求1所述的方法，其特征在于，所述在数据存储时还包括：在每一数据条带中，LRC码数据和Hitchhiker-XOR码数据具有相同的数据块数，LRC码数据的全局冗余块数和Hitchhiker-XOR码数据的冗余块数相等，LRC码数据的局部冗余块数比LRC码数据的全局冗余块数少1。3.如权利要求2所述的方法，其特征在于，所述若LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码，进一步包括：基于LRC码数据的每两个数据条带，获取其中第一数据条带的局部冗余块和其中第二数据条带的全局冗余块；对所述第一数据条带的局部冗余块和所述第二数据条带的全局冗余块进行异或运算，获得第以数据子块，并将所述第一数据子块作为Hitchhiker-XOR码数据在所述第二数据条带上的冗余块；将LRC码数据的所有数据块作为Hitchhiker-XOR码数据的数据块；将LRC码数据在第一数据条带上的全局冗余块作为Hitchhiker-XOR码数据在第一数据条带上的冗余块。4.如权利要求3所述的方法，其特征在于，所述若LRC码数据的访问频次降低，则将...

【专利技术属性】
技术研发人员：汪东升，王海霞，王梓仲，邵艾然，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11