一种基于动态副本策略的文件存储系统及其存储方法技术方案

本发明专利技术公开了一种基于动态副本策略的文件存储系统，包含：文件热度计算模块，用于计算周期时间内存储的各文件的热度及周期时间内所有存储文件的平均热度；多个存储模块，用于存储数据及访问数据；分别与文件热度计算模块及多个存储模块连接的主控制模块；所述的主控制模块用于根据存储文件的热度动态调整存储文件的副本数；与主控制模块连接的编码解码模块，用于根据存储文件的副本数对符合编码条件的存储文件进行纠删码编码。本发明专利技术还公开了一种文件存储方法。本发明专利技术增加了高热度的文件的完全副本数，提高了高热度文件的访问速度和负载均衡，低热度文件减少了完全副本的个数，采用RS纠删码编码后存储提高了存储的容错能力和可靠性。

File storage system based on dynamic copy strategy and storage method thereof

The invention discloses a file storage system, dynamic replication strategy based on documents include: heat calculation module for heat storage and file all the average heat cycle time of each file storage calculation cycle time within; a plurality of memory modules, used for data storage and access to data and documents respectively; heat calculation of main control module multiple module and storage module is connected with the main control module; the number of copies according to the dynamic adjustment of heat storage file storage file; encoding and decoding module is connected with the main control module, according to the number of copies of files stored on the storage file with encoding condition of erasure code encoding. The invention also discloses a file storage method. The invention increases completely copy high heat file number, improve file access speed and high heat load, low heat reduces the number of copies of documents completely, using RS erasure code encoding after storage improves the storage of fault tolerance and reliability.

【技术实现步骤摘要】

本专利技术涉及文件存储系统
，具体是说一种根据文件被访问的情况的不同来动态调整文件服务器中的文件副本的个数及对文件进行纠删码编码解码的文件存储系统及存储方法。
技术介绍
随着大数据时代的到来，海量异构数据的存储和应用给我们带来了巨大的挑战。云存储是通过分布式文件系统、网格计算和集群管理等技术，将大量的存储设备构建成存储资源池，共同对外提供数据存储和管理服务。因为其具有很高的稳定性和高效性，云存储正在被越来越多的企业所应用。目前，多数文件存储系统采用的静态完全副本冗余机制来保证系统的高可靠性和高效性。然而，静态完全副本策略是将每个文件复制多份副本，分别存储在不同的数据节点上，这样就造成存储成本随着副本数目的增加而线性增加，存在存储效率低、负载均衡能力差等缺点，同时也会增加对副本的管理开销，影响系统的可扩展性。
技术实现思路
本专利技术的目的在于提供一种基于动态副本策略的文件存储系统及其存储方法，增加了高热度的文件的完全副本数，提高了高热度文件的访问速度和负载均衡，低热度文件减少了完全副本的个数，采用RS纠删码编码后存储提高了存储的容错本文档来自技高网...

【技术保护点】
一种基于动态副本策略的文件存储系统，其特征在于，包含：文件热度计算模块（1），用于计算周期时间内存储的各文件的热度及周期时间内所有存储文件的平均热度；多个存储模块（2），用于存储数据及访问数据；分别与文件热度计算模块（1）及多个存储模块（2）连接的主控制模块（3）；所述的主控制模块（3）用于将存储文件分块存储在多个存储模块（2），并记录存储文件的数据块分配信息及文件的完全副本数，根据存储文件的热度动态调整存储文件的副本数；与主控制模块（3）连接的编码解码模块（4），用于根据存储文件的副本数对符合编码条件的存储文件进行纠删码编码，形成编码文件，以及访问编码文件时，对编码文件进行解码。

【技术特征摘要】
1.一种基于动态副本策略的文件存储系统，其特征在于，包含：
文件热度计算模块（1），用于计算周期时间内存储的各文件的热度及周期时间内所有存储文件的平均热度；
多个存储模块（2），用于存储数据及访问数据；
分别与文件热度计算模块（1）及多个存储模块（2）连接的主控制模块（3）；
所述的主控制模块（3）用于将存储文件分块存储在多个存储模块（2），并记录存储文件的数据块分配信息及文件的完全副本数，根据存储文件的热度动态调整存储文件的副本数；
与主控制模块（3）连接的编码解码模块（4），用于根据存储文件的副本数对符合编码条件的存储文件进行纠删码编码，形成编码文件，以及访问编码文件时，对编码文件进行解码。
2.一种基于动态副本策略的文件存储方法，其特征在于，包含以下步骤：
步骤1、新存储文件上传至存储系统时，主控制模块（3）将新存储文件划分为若干个数据块，主控制模块（3）为每个数据块产生m个完全副本，并将所述的m个完全副本存储到不同的存储模块（2）上；
步骤2、文件热度计算模块（1）周期性的计算周期时间内存储文件的热度及周期时间内所有存储文件的平均热度，并将各存储文件的热度值及平均热度值传输至主控制模块（3）；
步骤3、主控制模块（3）根据各存储文件的热度值与平均热度值的大小关系，确定存储文件的热度等级，并；
步骤4、主控制模块（3）对不同热度等级的存储文件确定不同的副本个数，
若存储文件的热度与平均热度相当，则存储文件的副本数为m，
若存储文件的热度大于平均热度，则存储文件的副本数相应的增加，
若存储文件的热度小于平均热度，则...

【专利技术属性】
技术研发人员：王引娜，
申请(专利权)人：华存数据信息技术有限公司，
类型：发明
国别省市：上海;31