基于纠删码的文件处理方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种基于纠删码的文件处理方法、装置及计算机设备，该方法应用于FastDFS系统中，包括：获取储存服务器的热数据组中的冷文件；根据预设的分块规则对所述冷文件进行分块以得到与所述冷文件相对应的文件块；根据纠删码技术对所述文件块进行编码以得到与所述文件块相对应的校验块；将所述文件块、所述校验块存入所述存储服务器的冷数据组中；若接收到下载所述冷文件的下载请求，根据所述下载请求从所述冷数据组中获取所述冷文件。本发明专利技术基于分级存储技术，通过对FastDFS系统中存储的文件进行优化以提高磁盘的存储的利用率，降低了存储成本，提高了运维效率。

【技术实现步骤摘要】
基于纠删码的文件处理方法、装置及计算机设备
本专利技术属于分布式存储
，尤其涉及一种基于纠删码的文件处理方法、装置及计算机设备。
技术介绍
FastDFS是以C语言开发的一项开源轻量级分布式文件存储系统，其由跟踪服务器(TrackerServer)、存储服务器(StorageServer)和客户端(Client)构成。其中，存储服务器为实际存储数据，分成若干个组(group)，通过组内storage相互备份，来保证数据的高可用性。由于同组内的N个storage数据相同，其能容忍N-1个storage故障，但其存储利用率却为1/N。而Hdfs、Ceph等分布式文件存储系统通过纠删码技术将n个原始数据块进行编码生成m个校验块，并将这n+m个数据块存储到系统中，在能容忍m个数据块出错的同时，保证系统可用，其将存储效率降到n/n+m。由于Hdfs、Ceph分别针对大文件和对象文件存储而设计，而在小文件存储系统FastDFS上主要采用多副本方式保证数据的高效可用，无法对磁盘的存储进行充分利用。
技术实现思路
本专利技术实施例提供本文档来自技高网...

【技术保护点】
1.一种基于纠删码的文件处理方法，应用于FastDFS系统中，其特征在于，包括以下步骤：/n获取储存服务器的热数据组中的冷文件；/n根据预设的分块规则对所述冷文件进行分块以得到与所述冷文件相对应的文件块；/n根据纠删码技术对所述文件块进行编码以得到与所述文件块相对应的校验块；/n将所述文件块、所述校验块存入所述存储服务器的冷数据组中；/n若接收到下载所述冷文件的下载请求，根据所述下载请求从所述冷数据组中获取所述冷文件。/n

【技术特征摘要】
1.一种基于纠删码的文件处理方法，应用于FastDFS系统中，其特征在于，包括以下步骤：
获取储存服务器的热数据组中的冷文件；
根据预设的分块规则对所述冷文件进行分块以得到与所述冷文件相对应的文件块；
根据纠删码技术对所述文件块进行编码以得到与所述文件块相对应的校验块；
将所述文件块、所述校验块存入所述存储服务器的冷数据组中；
若接收到下载所述冷文件的下载请求，根据所述下载请求从所述冷数据组中获取所述冷文件。


2.根据权利要求1所述的基于纠删码的文件处理方法，其特征在于，所述获取储存服务器的热数据组中的冷文件，包括：
判断所述冷文件的访问频率是否小于预设的第一阈值；
若所述冷文件的访问频率小于所述第一阈值，从所述热数据组中获取所述冷文件并删除存储于所述热数据组中的所述冷文件。


3.根据权利要求1所述的基于纠删码的文件处理方法，其特征在于，所述获取储存服务器的热数据组中的冷文件之前，还包括：
若接收到用户上传所述冷文件，基于预设的虚拟组将所述冷文件存储所述热数据组中。


4.根据权利要求3所述的基于纠删码的文件处理方法，其特征在于，所述基于预置的虚拟组将所述冷文件存储所述热数据组中，包括：
判断所述冷文件内存是否超过预设的第二阈值；
若所述冷文件内存超过所述第二阈值，创建新的虚拟组并根据所述新的虚拟组将所述冷文件存储至所述热数据组中。


5.根据权利要求3所述的基于纠删码的文件处理方法，其特征在于，所述若接收到用户上传所述冷文件，基于预设的虚拟组将所述冷文件存储所述热数据组中之前，包括：
根据预设的分组规则对所述储存服务器进行分组以得到热数据组和冷数据组。


6.根...

【专利技术属性】
技术研发人员：赵芳明，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44