一种基于Redis和HDFS的海量小文件存储方法技术

本发明专利技术特别涉及一种基于Redis和HDFS的海量小文件存储方法。该基于Redis和HDFS的海量小文件存储方法，当小文件上传时，先将小文件存储在缓存数据库Redis中，配置定时器，定时检查小文件是否已达既定的合并阈值，当达到合并阈值后通过HDFS提供的接口将缓存文件合并，将合并后的缓存文件上传至HDFS即可。该基于Redis和HDFS的海量小文件存储方法，将小文件合并成Sequence File存储在HDFS上，增加了小文件在HDFS中的存储效率，同时采用缓存的方式提高了小文件的读取性能，适宜推广应用。适宜推广应用。适宜推广应用。

【技术实现步骤摘要】
一种基于Redis和HDFS的海量小文件存储方法


[0001]本专利技术涉及大数据缓存
，特别涉及一种基于Redis和HDFS的海量小文件存储方法。

技术介绍

[0002]Hadoop分布式文件系统(HDFS)是运行在通用硬件上的分布式文件系统。作为一个高度容错性和高吞吐量的海量数据存储解决方案，HDFS已经在各种大型在线服务和大型存储系统中得到广泛应用，已经成为各大网站等在线服务公司的海量存储事实标准，为网站客户提供了可靠高效的服务。
[0003]随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞速发展，成为了业务发展的瓶颈和障碍。
[0004]HDFS通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上，是传统存储构架的一个颠覆性的发展。
[0005]Redis(Remote Dictionary Server)，即远程字典服务，是一个开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Redis和HDFS的海量小文件存储方法，其特征在于：当小文件上传时，先将小文件存储在缓存数据库Redis中，配置定时器，定时检查小文件是否已达既定的合并阈值，当达到合并阈值后通过HDFS提供的接口将缓存文件合并，将合并后的缓存文件上传至HDFS即可。2.根据权利要求1所述的基于Redis和HDFS的海量小文件存储方法，其特征在于：小文件上传时，先将接收到的文件存入缓存数据库Redis的缓存文件中以便用户高速读取，实时更新缓存文件所存文件的长度SFL，并定时判断所存文件的长度SFL是否已经达到文件合并大小；若达到，则发送文件可合并的消息到合并处理模块，由合并处理模块将缓存文件打包上传至HDFS，并将合并后文件的信息保存在元数据信息中。3.根据权利要求2所述的基于Redis和HDFS的海量小文件存储方法，其特征在于：合并后的缓存文件存储在HDFS的Sequence File中，并将缓存文件的元数据信息保存在缓存数据库Redis中；缓存文件打包上传后，删除存放在缓存文件中的小文件，以释放内存和保证文件存取的高容错性和高效性，同时更新元数据记录。4.根据权利要求1、2或3所述的基于Redis和HDFS的海量小文件存储方法，其特征在于：所述小文件是指不超过64M的文件。5.根据权利要求3所述的基于Redis和HDFS的海量小文件存储方法，其特征...

【专利技术属性】
技术研发人员：成军，祖佳征，杨勤，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：