基于Hadoop分布式计算平台的存储系统技术方案

本发明专利技术公开了一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块、文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列。该系统减少了HDFS中小文件的数量，有效地提高了HDFS中文件读取的性能。

【技术实现步骤摘要】
本专利技术属于Hadoop分布式计算平台文件系统
，具体涉及一种基于Hadoop分布式计算平台的存储系统。
技术介绍
Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统。HDFS 有着高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了 POSIX的要求这样可以实现流的形式访问(streaming access)文件系统中的数据。HDFS开始是为开源的apache项目nutch的基础结构而创建，HDFS是hadoop项目的一部分，而hadoop又是Iucene的一部分。·随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，HDFS的小文件问题便是其中之一。小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hado本文档来自技高网...

【技术保护点】
一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块，其特征在于所述系统还包括文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；当用户上传的文件大小小于HDFS文件系统的块时，文件类型判断模块判断文件为小文件，否则文件类型判断模块判断文件为大文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列；当定时模块判断小文件序列的大小大于HDFS...

【技术特征摘要】
1.一种基于Hadoop分布式计算平台的存储系统，包括HDFS通用文件处理模块，其特征在于所述系统还包括文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；当用户上传的文件大小小于HDFS文件系统的块时，文件类型判断模块判断文件为小文件，否则文件类型判断模块判断文件为大文件； 定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件系统的块； 小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列；当定时模块判断小文件序列的大小大于HDFS文件系统的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。2.根据权利要求I所述的基于Hadoop分布式计算平台的存储系统，其特征在于所述系统还包括小文件状态数据库，采用MySQL数据库存储小文件的文件名、文件大小、上传日期、存储路径，并使用FileList对象维护该小文件队列；当小文件队列写入MapFile后，更新FileList对象和MySQL数据库后，再删除已处理的小文件。3.根据权利要求I所述的基于Hadoop分布式计算平台的存储系统，其特征在于所述系统还设置有文件信息表，所述文件信息表设置小文件状态字段flag，fIag=O表示小文件处于待处理状态，flag= I表示小文件已处理,并存在于HDFS的MapFile中，flag=2表示小文件重生成写入到本地磁盘中。4.根据权...

【专利技术属性】
技术研发人员：陈国庆，钱扬帆，
申请(专利权)人：苏州两江科技有限公司，
类型：发明
国别省市：