一种分布式文件系统访问方法及平台技术方案

本申请公开了一种分布式文件系统访问方法及平台，该方法包括：获取客户端的写入请求；判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。本发明专利技术采用分布式redis集群作为缓存池，客户端从后端磁盘的存储集群写入文件，从redis集群读取文件。由上可知，针对一写多读，文件较小且不删除的情况下，在写入时将小文件缓存至redis集群，读取小文件时直接从redis集群读取，减少读取文件的延迟；把redis集群与后端磁盘的存储集群隔离开，在redis集群的读取行为不会影响到在后端磁盘的写入行为，减小了后端磁盘的压力，提升了文件系统性能。

A distributed file system access method and platform

The invention discloses a distributed file system access method and platform, the method comprises: a write request to obtain the client; judging whether the write request corresponding to write file size is less than a preset file size threshold; if yes, then determines whether the file to be written into the file type for small files, and the file to be written to the cache to distributed redis cluster. The distributed redis cluster is used as the buffer pool, and the client writes the file from the memory cluster of the back-end disk, and reads the file from the redis cluster. From the above, the write once read many documents, small and without removing the case when writing small files to the redis cache cluster, reading small files directly from the redis cluster to read, read the file to reduce the delay; redis storage cluster cluster and back-end disk isolation in reading behavior does not affect redis to write in the cluster behavior of back-end disk, reduces the end disk pressure, improve the performance of file system.

【技术实现步骤摘要】
一种分布式文件系统访问方法及平台
本专利技术涉及文件访问
，特别涉及一种分布式文件系统访问方法及平台。
技术介绍
在分布式云存储领域，为了减少文件系统容量冗余，通常采用纠删码来存储数据，即将一份数据通过纠删算法写入多块磁盘。当需要读取文件时，需要从多块磁盘中读取数据才能获取最终的数据，这样导致读取时需要多块磁盘同时参与。当需要一写多读时，大量的读取请求会占用磁盘的输入输出(IO)，导致写入请求的带宽受到影响，文件系统压力很大，尤其当写入请求的待写入文件较小时，文件系统的性能显得更低。现有技术中，采用快速固态磁盘(SSD)来做后端串口(SATA)硬盘数据池的高速缓冲存储池(cache)。客户端从cache池写入文件，从SATA数据池读取文件；当cache池写满时，将文件数据迁移到SATA数据池中；当某文件读取较为频繁时，将该文件判定为热点数据，并将该文件从SATA数据池中迁移到cache池中，加速对于该文件的再次读取。采用这种方式，如果当前写入压力较大，也会因为热点数据的迁移影响到文件系统的性能。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种分布式文件系统访问方法及平台，能够本文档来自技高网...

【技术保护点】
一种分布式文件系统访问方法，其特征在于，包括：获取客户端的写入请求；判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。

【技术特征摘要】
1.一种分布式文件系统访问方法，其特征在于，包括：获取客户端的写入请求；判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。2.根据权利要求1所述的方法，其特征在于，进一步包括：记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；判断所述读取行为数据是否满足预设条件，如果是，则将所述读取行为数据对应的小文件缓存至所述分布式redis集群。3.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：判断读取频率是否大于第一预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。4.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：判断读取次数是否大于第一预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。5.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：判断读取频率是否大于第二预设频率阈值；若所述读取频率大于所述第二预设频率阈值，则判断读取次数是否大于第二预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。6.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：判断读取次数是否大于第三预设次数阈值；若所述读取次数大于所述第三预设次数阈值，则判断读取频率是否大于第三预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。7.根据权利要求1至6中任一项所述的方法，其特征在于，进一步包括：确定所述客户...

【专利技术属性】
技术研发人员：毕敬强，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41