一种文件存储和访问方法、装置、文件存储器及系统制造方法及图纸

本申请实施例公开了一种文件存储和访问方法、装置、文件存储器及系统。通过将待存储的文件存储至第一存储池中，提高了文件的写入速度；此外，在文件迁移时对待存储的文件进行聚合，进而在访问文件时能够读取整个聚合文件到缓存中，当再次读取聚合文件中的任意文件时即可从缓存中直接读取文件数据，由此提升了缓存命中率和文件访问速度。相比于现有技术，文件的读写性能得到明显提高。

【技术实现步骤摘要】
一种文件存储和访问方法、装置、文件存储器及系统
本申请涉及分布式存储系统数据传输
，特别是涉及一种文件存储和访问方法、装置、文件存储器及系统。
技术介绍
进入数字化信息时代以来，数据的生产速度越来越快。大数据时代对数据存储和访问速度的要求也越来越高，传统的存储方式显然不能满足对数据存储和访问速度的高要求，分布式存储系统应运而生。目前，互联网信息以海量小文件居多。小文件的存储规模大，文件访问频繁，并发高，因此，如何提高小文件的存储和访问速度逐渐成为当前分布式存储系统数据传输领域急需解决的技术难题。
技术实现思路
有鉴于以上问题，本申请提供了一种文件存储和访问方法、装置、文件存储器及系统，以提高文件的存储和访问速度。本申请实施例公开了如下技术方案：本申请第一方面，提供一种文件存储方法，所述方法包括：获取客户端发送的文件存储请求；所述文件存储请求中包含待存储文件的文件类型和文件大小；根据分层存储策略，将所述待存储文件存储至第一存储池；所述分层存储策略包含容许存入所述第一存储池的文件类型、文件大小和存储时间限值；判断所述待存储文件在所述第一存储池的存储时间是否达到所述存储时间限值，如果是，本文档来自技高网...

【技术保护点】
1.一种文件存储方法，其特征在于，所述方法包括：获取客户端发送的文件存储请求；所述文件存储请求中包含待存储文件的文件类型和文件大小；根据分层存储策略，将所述待存储文件存储至第一存储池；所述分层存储策略包含容许存入所述第一存储池的文件类型、文件大小和存储时间限值；判断所述待存储文件在所述第一存储池的存储时间是否达到所述存储时间限值，如果是，确定所述待存储文件待迁移至第二存储池；所述第二存储池的文件存储速度低于所述第一存储池的文件存储速度；将所述待存储文件与其它待迁移至所述第二存储池的文件进行聚合，得到聚合文件，并将所述聚合文件迁移至所述第二存储池；所述聚合文件中各个文件携带所述聚合文件的标识信息...

【技术特征摘要】
1.一种文件存储方法，其特征在于，所述方法包括：获取客户端发送的文件存储请求；所述文件存储请求中包含待存储文件的文件类型和文件大小；根据分层存储策略，将所述待存储文件存储至第一存储池；所述分层存储策略包含容许存入所述第一存储池的文件类型、文件大小和存储时间限值；判断所述待存储文件在所述第一存储池的存储时间是否达到所述存储时间限值，如果是，确定所述待存储文件待迁移至第二存储池；所述第二存储池的文件存储速度低于所述第一存储池的文件存储速度；将所述待存储文件与其它待迁移至所述第二存储池的文件进行聚合，得到聚合文件，并将所述聚合文件迁移至所述第二存储池；所述聚合文件中各个文件携带所述聚合文件的标识信息。2.根据权利要求1所述的方法，其特征在于，所述确定所述待存储文件待迁移至第二存储池，具体包括：将所述待存储文件加入迁移队列中；所述迁移队列中的文件为待迁移至第二存储池的文件。3.根据权利要求2所述的方法，其特征在于，所述将所述待存储文件与其它待迁移至所述第二存储池的文件进行聚合，得到聚合文件，并将所述聚合文件迁移至所述第二存储池，具体包括：将所述迁移队列中的所述待存储文件与其它文件的数据读取到缓存中，在缓存中将所述数据进行聚合，以聚合后的数据作为聚合文件的数据，将所述聚合文件的数据下刷到所述第二存储池中；所述待存储文件的文件大小与所述其它文件的文件大小之和小于或等于预设聚合容量阈值，所述预设聚合容量阈值为所述聚合文件的文件大小上限。4.一种文件访问方法，其特征在于，所述方法包括：获取客户端发送的文件访问请求；所述文件访问请求中包含待访问文件的存储路径；根据所述待访问文件的存储路径，获取所述待访问文件的元数据信息；根据所述待访问文件的元数据信息中，携带的所述待访问文件所属的聚合文件的标识信息，获取所述聚合文件的元数据信息；判断所述聚合文件的数据是否已读取到缓存中，如果是，则从所述缓存中读取所述待访问文件的数据；如果否，则根据所述聚合文件的元数据信息，将所述聚合文件的数据从第二存储池读取到所述缓存中，再从所述缓存中读取所述待访问文件的数据；将所述待访问文件的数据发送至客户端。5.根据权利要求4所述的方法，其特征在于，所述从所述缓存中读取所述待访问文件的数据，具体包括：根据所述标识信息中包含的所述待访问文件在所述聚合文件中的偏移量，从所述缓存中读取所述待访问文件的数据。6.一种文件存储装置，其特征在于，所述装置包括：存储请求获取单元，用于获取客户端发送的文件存储请求；所述文件存储请求中包含待存储文件的文件类型和文件大小；第一存储单元，用于根据分层存储策略，将所述待存储文件存储至第一存储池；所述分层存储策略包含容许存入所述第一存储池的文件类型、文件大小和存储时间限值；存储时间判断单元，用于判断所述待存储文件在所述第一存储池的存储时间是否达到所述存储时间限值，如果是，确定所述待存储文件待迁移至第二存储池；所述第二存储池的文件存储速度低于所述第一存储池的文件存储...

【专利技术属性】
技术研发人员：张书扬，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41