一种文件内、文件间聚合方法及系统技术方案

本申请公开了一种文件内、文件间聚合方法及系统，应用于分布式文件系统中的用户终端，包括：接收并存储写入的数据至终端缓存进行缓存，直至写入完成，在终端缓存聚合全部写入的数据，在终端缓存中得到目标文件；下刷目标文件至存储服务器；本申请在目标文件写入期间不会触发I/O下刷行为，而是利用终端缓存，将写入目标文件的数据在终端缓存中缓存，在整个目标文件的数据写入完之前，不触发目标文件下刷至存储服务器的行为，避免未写完文件却已经下刷，导致写入方式变更为修改写造成，写入效率降低的问题，实现了文件内部的聚合，将整个文件的所有数据聚合为一个文件再进行下刷操作，提高文件写入效率。

A method and system of aggregation within and between files

【技术实现步骤摘要】
一种文件内、文件间聚合方法及系统
本专利技术涉及分布式文件存储领域，特别涉及一种文件内、文件间聚合方法及系统。
技术介绍
对于分布式文件系统，目前小文件聚合按照固定对象(一般是4M)大小先进行缓存聚合，但是在并发场景下，客户端并发写会造成很多文件未写完，就下刷的现象，导致文件下刷后，小文件与大文件的数据映射已经形成，后续再向小文件写入数据，将由写入形式变为修改写形式，而修改写本身不适合聚合场景，处理逻辑复杂，写入速度慢，造成整体写入效率降低。为此，需要一种更为高效的文件聚合方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种文件内、文件间聚合方法及系统。其具体方案如下：一种文件内聚合方法，应用于分布式文件系统中的用户终端，包括：接收并存储写入的数据至终端缓存进行缓存，直至写入完成，在所述终端缓存聚合全部写入的数据，在所述终端缓存中得到目标文件；下刷所述目标文件至存储服务器。可选的，所述接收并存储写入的数据至终端缓存进行缓存，直至写入完成，在所述终端缓存聚合全部写入的数据本文档来自技高网...

【技术保护点】
1.一种文件内聚合方法，其特征在于，应用于分布式文件系统中的用户终端，包括：/n接收并存储写入的数据至终端缓存进行缓存，直至写入完成，在所述终端缓存聚合全部写入的数据，在所述终端缓存中得到目标文件；/n下刷所述目标文件至存储服务器。/n

【技术特征摘要】
1.一种文件内聚合方法，其特征在于，应用于分布式文件系统中的用户终端，包括：
接收并存储写入的数据至终端缓存进行缓存，直至写入完成，在所述终端缓存聚合全部写入的数据，在所述终端缓存中得到目标文件；
下刷所述目标文件至存储服务器。


2.根据权利要求1所述的文件内聚合方法，其特征在于，所述接收并存储写入的数据至终端缓存进行缓存，直至写入完成，在所述终端缓存聚合全部写入的数据，在所述终端缓存中得到目标文件的过程，包括：
接收并存储写入的数据至AggMgr聚合处理模块进行缓存，直至接收到写入完成指令，在所述AggMgr聚合处理模块中聚合全部写入的数据得到所述目标文件。


3.根据权利要求2所述的文件内聚合方法，其特征在于，所述接收并存储写入的数据至AggMgr聚合处理模块进行缓存，直至接收到写入完成指令，在所述AggMgr聚合处理模块中聚合全部写入的数据得到所述目标文件的过程，包括：
接收并存储与初始目标文件的文件标识对应的写入的数据至在所述AggMgr聚合处理模块中预先缓存的初始目标文件；
直至接收到写入完成指令，根据包括全部写入的数据的所述初始目标文件，在所述AggMgr聚合处理模块中进行聚合得到所述目标文件。


4.一种文件间聚合方法，其特征在于，应用于分布式文件系统中的存储服务器，包括：
接收用户终端从终端缓存中发送的目标文件；
判断所述目标文件是否为小文件；
若是，则将所述目标文件以大文件追加写的形式下刷至缓存层中预设的聚合子文件中；
以大文件追加写的形式下刷聚合子文件至磁盘中预设的聚合大文件中；
其中，所述聚合大文件为预设的包括1个或多个依次聚合的聚合子文件的文件；聚合子文件为包括1个或多个依次紧密聚合的小文件的文件；所述目标文件为在所述终端缓存中聚合全部写入的数据后的文件。


5.根据权利要求4所述的文件间聚合方法，其特征在于，所述判断所述目标文件是否为小文件的过程，包括：
判断所述目标文件的大小是否...

【专利技术属性】
技术研发人员：王帅阳，李文鹏，张端，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32