一种文件聚合方法及相关装置制造方法及图纸

本申请公开了一种文件聚合方法，包括：按照递归顺序对接收到的目标目录进行目录遍历处理，得到所述目标目录下对应的所有目录的路径信息；获取所述所有目录的路径信息对应下的文件大小小于预设值的目标文件；将所有目标文件写入预设的聚合文件，以便实现文件聚合操作。通过遍历后获取到所有目录的路径信息，然后针对每个路径信息的目标文件进行文件数据聚合，实现了针对多目录的文件聚合操作，提高了聚合效率，同时通过聚合文件降低了小文件对存储系统的影响。本申请还公开了一种文件聚合装置、服务器以及计算机可读存储介质，具有以上有益效果。上有益效果。上有益效果。

【技术实现步骤摘要】
一种文件聚合方法及相关装置


[0001]本申请涉及计算机
，特别涉及一种文件聚合方法、文件聚合装置、服务器以及计算机可读存储介质。

技术介绍

[0002]随着数据存储技术的不断发展，出现了分布式存储系统。分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。
[0003]相关技术中，在互联网时代，存储设备中以图片为主的海量小文件成为现实，海量小文件可能需要占用比实际所需的更多底层对象，此外，海量小文件会对日志文件系统的性能、故障场景数据恢复以及磁盘利用率等有影响。当存储系统中某一个磁盘或节点出现故障，会产生长时间的故障恢复，故障恢复过程中对其他的节点或磁盘也会产生较大的压力。长时间的磁盘压力过大，也会引起磁盘故障率上升，从而引起恶性循环，更严重的是影响客户的前端业务和数据的安全。也就是说，海量的小文件的存储会导致存储系统的性能下降，出现各种存储问题。
[0004]因此，如何避免大量小文件对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件聚合方法，其特征在于，包括：按照递归顺序对接收到的目标目录进行目录遍历处理，得到所述目标目录下对应的所有目录的路径信息；获取所述所有目录的路径信息对应下的文件大小小于预设值的目标文件；将所有目标文件写入预设的聚合文件，以便实现文件聚合操作。2.根据权利要求1所述的文件聚合方法，其特征在于，还包括：当所述目标文件写入所述聚合文件后，将所述目标文件对应的底层对象数据进行删除。3.根据权利要求1所述的文件聚合方法，其特征在于，按照递归顺序对接收到的目标目录进行目录遍历处理，得到所述目标目录下对应的所有目录的路径信息，包括：接收所述目标目录；按照递归顺序对所述目标目录下的所有子目录进行遍历，得到所述所有目录的路径信息。4.根据权利要求1所述的文件聚合方法，其特征在于，将所有目标文件写入预设的聚合文件，以便实现文件聚合操作，包括：将所有目标文件依次写入预设文件大小的多个聚合文件，以便实现文件聚合操作。5.根据权利要求1所述的文件聚合方法，其特征在于，将所有目标文件写入预设的聚合文件，以便实现文件聚合操作，包括：将预设文件数量的多个目标文件写...

【专利技术属性】
技术研发人员：张其万，孟祥瑞，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：