一种基于小文件的自动化聚合打包方法及系统技术方案

技术编号:20160298 阅读:40 留言:0更新日期:2019-01-19 00:13
本发明专利技术涉及一种基于小文件的自动化聚合打包方法系统,其特征在于,包括以下步骤:S1:服务端与客户端之间建立链接关系;S2:对临时文件中的子目录进行分配;S3:执行聚合打包任务。

【技术实现步骤摘要】
一种基于小文件的自动化聚合打包方法及系统
本专利技术属于文件系统设计
,具体涉及一种基于小文件的自动化聚合打包方法及系统。
技术介绍
分布式文件系统具有良好的可扩展性和容错性,能够满足海量数据存储的需求。但是,在很多应用场合除了要求支持海量大文件的存储,还需要支持海量小文件的存储,然后存储海量小文件时,支持的文件数量少、文件读取效率低。故而提出以目录为单位对文件进行聚合存储,可以很好地解决每个目录包含众多文件的海量小文件的高效存储和实时访问。但是,由于某些小文件场景的项目现场业务初期并没有使用聚合功能,随着业务量的增加,集群所受压力逐渐增加。此为现有技术的不足之处。因此,针对现有技术中的上述缺陷,提供设计一种基于小文件的自动化聚合打包方法及系统;以解决现有技术中的上述缺陷,是非常有必要的。
技术实现思路
本专利技术的目的在于,针对上述现有技术存在的缺陷,提供设计一种基于小文件的自动化聚合打包方法及系统,以解决上述技术问题。为实现上述目的,本专利技术给出以下技术方案:一种基于小文件的自动化聚合打包方法,其特征在于,包括以下步骤:S1:服务端与客户端之间建立链接关系;S2:对临时文件中本文档来自技高网...

【技术保护点】
1.一种基于小文件的自动化聚合打包方法,其特征在于,包括以下步骤:S1:服务端与客户端之间建立链接关系;S2:对临时文件中的子目录进行分配;S3:执行聚合打包任务。

【技术特征摘要】
1.一种基于小文件的自动化聚合打包方法,其特征在于,包括以下步骤:S1:服务端与客户端之间建立链接关系;S2:对临时文件中的子目录进行分配;S3:执行聚合打包任务。2.根据权利要求1所述的一种基于小文件的自动化聚合打包方法,其特征在于,所述步骤S1具体包括以下步骤:S1.1:服务端根据指定的客户端个数,启动socket服务等待客户端的链接;S1.2:客户端和服务端建立socket服务连接。3.根据权利要求1或2所述的一种基于小文件的自动化聚合打包方法,其特征在于,所述步骤S2具体包括以下步骤:S2.1:服务端与客户端建立连接后,服务端将临时文件中的所有子目录进行平均分配,并通过socket发送至各个客户端;S2.2:客户端根据指定的进程平均分配子目录。4.根据权利要求3所述的一种基于小文件的自动化聚合打包方法,其特征在于,所述步骤S3具体包括以下步骤:S3.1:服务端子进程聚合打包零散文件;S3.2:客户...

【专利技术属性】
技术研发人员:李婷婷李佳颖刘颖李玲侠
申请(专利权)人:浪潮电子信息产业股份有限公司
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1