【技术实现步骤摘要】
本专利技术涉及分布式系统，尤其涉及一种文件合并方法、装置、设备、介质及产品。
技术介绍
1、hadoop分布式文件系统(hadoop distributed file system，hdfs)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(distributedfilesystem)。hdfs是一个高度容错性的系统，适合部署在廉价的机器上。hdfs能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
2、但hdfs不适大量小文件的存储。原因如下：1、hdfs适用于高吞吐量，而不适合低延迟访问，同时存入大量小文件会花费很长的时间。2、元数据节点namenode将文件存放在内存中，存储的文件数目受限于namenode的内存大小，每个文件都会占用至少一个块的存储空间150字节，如果存放的文件数目过多会占用很大的内存。如何在分布式文件系统存储小文件成为了仍需解决的问题。
技术实现思路
1、本专利技术提供了一种文件合并方法、装置、设备、介质及产品，以实现对分布式文件系统中文件的合并。
2、根据本专利技术的第一方面，提供了一种文件合并方法，包括：
3、获取分布式文件系统的集群配置文件，并基于所述集群配置文件创建执行对象；
4、调用所述执行对象获取所述分布式文件系统中的分区表属性；
5、在所述分区表属性满足筛选条件时，调用所述执行对象在所述分布式文件系统中筛选出待合并文件集及对应的表分区目录
6、根据所述分区表属性及所述待合并列表，确定合并文件并移动至所述表分区目录。
7、根据本专利技术的第二方面，提供了一种文件合并装置，包括：
8、对象创建模块，用于获取分布式文件系统的集群配置文件，并基于所述集群配置文件创建执行对象；
9、属性获取模块，用于调用所述执行对象获取所述分布式文件系统中的分区表属性；
10、文件储存模块，用于在所述分区表属性满足筛选条件时，调用所述执行对象在所述分布式文件系统中筛选出待合并文件集及对应的表分区目录，并存储至待合并列表中；
11、文件合并模块，用于根据所述分区表属性及所述待合并列表，确定合并文件并移动至所述表分区目录。
12、根据本专利技术的第三方面，提供了一种电子设备，所述电子设备包括：
13、至少一个处理器；以及
14、与所述至少一个处理器通信连接的存储器；其中，
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的文件合并方法。
16、根据本专利技术的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的文件合并方法。
17、根据本专利技术的第五方面，本专利技术实施例还提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本专利技术任一实施例的文件合并方法。
18、本专利技术实施例的技术方案，通过获取分布式文件系统的集群配置文件，并基于集群配置文件创建执行对象；调用执行对象获取分布式文件系统中的分区表属性；在分区表属性满足筛选条件时，调用执行对象在分布式文件系统中筛选出待合并文件集及对应的表分区目录，并存储至待合并列表中；根据分区表属性及待合并列表，确定合并文件并移动至表分区目录。通过创建执行对象并发筛选分布式文件系统中的待合并文件，基于分区表属性对待合并文件进行重分布，合并成更大的合并文件。减少了分布式文件系统中的文件总数量，减少了系统的内存开销，进而提高了系统的读写性能。
19、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种文件合并方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述集群配置文件创建执行对象，包括：
3.根据权利要求1所述的方法，其特征在于，所述调用所述执行对象在所述分布式文件系统中筛选出待合并文件集及对应的表分区目录，并存储至待合并列表中，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述分区表属性及所述待合并列表，确定合并文件并移动至所述表分区目录，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述分区表属性及所述中间合并文件，确定合并文件并移动至所述表分区目录，包括：
6.根据权利要求5所述的方法，其特征在于，在所述根据所述分区表属性及所述待合并列表，确定合并文件并移动至所述表分区目录之后，还包括：
7.一种文件合并装置，其特征在于，包括：
8.一种电子设备，其特征在于，所述电子设备包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的文件合并方法。
...【技术特征摘要】
1.一种文件合并方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述集群配置文件创建执行对象，包括：
3.根据权利要求1所述的方法，其特征在于，所述调用所述执行对象在所述分布式文件系统中筛选出待合并文件集及对应的表分区目录，并存储至待合并列表中，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述分区表属性及所述待合并列表，确定合并文件并移动至所述表分区目录，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述分区表属性及所述中间合并文件，确定合并文件并移动至所述表分区目录，包括：
<...【专利技术属性】
技术研发人员：白慧静，李悦，邓何，唐伟程，陈静，魏黎，李杨柳，
申请(专利权)人：重庆银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。