【技术实现步骤摘要】
本专利技术涉及互联网，特别涉及一种减少元数据数量的优化方法及终端。
技术介绍
1、现在的互联网系统中，为了支持数据的大量存储，通常都会采用分布式部署的方式来支持文件的存储。其中hdfs就是大数据场景下，最普遍的一种分布式文件存储格式。但是，通常大数据任务很多，并且在任务执行的过程中都会产生很多的待存储的小文件，这些待存储的小文件会优先通过产生一条至多条的元数据信息来存储在hdfs中，而为了实现文件的快速查询，通常元数据信息都是缓存在分布式文件系统的内存中的。
2、但随着任务数量的增多，待存储的小文件的数量也急剧增大，进而导致元数据的存储信息增多导致分布式文件系统所占用的内存越来越大，最终，分布式文件系统的内存将会需要不停的扩容。
3、为了解决上述问题，现有方式通常是在任务执行完毕且待存储的小文件均写入hdfs之后，可以通过定时任务的方式来进行待存储的小文件的合并，但是此种方式下，会导致在合并的过程中，外部无法访问这些待存储的小文件，因此该方式在高可用的情况下，是不适用的。
技术实现思路
【技术保护点】
1.一种减少元数据数量的优化方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种减少元数据数量的优化方法，其特征在于，所述步骤S2具体为：
3.根据权利要求2所述的一种减少元数据数量的优化方法，其特征在于，所述步骤S21中还包括：
4.根据权利要求1所述的一种减少元数据数量的优化方法，其特征在于，所述步骤S3还包括：
5.根据权利要求1所述的一种减少元数据数量的优化方法，其特征在于，所述步骤S4之后还包括：
6.一种减少元数据数量的优化终端，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在处理...
【技术特征摘要】
1.一种减少元数据数量的优化方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种减少元数据数量的优化方法，其特征在于，所述步骤s2具体为：
3.根据权利要求2所述的一种减少元数据数量的优化方法，其特征在于，所述步骤s21中还包括：
4.根据权利要求1所述的一种减少元数据数量的优化方法，其特征在于，所述步骤s3还包括：
5.根据权利要求1所述的一种减少元数据数量的优化方法，其特征在于，所述步骤s4之后还包括：
6.一种减少元数据数量的优化终端，其特征在于，包...
【专利技术属性】
技术研发人员：刘德建，张少敏，郭孟祺，郑坦，郑锦斌，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。