文件管理方法技术

本申请公开了一种文件管理方法

【技术实现步骤摘要】
文件管理方法、装置和电子设备


[0001]本申请属于数据处理
，具体涉及一种文件管理方法
、
装置和电子设备
。

技术介绍

[0002]为了应对和处理日益增长的海量数据，分布式文件系统应然而生
。
其中，分布式文件系统分为元数据存储和物理存储两部分，元数据负责管理文件系统的名字空间
(
也即
namespace)
以及客户端对文件的访问，物理存储负责存储实际的文件
。
在数据的读写过程中会先访问元数据获取实际的读写地址，然后基于该地址进行相应的操作
。
[0003]具体地，分布式文件系统以
Hadoop Distributed File System
，
HDFS
为例，其包含的
NameNode
服务负责元数据管理，
DataNode
服务负责实际存储，一个文件一般会被分成若干块进行存储，每个块的大小为
128
兆，每个块的元数据信息有
150
字节存储在内存中
。
[0004]大量的小文件会造成
NameNode
服务频繁进行垃圾回收，使得内存耗光而宕机
。
[0005]在动态分区及增量数据的写入等场景下，会产生大量的小文件，大量的小文件造成
NameNode
服务过载
、
读写性能下降等影响
。

技术实现思路
/>[0006]本申请实施例的目的是提供一种文件管理方法
、
装置和电子设备，能够解决在动态分区及增量数据的写入等场景下，会产生大量的小文件，大量的小文件造成
NameNode
服务过载
、
读写性能下降等问题
。
[0007]第一方面，本申请实施例提供了一种文件管理方法，包括：在第一管理表为第一类文件的管理表的情况下，创建第二管理表；读取第一管理表中的文件；通过调整写入的目标文件数，对第一管理表的文件进行合并，将第一管理表的文件写入第二管理表；根据第二管理表中的文件，更新第一管理表中的文件
。
[0008]第二方面，本申请实施例提供了一种文件管理装置，包括：创建模组，用于在第一管理表为第一类文件的管理表的情况下，创建第二管理表；读取模组，读取第一管理表中的文件；写入模组，用于通过调整写入的目标文件数，对第一管理表的文件进行合并，将第一管理表的文件写入第二管理表；更新模组，用于根据第二管理表中的文件，更新第一管理表中的文件
。
[0009]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤
。
[0010]第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤
。
[0011]第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法
。
[0012]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介
质中，该程序产品被至少一个处理器执行以实现如第一方面的方法
。
[0013]在本申请实施例中，第一类文件为小文件，其中，小文件为占用存储空间值低于阈值的文件，与之对应地，大文件是占用存储空间值大于或等于阈值的文件
。
[0014]通过调整写入的目标文件数，对第一管理表的文件进行合并，将第一管理表中大量的第一类文件合并成大文件，以便减少小文件的数量，进而降低内存中元数据信息的数量，以便降低内存中存储数据的整体量，降低内存损耗，降低分布式文件系统出现宕机的几率，从而提高了分布式文件系统的可靠性
。
[0015]由于小文件的数量得以减少，因此，在以
HDFS
为例的分布式文件系统中，降低了
NameNode
服务过载的几率，确保了分布式文件系统的读写性能
。
附图说明
[0016]图1是本申请实施例中的文件管理方法的流程示意图之一；
[0017]图2是本申请实施例中的文件管理方法的流程示意图之二；
[0018]图3是本申请实施例中的文件管理方法的流程示意图之三；
[0019]图4是本申请实施例中的文件管理装置的示意框图；
[0020]图5是本申请实施例中的电子设备的示意框图；
[0021]图6是本申请实施例中的电子设备的硬件结构示意图
。
具体实施方式
[0022]下面将结合本申请实施例中的附图，对本申请实施例中的实施例进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围
。
[0023]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个
。
此外，说明书以及权利要求中“和
/
或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系
。
[0024]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的文件管理方法
、
装置和电子设备进行详细地说明
。
[0025]在其中一个实施例中，如图1所示，提出了一种文件管理方法，包括：
[0026]步骤
102
，在第一管理表为第一类文件的管理表的情况下，创建第二管理表；
[0027]步骤
104
，读取第一管理表中的文件；
[0028]步骤
106
，通过调整写入的目标文件数，对第一管理表的文件进行合并，将第一管理表的文件写入第二管理表；
[0029]步骤
108
，根据第二管理表中的文件，更新第一管理表中的文件
。
[0030]在本申请实施例中，第一类文件为小文件，其中，小文件为占用存储空间值低于阈值的文件，与之对应地，大文件是占用存储空间值大于或等于阈值的文件
。
[0031]通过调整写入的目标文件数，对第一管理表的文件进行合并，将第一管理表中大
量的第一类文件合并成大文件，以便减少小文件的数量，进而降低内存中元数据信息的数量，以便本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种文件管理方法，其特征在于，包括：在第一管理表为第一类文件的管理表的情况下，创建第二管理表；读取所述第一管理表中的文件；通过调整写入的目标文件数，对所述第一管理表的文件进行合并，将所述第一管理表的文件写入所述第二管理表；根据所述第二管理表中的文件，更新所述第一管理表中的文件
。2.
根据权利要求1所述的文件管理方法，其特征在于，还包括：读取存储系统的镜像文件，获取所述第一管理表的文件数和每一文件存储时占用的存储空间值；基于所述文件数和所述存储空间值，确定第一存储空间值；在所述第一存储空间值小于或等于第一阈值的情况下，确定所述第一管理表为所述第一类文件的管理表
。3.
根据权利要求1所述的文件管理方法，其特征在于，所述通过调整写入的目标文件数，对所述第一管理表的文件进行合并，将所述第一管理表的文件写入所述第二管理表，包括：通过调整分区数调整写入的所述目标文件数；对所述第一管理表的文件进行合并，将所述第一管理表的文件合并写入所述第二管理表；其中，所述第二管理表中的文件数为所述目标文件数
。4.
根据权利要求1至3中任一项所述的文件管理方法，其特征在于，根据所述第二管理表中的文件，更新所述第一管理表中的文件，包括：将所述第二管理表中的文件与所述第一管理表的文件进行比对；在比对一致的情况下，将所述第二管理表中的文件存储到所述第一管理表中的路径
。5.
根据权利要求1至3中任一项所述的文件管理方法，其特征在于，所述根据所述第二管理表中的文件，更新所述第一管理表中的文件，还包括执行以下至少一项：将所述第一管理表的文件迁移至目标位置
、...

【专利技术属性】
技术研发人员：黄成，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：