一种元数据存储方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种基于分布式集群存储系统的元数据存储方法，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描脏元数据列表中的脏元数据指针，将与脏元数据列表对应的脏元数据落盘至数据池。可见，在本方案中，由于在对文件执行修改或者创建操作时，已经将被修改的元数据的脏元数据指针存入脏元数据列表，因此在执行脏元数据落盘操作时，只需要扫描脏元数据列表便可将脏元数据落盘至数据池，从而节省脏元数据落盘时间，提高脏元数据落盘性能；本发明专利技术还公开了一种元数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。

【技术实现步骤摘要】
一种元数据存储方法、装置、设备及计算机可读存储介质
本专利技术涉及元数据落盘
，更具体地说，涉及一种基于分布式集群存储系统的元数据存储方法、装置、设备及计算机可读存储介质。
技术介绍
在分布式集群存储在海量数据场景下广泛应用，如在高性能、视频监控、广电媒资等场景。目前，存储的性能是分布式存储一致追逐的目标，其中对于海量小文件场景，元数据性能则成为瓶颈。文件创建或修改后，元数据需要进行落盘存储。当前，落盘是以目录为单位，扫描整个目录，将脏元数据进行落盘，如果目录下文件数量非常巨大，该扫描需要耗费大量时间，落盘性能会随着目录的变大而逐渐下降。因此，如何节省脏元数据落盘时间，提高脏元数据落盘性能，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种基于分布式集群存储系统的元数据存储方法、装置、设备及计算机可读存储介质，以实现节省脏元数据落盘时间，提高脏元数据落盘性能。为实现上述目的，本专利技术实施例提供了如下技术方案：一种基于分布式集群存储系统的元数据存储方法，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。其中，所述将与所述脏元数据列表对应的脏元数据落盘至数据池之后，还包括：将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。其中，本方案还包括：判断元数据服务器中缓存的元数据是否超过预定阈值；若是，则删除元数据指针状态为Clean的元数据指针及对应的元数据。其中，本方案还包括：在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；若能，则根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改，并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；若不能，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；若能查找到，则根据所述目录列表对与所述第二目标文件对应的元数据进行修改，并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；若查找不到，则从数据池中加载与所述第二目标文件的元数据并修改。一种基于分布式集群存储系统的元数据存储装置，包括：脏元数据指针存储模块，用于在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；元数据落盘模块，用于在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。其中，本方案还包括：第一指针状态设置模块，用于将与所述脏元数据列表对应的脏元数据落盘至数据池之后，将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。其中，本方案还包括：第一判断模块，用于判断元数据服务器中缓存的元数据是否超过预定阈值；删除模块，用于在元数据服务器中缓存的元数据超过预定阈值时，删除元数据指针状态为Clean的元数据指针及对应的元数据。其中，本方案还包括：第二判断模块，用于在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；第一操作模块，用于能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改；并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；第三判断模块，用于不能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；第二操作模块，用于能根据所述目录列表查找与所述第二目标文件对应的元数据时，根据所述目录列表对与所述第二目标文件对应的元数据进行修改；并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；第三操作模块，用于不能根据所述目录列表查找与所述第二目标文件对应的元数据时，从数据池中加载与所述第二目标文件的元数据并修改。一种基于分布式集群存储系统的元数据存储设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述的元数据存储方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的元数据存储方法的步骤。通过以上方案可知，本专利技术实施例提供的一种基于分布式集群存储系统的元数据存储方法，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。可见，在本方案中，由于在对文件执行修改或者创建操作时，已经将被修改的元数据的脏元数据指针存入脏元数据列表，因此在执行脏元数据落盘操作时，不需要扫描包括所有元数据指针的目录列表，只需要扫描脏元数据列表便可将脏元数据落盘至数据池，从而节省脏元数据落盘时间，提高脏元数据落盘性能；本专利技术还公开了一种基于分布式集群存储系统的元数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种基于分布式集群存储系统的元数据存储方法流程示意图；图2为本专利技术实施例公开的元数据落盘整体流程示意图；图3为本专利技术实施例公开的一种基于分布式集群存储系统的元数据存储装置结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于分布式集群存储系统的元数据存储方法、装置、设备及计算机可读存储介质，以实现节省脏元数据落盘时间，提高脏元数据落盘性能。参见图1，本专利技术实施例提供的一种基于分布式集群存储系统的元数据存储方法，包括：S101、在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；具体的，在现有技术中，文件创建或修改后，元数据需要进行落盘存储，目前落盘是以目录为单位，扫描整个目录的目录列表，将Dirty元数据进行落盘；可以理解的是，该目录列表中存储了所有文件的元数据指针，如果目录下文件数量非常巨大，这种扫描目录列表的形式必然会浪费大量时间。因此在本实施例中，增加了用于存储脏元数据指针的脏元数据列表，该脏元数据指针用于指向对应的脏元数据；也就是说，在对第一目标文本文档来自技高网...

【技术保护点】
1.一种基于分布式集群存储系统的元数据存储方法，其特征在于，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。

【技术特征摘要】
1.一种基于分布式集群存储系统的元数据存储方法，其特征在于，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。2.根据权利要求1所述的元数据存储方法，其特征在于，所述将与所述脏元数据列表对应的脏元数据落盘至数据池之后，还包括：将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。3.根据权利要求2所述的元数据存储方法，其特征在于，还包括：判断元数据服务器中缓存的元数据是否超过预定阈值；若是，则删除元数据指针状态为Clean的元数据指针及对应的元数据。4.根据权利要求3所述的元数据存储方法，其特征在于，还包括：在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；若能，则根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改，并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；若不能，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；若能查找到，则根据所述目录列表对与所述第二目标文件对应的元数据进行修改，并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；若查找不到，则从数据池中加载与所述第二目标文件的元数据并修改。5.一种基于分布式集群存储系统的元数据存储装置，其特征在于，包括：脏元数据指针存储模块，用于在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；元数据落盘模块，用于在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。6.根据权利要求5所述的元数据存储装置，其特征在于，还...

【专利技术属性】
技术研发人员：刘洪栋，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41