一种高性能元数据日志文件管理方法、系统、介质及终端技术方案

本发明专利技术提供一种高性能元数据日志文件管理方法、系统、介质及终端，方法包括将数据与元数据设置于不同的文件系统；记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；将所述合并结果进行记录，将其作为第二级结果元数据日志文件；根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作；本发明专利技术一方面，增加数据写入的性能，满足在大压力场景下的业务需求，确保元数据信息不会丢失，简化了元数据的管理流程；另一方面，加快了元数据信息的读写性能，克服了由元数据信息记录带来的性能消耗问题。

【技术实现步骤摘要】
一种高性能元数据日志文件管理方法、系统、介质及终端
本专利技术涉及计算机领域，尤其涉及一种高性能元数据日志文件管理方法、系统、介质及终端。
技术介绍
在分布式存储中，数据与元数据信息除了有元数据管理节点的管理之外还需要将元数据信息记录在各数据节点中，元数据信息即是包含了数据文件在存储节点中的位置，大小，时间等信息，通过元数据信息可以准确寻址到数据文件信息。因此，元数据的管理对于存储尤为重要。目前，元数据与数据通常采用一个文件系统的方式，这样的方式对于文件系统存在很高的IO压力，文件系统一方面管理大量的数据文件，一方面管理着元数据文件，这两种文件在业务层面来说是不同管理方式，数据文件访问频率低，修改频率低，而元数据日志文件则相反，访问频率高，修改频率高，因此，需要一种新的元数据管理方式，在保证整个存储系统的读写性能的基础上，增加对元数据文件的处理效率。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术提供一种高性能元数据日志文件管理方法、系统、介质及终端，以解决上述技术问题。本专利技术提供的高性能元数据日志文件管理方法，包括：将数据与元数据设置于不同的文件系统；记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；将所述合并结果进行记录，将其作为第二级结果元数据日志文件；根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作。可选的，通过第一文件系统对元数据日志文件进行管理，通过第二文件系统对数据文件进行管理，所述第一文件系统包括XFS文件系统。可选的，对所述第一级元数据日志文件中记录的过程进行合并后，还包括：检查是否存在第二级结果元数据日志中间文件，如果存在，则判定合并过程未完成；如果存在，在判定合并过程完成。可选的，当判定合并过程未完成时，将原第二级结果元数据日志文件删除，并将所述第二级结果元数据日志中间文件重命名为第二级结果元数据日志文件；加载重命名后的第二级结果元数据日志文件，并对其进行解析，加至内存哈希表中；加载第一级元数据日志中间文件，并对其进行解析，获取第二级结果元数据日志文件所在哈希表中的节点，对节点信息进行基本操作，所述基本操作包括数据节点信息的创建、修改和删除；将哈希表中的记录转换为基本数据写入第二级结果元数据日志中间文件中，完成第一级元数据日志中间文件的合并。可选的，删除合并后的第一级元数据日志中间文件，以及原第二级结果元数据日志文件，并将第二级结果元数据日志中间文件重命名为第二级结果元数据日志文件。可选的，当所述第一级过程元数据日志文件的大小达到预设的阈值时，将其重命名为一第一级元数据日志中间文件并重新打开一新的第一级过程元数据日志文件。可选的，将磁盘划分为至少两个分区，其中一分区为用于存储元数据文件的元数据分区，其他分区为用于存储数据的数据分区，并将所述元数据分区格式化为XFS文件系统。本专利技术还提供一种高性能元数据日志文件管理系统，包括：磁盘管理单元，用于对磁盘的分区管理，将数据与元数据设置于不同的文件系统；日志流程单元，用于记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；将所述合并结果进行记录，将其作为第二级结果元数据日志文件；日志控制单元，用于根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作。本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。本专利技术还提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。本专利技术的有益效果：本专利技术中的高性能元数据日志文件管理方法、系统、介质及终端，一方面，通过第一级过程元数据日志文件作为缓冲，增加数据写入的性能，满足在大压力场景下的业务需求，通过第二级的结果元数据日志文件保证了数据的完整性，确保元数据信息不会丢失，并且从第一级到第二级的合并过程具有简单易操作的有点，简化了元数据的管理流程；另一方面，通过将元数据信息与数据信息分离，采用不同文件系统的方式进一步加快了元数据信息的读写性能，本专利技术保证了元数据信息的完整性，同时克服了由元数据信息记录所带来的性能消耗问题。附图说明图1是本专利技术实施例中高性能元数据日志文件管理方法中的分布式存储的结构示意图。图2是本专利技术实施例中高性能元数据日志文件管理系统的结构示意图。图3是本专利技术实施例中高性能元数据日志文件管理方法中的第一级元数据文件结构示意图。图4是本专利技术实施例中高性能元数据日志文件管理方法中的第而级元数据文件结构示意图。图5是本专利技术实施例中高性能元数据日志文件管理方法中的前置检查流程示意图。图6是本专利技术实施例中高性能元数据日志文件管理方法中的元数据文件合并流程示意图。图7是本专利技术实施例中高性能元数据日志文件管理方法中的元数据合并流程示意图。图8是本专利技术实施例中高性能元数据日志文件管理方法中的元数据文件后台巡检流程示意图。图9是本专利技术实施例中高性能元数据日志文件管理方法中的元数据文件后台巡检合并控制流程示意图。图10是本专利技术实施例中高性能元数据日志文件管理方法中的Linux文件IO缓存示意图。附图标记说明：10-存储管理节点，11-存储数据节点。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。在下文描述中，探讨了大量细节，以提供对本专利技术实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本专利技术的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本专利技术的实施例难以理解。本实施例中的高性能元数据日志文件管理方法，包括：S1.将数据与元数据设置于不同的文件系统；S2.记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件本文档来自技高网...

【技术保护点】
1.一种高性能元数据日志文件管理方法，其特征在于，包括：/n将数据与元数据设置于不同的文件系统；/n记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；/n对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；/n将所述合并结果进行记录，将其作为第二级结果元数据日志文件；/n根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作。/n

【技术特征摘要】
1.一种高性能元数据日志文件管理方法，其特征在于，包括：
将数据与元数据设置于不同的文件系统；
记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；
对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；
将所述合并结果进行记录，将其作为第二级结果元数据日志文件；
根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作。


2.根据权利要求1所述的高性能元数据日志文件管理方法，其特征在于，通过第一文件系统对元数据日志文件进行管理，通过第二文件系统对数据文件进行管理，所述第一文件系统包括XFS文件系统。


3.根据权利要求1所述的高性能元数据日志文件管理方法，其特征在于，对所述第一级元数据日志文件中记录的过程进行合并后，还包括：
检查是否存在第二级结果元数据日志中间文件，如果存在，则判定合并过程未完成；如果存在，在判定合并过程完成。


4.根据权利要求3所述的高性能元数据日志文件管理方法，其特征在于，
当判定合并过程未完成时，将原第二级结果元数据日志文件删除，并将所述第二级结果元数据日志中间文件重命名为第二级结果元数据日志文件；
加载重命名后的第二级结果元数据日志文件，并对其进行解析，加至内存哈希表中；
加载第一级元数据日志中间文件，并对其进行解析，获取第二级结果元数据日志文件所在哈希表中的节点，
对节点信息进行基本操作，所述基本操作包括数据节点信息的创建、修改和删除；
将哈希表中的记录转换为基本数据写入第二级结果元数据日志中间文件中，完成第一级元数据日志中间文件的合并。


5....

【专利技术属性】
技术研发人员：刘胜金，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：重庆;50