一种高性能元数据日志文件管理方法、系统、介质及终端技术方案

本发明专利技术提供一种高性能元数据日志文件管理方法、系统、介质及终端，方法包括将数据与元数据设置于不同的文件系统；记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；将所述合并结果进行记录，将其作为第二级结果元数据日志文件；根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作；本发明专利技术一方面，增加数据写入的性能，满足在大压力场景下的业务需求，确保元数据信息不会丢失，简化了元数据的管理流程；另一方面，加快了元数据信息的读写性能，克服了由元数据信息记录带来的性能消耗问题。

【技术实现步骤摘要】
一种高性能元数据日志文件管理方法、系统、介质及终端
本专利技术涉及计算机领域，尤其涉及一种高性能元数据日志文件管理方法、系统、介质及终端。
技术介绍
在分布式存储中，数据与元数据信息除了有元数据管理节点的管理之外还需要将元数据信息记录在各数据节点中，元数据信息即是包含了数据文件在存储节点中的位置，大小，时间等信息，通过元数据信息可以准确寻址到数据文件信息。因此，元数据的管理对于存储尤为重要。目前，元数据与数据通常采用一个文件系统的方式，这样的方式对于文件系统存在很高的IO压力，文件系统一方面管理大量的数据文件，一方面管理着元数据文件，这两种文件在业务层面来说是不同管理方式，数据文件访问频率低，修改频率低，而元数据日志文件则相反，访问频率高，修改频率高，因此，需要一种新的元数据管理方式，在保证整个存储系统的读写性能的基础上，增加对元数据文件的处理效率。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术提供一种高性能元数据日志文件管理方法、系统、介质及终端，以解决上述技术问题。本专利技术提供的高性能元数据日志本文档来自技高网...

【技术保护点】
1.一种高性能元数据日志文件管理方法，其特征在于，包括：/n将数据与元数据设置于不同的文件系统；/n记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；/n对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；/n将所述合并结果进行记录，将其作为第二级结果元数据日志文件；/n根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作。/n

【技术特征摘要】
1.一种高性能元数据日志文件管理方法，其特征在于，包括：
将数据与元数据设置于不同的文件系统；
记录数据写入时所有修改过程中的操作，并将其作为第一级过程元数据日志文件；
对所述第一级过程元数据日志文件中记录的过程进行合并，获取合并结果；
将所述合并结果进行记录，将其作为第二级结果元数据日志文件；
根据所述第一级过程元数据日志文件和第二级结果元数据日志文件进行组合写入，完成元数据日志文件的加载合并操作。


2.根据权利要求1所述的高性能元数据日志文件管理方法，其特征在于，通过第一文件系统对元数据日志文件进行管理，通过第二文件系统对数据文件进行管理，所述第一文件系统包括XFS文件系统。


3.根据权利要求1所述的高性能元数据日志文件管理方法，其特征在于，对所述第一级元数据日志文件中记录的过程进行合并后，还包括：
检查是否存在第二级结果元数据日志中间文件，如果存在，则判定合并过程未完成；如果存在，在判定合并过程完成。


4.根据权利要求3所述的高性能元数据日志文件管理方法，其特征在于，
当判定合并过程未完成时，将原第二级结果元数据日志文件删除，并将所述第二级结果元数据日志中间文件重命名为第二级结果元数据日志文件；
加载重命名后的第二级结果元数据日志文件，并对其进行解析，加至内存哈希表中；
加载第一级元数据日志中间文件，并对其进行解析，获取第二级结果元数据日志文件所在哈希表中的节点，
对节点信息进行基本操作，所述基本操作包括数据节点信息的创建、修改和删除；
将哈希表中的记录转换为基本数据写入第二级结果元数据日志中间文件中，完成第一级元数据日志中间文件的合并。


5....

【专利技术属性】
技术研发人员：刘胜金，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：重庆;50