一种基于日志合并的分布式文件系统索引方法和装置制造方法及图纸

本发明专利技术公开了一种基于日志合并的分布式文件系统索引方法和装置，通过分布式文件系统的元数据服务器，在日志合并时，构建文件操作元数据信息并写入存储单元，然后读取并解析存储单元中的操作元数据信息，最后执行文件索引操作，建立对应索引，删除已处理对象。本发明专利技术可以解决索引遗漏，客户端兼容性差、无法增量构建文件索引以及构建耗时长，效率较低的问题。

【技术实现步骤摘要】
一种基于日志合并的分布式文件系统索引方法和装置
本专利技术属于文件存储与处理
，尤其涉及一种基于日志合并的分布式文件系统索引方法和装置。
技术介绍
随着互联网、云计算、大数据、人工智能的快速发展，据互联网数据中心(IDC)市场调研机构预计，全球数据总量将会以每年50％左右的速度增长，到2020年，全球数据总量将达到40ZB(1ZB＝10亿TB)。在这些数据中，只有约15％的数据会被经常访问，绝大部分数据都会在产生之后逐渐变冷。虽然这些“冷数据”的访问率很低，但还是需要保留这些数据，且对于企业而言，还有大量数据需要存储及检索。日志文件系统(JournalingFileSystem)是一个具有故障恢复能力的文件系统，其利用日志来记录尚未提交到文件系统的修改，以防止元数据被破坏。相对于非日志文件系统，大大提高了文件系统的稳定性，在系统崩溃或断电时增加了可靠性，缩短了恢复时间，保证了文件操作的原子性。目前，对文件建立检索的方式主要分为在客户端和服务端建立索引，在客户端建立索引需要考虑各种客户端的类型，兼容性较差。在服务端建立索引主要有以下几种方法：通过监听文件系统挂载文件夹的操作，来建本文档来自技高网...

【技术保护点】
1.一种基于日志合并的分布式文件系统索引方法，其特征在于，所述基于日志合并的分布式文件系统索引方法，包括：步骤一、在文件操作发生时，记录文件操作信息，并写入日志，所述文件操作信息包括文件操作的类型和文件操作的发生时间，并且在文件操作的类型为移动操作时，在记录完文件操作信息并写入日志后，立即构建文件操作元数据信息；步骤二、在满足触发条件下，执行日志合并操作；步骤三、针对日志合并操作中被修改过的文件，当发生的文件操作的类型为创建/删除操作时，构建文件操作元数据信息，并写入信息存储单元；当发生的文件操作的类型为移动操作时，将已经构建的文件操作元数据信息写入信息存储单元；步骤四、读取信息存储单元中的文...

【技术特征摘要】
1.一种基于日志合并的分布式文件系统索引方法，其特征在于，所述基于日志合并的分布式文件系统索引方法，包括：步骤一、在文件操作发生时，记录文件操作信息，并写入日志，所述文件操作信息包括文件操作的类型和文件操作的发生时间，并且在文件操作的类型为移动操作时，在记录完文件操作信息并写入日志后，立即构建文件操作元数据信息；步骤二、在满足触发条件下，执行日志合并操作；步骤三、针对日志合并操作中被修改过的文件，当发生的文件操作的类型为创建/删除操作时，构建文件操作元数据信息，并写入信息存储单元；当发生的文件操作的类型为移动操作时，将已经构建的文件操作元数据信息写入信息存储单元；步骤四、读取信息存储单元中的文件操作元数据信息；步骤五、对读取到的文件操作元数据信息进行解析，根据解析后所得的文件操作的类型，执行相应的文件索引操作；步骤六、待所有文件索引操作执行完成后，删除信息存储单元中的已处理对象。2.如权利要求1所述的基于日志合并的分布式文件系统索引方法，其特征在于，所述记录文件操作信息，包括：通过在被操作的文件的目录项结构中增加字段分别记录文件操作的类型、文件操作的发生时间以及删除操作时被删除文件的索引节点；通过在被操作的文件的目录结构中增加字段记录被删除文件的名称。3.如权利要求1所述的基于日志合并的分布式文件系统索引方法，其特征在于，所述在满足触发条件下，执行日志合并操作，包括：当日志的数量超过设定阈值或收到日志合并命令时，以文件的目录为单位进行日志合并操作。4.如权利要求1所述的基于日志合并的分布式文件系统索引方法，其特征在于，所述构建文件操作元数据信息，包括：当文件操作的类型为创建操作时，获取所述文件操作的类型、文件操作的发生时间、文件名、文件大小、文件路径、文件修改时间、是否需要删除同路径文件索引以及是否为文件，并构建操作消息字符串；当文件操作的类型为删除操作时，获取所述文件操作的类型、文件操作的发生时间、文件路径以及是否为文件，并构建操作消息字符串；当文件操作的类型为移动操作时，获取所述文件操作的源路径、目的路径、文件大小、文件名、文件修改时间以及是否为文件，并构建操作消息字符串。5.如权利要求4所述的基于日志合并的分布式文件系统索引方法，其特征在于，所述对读取到的文件操作元数据信息进行解析，根据解析后所得的文件操作的类型，执行相应的文件索引操作，包括：当文件操作的类型为创建操作时，先判断是否需要删除同路径文件索引，如果需要删除，则先删除索引集中路径相同的文件索引，反之则无操作；然后再判断是否为文件，如果是文件，则构建并执行文件索引创建操作，如果不是文件，则结束；当文件操作的类型为删除操作时，先判断删除对象是否为文件，如果是文件，则构建并执行删除文件索引操作；如果是文件夹，则构建并执行该文件夹下的文件索引删除操作；当文件操作的类型为移动操作时，先判断移动对象是否为文件，如果是文件，则先构建并执行源路径下文件索引删除操作，然后构建并执行目的路径下文件索引创建操作；如果是文件夹，则先检索出此文件夹路径下的文件索引，取出源文件索引中文件路径、修改时间、文件大小、文件名的值，然后将文件路径由源路径更新为目的路径，文件名、修改时间和文件大小不变，构建并执行目的路径下文件索引创建操作，然后构建并执行源路径下文件索引删除操作。6.一种基于日志合并的分布式文件系统索引装置，其特征在于，所述基于日志合并的分布式文件系统索引装置，包括更新构建写入单元模块、信息存储单元模块以及解析构建执行单元模块，其中：所述更新构建写入单元模块，用于在文件操作发生时，记录文件操作信...

【专利技术属性】
技术研发人员：张晓宇，雷达，吴晓晨，李昀，郑寄平，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：浙江,33