文件系统映像处理系统技术方案

在各种示例性实施例中，提出了用于处理文件系统的文件系统映像的系统和方法。在一个示例中，文件系统映像处理系统可以包括映像处理器模块，用于在存储在文件系统的第一服务器处的文件系统映像未被修改时访问该文件系统映像，以及存储该文件系统映像的表示。进一步地，文件系统映像处理系统可以包括事务处理器模块，用于反复访问存储在该文件系统的、与第一服务器分开的第二服务器处的事务数据，其中该事务数据描述未在所访问的文件系统映像中表示的文件系统编辑事务。事务处理器模块可以基于所访问的事务数据来修改文件系统映像的表示。

【技术实现步骤摘要】
【国外来华专利技术】文件系统映像处理系统相关申请的交叉引用本国际申请要求于2016年6月23日提交的、序列号为15/191,085、标题为“FILESYSTEMIMAGEPROCESSINGSYSTEM”的美国专利申请的优先权，其全部内容通过引用整体并入本文。
本公开的实施例一般地涉及数据处理，更具体地但不是以限制方式地涉及对文件系统映像的处理。
技术介绍
随着组织接收和处理的数据量的增长，高效率低成本地处理这些数据的能力可能是影响组织生产力、运行效率以及客户满意度的重要因素。通常，牵涉的数据集越大，计算基础设施的尺寸也越大，诸如包括在整体系统中的数据服务器、数据存储系统等的数量。为了确保高效运行，可以捕获和分析关于整体系统的当前状态的数据、响应于各种条件的运行效率等，从而可以在不间断的基础上对系统实行适当改变以提高性能、效率等。更具体地，针对数据存储系统，文件系统的各种目录和文件的快照，以及文件系统的大小、位置和其他方面，通常称为文件系统“映像”(image)，其可被周期性地捕获和分析。然而，极其庞大的数据存储系统的这种映像通常需要几个小时来获取，因此很可能导致这些映像很快变得过时，从而降低它们的分析价值。附图说明附图中的各图仅仅示出本公开的示例性实施例，而不能视为限制其范围。图1是与示例性文件系统映像处理系统耦合的示例性数据存储集群的框图；图2是图1的文件系统映像处理系统的示例的框图，包括示例性初始映像加载器/处理器和示例性事务加载器/处理器；图3是处理文件系统映像的示例性方法的流程图；图4是图2的初始映像加载器/处理器的示例的框图；图5A、图5B和图5C绘出了示例性文件系统映像；图6绘出了可以由图4的初始映像加载器/处理器生成的示例性路径/尺寸文本文件；图7绘出了可以由图4的初始映像加载器/处理器采用的示例性映像数据库储存器；图8是图2的事务加载器/处理器的示例的框图；图9绘出了可以由图8的事务加载器/处理器采用的示例性编辑日志事务；图10绘出了可以在图8的事务加载器/处理器中采用的示例性访问调度器的示例性代码段；图11绘出了可以在图8的事务加载器/处理器中采用的示例性日志到存储器加载器的示例性代码段；图12绘出了可以在图8的事务加载器/处理器中采用的示例性编辑事务解析器的示例性代码段；图13是可以在图1的文件系统映像处理系统中采用的示例性映像分析器的框图；图14是示出根据一些示例性实施例可以安装在机器上的软件架构的示例的框图；以及图15示出了根据示例性实施例的计算机系统形式的机器的图解表示，其中可以执行一组指令以使得该机器执行本文讨论的方法中的任意一个或多个。本文提供的标题仅仅是为方便起见而不是必然影响所使用术语的范围或含义。具体实施方式下面的描述包括实施本公开的示意性实施例的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于解释的目的，阐述了众多特定细节以便提供对本专利技术主题的各种实施例的理解。然而，对于本领域人员很显然的是可以无需这些特定细节而实践本专利技术主题的实施例。一般而言，公知的指令实例、协议、结构和技术没有必要详细示出。图1是与示例性文件系统映像处理系统120耦接的示例性数据存储集群100的框图。在下文描述的各种示例中，数据存储集群100可以是分布式文件系统(HDFS)的数据存储集群。然而，其他类型的文件系统也可以从本文公开的系统和方法的诸多方面中的一个或多个方面中获益。而且，尽管文件系统映像处理系统120的各个方面针对单个数据存储集群100进行描述，整个数据存储系统可以包括一个或多个数据存储集群100，并且一个或多个不同的文件系统映像处理系统120耦接到该数据存储系统。图1的各种设备或系统中的每个以及下文更完整讨论的其他设备或系统可以借助于通信网络耦接在一起，通信网络诸如广域网(WAN)(例如，互联网)、无线WAN(WWAN)、局域网(LAN)、无线LAN(WLAN)、虚拟专用网(VPN)、其他类型的网络或者两种或更多种这些网络的组合。如图1所示，数据存储集群100可以包括一个或多个命名节点102、104(例如，HDFSNameNode)。在此特定示例中，采用了活跃命名节点102(例如，HDFSNameNode)和备用命名节点104(例如，HDFSBackupNode)。活跃名称节点102可以是负责响应于一个或多个客户端设备(图1中未示出)请求的各种文件系统操作(例如，目录和/或文件创建和/或删除，文件更新等等)而管理和更新文件系统映像106(例如，HDFSFSImage)和/或编辑日志110(例如，HDFS编辑日志或日记)的服务器或其他系统。备用命名节点104可以负责维护对文件系统映像106和/或编辑日志110的访问，和/或维护其自己的对文件系统映像106和/或编辑日志110的备份，以准备在活跃名称节点102发生故障事件时作为活跃名称节点102的替代者而运行。文件系统映像106可以包括“命名空间”信息(例如，HDFS“命名空间”)，其标识文件系统的层级目录和文件结构、目录和文件的各部分(例如，“块”)的位置和/或尺寸等等。各种文件中携带的实际数据可以存储在一个或多个数据节点112(例如，HDFSDataNode)中，其可以具体体现在一个或多个数据存储设备(例如硬盘驱动、光盘驱动、闪存驱动等)、服务器或系统中。在一些示例中，每个文件系统对象(例如，文件、目录等)可以视为文件系统的单独的“索引节点(inode)”。在一些示例中，活跃命名节点102可以仅周期性地更新文件系统映像106。更具体地，活跃命名节点102可以在发生文件系统操作或“事务”时在编辑日志110中记录或登记它们。周期性地，活跃命名节点102继而可以使用记录在编辑日志110中的事务来更新文件系统映像106，以及从编辑日志110中移除或“冲刷”关于这些事务的数据。在一些示例中，活跃命名节点102可以使用编辑日志110中记录的所有事务来更新文件系统映像106以生成“检查点”文件，活跃命名节点102可以利用该“检查点”文件来重新初始化文件系统映像106，诸如一旦重启活跃命名节点102时。在一些示例中，所记录的事务可以分组成编辑日志110中的事务“段”，每个段表示在特定时间段期间发生的事务。活跃命名节点102也可以将事务记录在存储在一个或多个日记节点108(例如，HDFS日记节点)中的一个或多个对应编辑日志110中，例如用以向文件系统提供冗余度和容错。如下文更详细描述的，文件系统映像处理系统120可以与数据存储集群100的各种节点和系统通信以提供对编辑日志110和文件系统映像106中所表示数据的快速和最新的访问，从而促进对文件系统的高效和有效分析。图2是图1的文件系统映像处理系统120的示例的框图，包括示例性初始映像加载器/处理器202和示例性事务加载器/处理器204。如图2所示，初始映像加载器/处理器202可以访问图1的数据存储集群100的文件系统映像106，而事务加载器/处理器204可以访问一个或多个日记节点108的编辑日志110。在一些示例中，初始映像加载器/处理器202可以访问一次文件系统映像106，此后事务加载器/处理器204可以重复或反复访问日记节点108的编辑日志110，以在文件系统操作继续被执行时持续本文档来自技高网...

【技术保护点】
1.一种文件系统映像处理系统，包括：映像处理器模块，包括机器的至少一个硬件处理器，所述映像处理器模块用于在存储在文件系统的第一服务器处的文件系统映像未被修改时访问所述文件系统映像，以及用于存储所述文件系统映像的表示；以及事务处理器模块，用于反复访问存储在所述文件系统的、与所述第一服务器分开的第二服务器处的事务数据，所述事务数据描述未在所访问的文件系统映像中表示的文件系统编辑事务，所述事务处理器模块用于基于所访问的事务数据来修改所述文件系统映像的所述表示。

【技术特征摘要】
【国外来华专利技术】2016.06.23 US 15/191,0851.一种文件系统映像处理系统，包括：映像处理器模块，包括机器的至少一个硬件处理器，所述映像处理器模块用于在存储在文件系统的第一服务器处的文件系统映像未被修改时访问所述文件系统映像，以及用于存储所述文件系统映像的表示；以及事务处理器模块，用于反复访问存储在所述文件系统的、与所述第一服务器分开的第二服务器处的事务数据，所述事务数据描述未在所访问的文件系统映像中表示的文件系统编辑事务，所述事务处理器模块用于基于所访问的事务数据来修改所述文件系统映像的所述表示。2.根据权利要求1所述的文件系统映像处理系统，所述文件系统映像的所述表示是所述文件系统映像的数据库可兼容表示，所述表示存储在与所述第一服务器分开的数据库储存器处。3.根据权利要求1所述的文件系统映像处理系统，所述映像处理器模块包括：映像到存储器加载器，用于从所述文件系统的命名空间服务器获取所述文件系统映像以及将所述文件系统映像加载到存储器；映像数据提取器，用于基于所述存储器中的所述文件系统映像生成包括文件映像数据的文本文件；数据预备器，用于基于所述文本文件的文件映像数据生成数据库可兼容映像数据；以及数据库数据加载器，用于将所述数据库可兼容映像数据加载到数据库储存器中，作为所述文件系统映像的所述表示。4.根据权利要求3所述的文件系统映像处理系统，所述文本文件的文件映像数据包括针对所述文件系统映像中指示的多个节点中的每个节点的路径名称和路径大小。5.根据权利要求4所述的文件系统映像处理系统，所述数据库可兼容映像数据包括多个键-值对，每个键-值对包括针对所述文件系统映像中指示的所述多个节点中的一个节点的路径名称和路径大小。6.根据权利要求1所述的文件系统映像处理系统，所述事务处理器模块包括：日志到存储器加载器，用于从所述文件系统的日记节点服务器的编辑日志获取描述在所述文件系统上执行的至少一个文件编辑事务的文件事务数据，以及将所述文件事务数据加载到存储器；以及编辑事务解析器，用于解析所述存储器中的所述文件事务数据，以及基于所解析的文件事务数据来修改所述文件系统映像的所述表示。7.根据权利要求6所述的文件系统映像处理系统，所述日志到存储器加载器用于获取所述文件事务数据的至少一段，所述至少一段中的每段包括对应时间段期间的一个或多个所述文件编辑事务的文件事务数据。8.根据权利要求6所述的文件系统映像处理系统，所述事务处理器模块进一步包括：访问调度器，用于使得所述日志到存储器加载器在每个预定时间段获取一次之前未从所述编辑日志获取的文件事务数据。9.根据权利要求1所述的文件系统映像处理系统，进一步包括：至少一个映像数据分析器，用于分析所述文件系统映像的所述表示以确定所述文件系统的至少一个特性。10.根据权利要求9所述的文件系统映像处理系统，所述至少一个映像数据分析器用于基于所述文件系统映像...

【专利技术属性】
技术研发人员：维奈·库马尔·帕楚诺里，阿罗普·马利亚卡尔·帕德马纳班，森蒂库马尔·卡莱塞尔万，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国,US