智能分布式文件系统(110)能够将文件数据存储在可像单一文件系
统一样得到访问的多个智能存储单元中。该智能分布式文件系统(110)
利用元数据数据结构来跟踪和管理每个文件的详细信息，包括如文件数
据块的块位置和设备，从而可以允许单一文件系统内有不同级别的复制
和/或冗余，便于冗余参数的改变，提供高级别的元数据保护，以及实时
地复制和移动数据等等。（*该技术在2022年保护过期，可自由使用*）
【技术实现步骤摘要】
本专利技术的系统和方法一般涉及分布式文件存储领域，尤其涉及智能 分布式文件管理。
技术介绍
互联网的爆炸式成长带来了新的领域，在该领域中，信息被持续地 交换和访问。响应于这种增长，共享数据的规模也在增大。用.户所要求 的比标准HTML文档更多，他们希望访问多种数据，例如音频数据、视 频数据、图像数据和编程数据。因此，存在着对在提供快速而可靠的数 据访问的同时能够存储大的数据组的数据存储器的需要。一种响应是采用可以存储大量的数据但很难提供高流量的单一的存 储设备。随着数据容量的增加，访问数据的时间量也随之增加。虽然处 理速度和能力已经得到提高，但是磁盘I/O (输入/输出)操作性能没有以 相同的速率提高，致使i/o操作效率低下，特别是在大数据文件方面。另一种响应是允许多个服务器利用诸如存储区域网络(SAN)解 决方案的系统架构来访问共享磁盘，但是这种系统价格昂贵，并需要复 杂的技术来建立并控制数据完整性(integrity)。而且还需要高速适配器 来处理大容量的数据请求。常-见方法的一个问题在于，它们受到其可扩展性(scalability)的限 制。因而，随着数据容量的增加，系统需要也相应增长，但是扩充费用 高昂而且具有高的破坏性。常头见方法的另 一共同问题在于它们的灵活性有限。这些系统通常净皮配置为使用预先确定的纠错控制。例如，可使用RAID(磁盘阵列)系统 在物理磁盘级别上提供数据文件的冗余和镜像，因而在确定数据在哪里 存储或应使用的冗余参数类型方面给管理员很少的灵活性或根本没有灵 活性。
技术实现思路
智能分布式文件系统能够很好地将文件数据存储在能像单一文件系 统一样得到访问的一组智能(smart)存储单元中。智能分布式文件系统 很好地利用元数据(metadata)数据结构来跟踪和管理每个文件的详细信 息，包括如文件数据块的块位置和设备，以允许单一文件系统内不同级 别的复制和/或冗余，方便冗余参数的改变，为元数据提供高级别的保护， 实时地复制和移动数据，等等。本
技术实现思路
的目的、特定方面、优点和新颖的特征在本文中得到了 描述。应该理解，未必所有这些优点都在本专利技术的任何特定的实施例中 得到实现。因此，例如，本领域」技术人员应意识到，可以以只实现本文 中所教导的一个优点或一组优点而无需实现本文教导或建议的其他优点 的方式来实现或完成本专利技术。附图的简要说明附图说明图1是本专利技术一个实施例的高层方框图2示出了图1所示的组成部件之间的示例数据流；图3示出了示例性的智能存储单元的高层方框图4示出了示例文件目录；图5示出了元数据数据结构的一个实施例；图6A示出了数据位置表结构的一个实施例；图6B示出了数据位置表结构的另 一个实施例；图6C示出了数据位置表结构的又一个实施例；图6D示出了数据位置表结构的再一个实施例；图7A示出了用于目录的元数据数据结构的一个实施例；图7B示出了用于文件的元数据数据结构的一个实施例；图8A示出了数据位置表的一个实施例；图8B示出了数据位置表的另一个实施例；图8C示出了数据位置表的又一个实施例；图9示出了带有相应的示例数据的文件的示例元数据数据结构;图IO示出了用于检索数据的流程图的一个实施例；图11示出了的用于实现名称解析的流程图的一个实施例；图12示出了用于检索文件的流程图的一个实施例；图13示出了用于创建奇偶校验信息的流程图的一个实施例；图14示出了用于实现纠错的流程图的一个实施例。其中，图2中的附图标记含义如下 A:用户请求文件B:交换机看到请求并转发到可用的智能存储单元0 C:智能存储单元0接收请求D:智能存储单元0为目录元数据查询智能存储单元2 E:智能存储单元O接收目录元数据F:智能存储单元0查询用于目录元数据的智能存储单元3 G:智能存储单元O接收目录元数据 H:智能存储单元O检索文件元数据具体实施例方式以下将参照附图对代表了本专利技术的 一 个实施例和示例应用的系统和 方法进行说明。对该系统和方法的变换所代表的其它实施例也将得至ij描述。为说明的目的， 一些实施例将在互联网内容-传送和网络托管(web hosting)的背景中描述。专利技术人期望本专利技术不受使用本系统和方法的环 境类型的限制，本系统和方法可使用在其他环境中，诸如，举例来说， 互联网、万维网、医院专用网络、政府机构广播网、合作企业互连网、 企业内部互联网，局域网，广域网等等。然而，在涉及本专利技术的实施例的说明书和附图中，背景环境是互联网内容-传送和网络托管。也应意识 到，在其他的实施例中，所述系统和方法可作为单一的模块实现并且/或 者可以其他各种模块等协同实现。而且，本文所描述的特定的实现方式 为说明的目的而提出的，它并不是对本专利技术的限制。本专利技术的范围由所 附权利要求来定义。现在将参照上面简要描述的附图来描述这些和其它的特征。附图和 相关的说明被提供用来阐明本专利技术的实施例，但其不限制本专利技术的范围。 在全部附图中，参考标号可被重复使用以指明所参考部件间的对应关系。 另外，每个参考标号的第一个数字一般都表示该部件第一次出现的图。I.概述本专利技术的系统和方法提供了智能分布式文件系统，其能够在一组可 作为单一文件系统得到访问的智能存储单元中存储数据。该智能分布式 文件系统跟踪和管理每个文件的详细的元数据。元数据可以包括涉及和/ 或描述文件的任何数据，例如，包括设备和块位置信息在内的文件数据 块的位置、元数据和/或数据块(如果有的话)的冗余备份的位置、纠错 信息、访问信息、文件名、文件的大小、文件类型，等等。另外，对该 由文件系统管理的不同文件和/或数据块，智能分布式文件系统允许进行 不同级别的复制和/或冗余，从而方便了系统激活时冗余参数的改变，并 能够实现元数据和数据的实时复制和移动。进一步，通过从智能存储单 元组中定位和收集文件数据，各智能存储单元都可响应文件请求。在存在大量的读(READ)请求的情况下，特别是其与写(WRITE) 请求成比例的情况下，智能分布式文件系统可以很好地提供对数据的访 问。这是由于增加了锁定智能的智能存储单元组以及对单个智能存储单 元的浏览的复杂性从而保证了一致性。此外，在对大的数据块的请求很 普遍的期间，智能分布式文件系统能够很好地对块的交互进行处理。一些实施例的一个好处是，用于文件和目录的元数据由智能分布式 文件系统管理和访问。元数据可指出用于目录或文件的元数据被定位在 哪里、内容数据存储在哪里、元数据和/或内容数据的镜像备份存储在哪 里、以及与系统相关的奇偶校验或其他纠错信息存储在哪里。可使用如设备和块位置信息来存储数据位置信息。因而，智能分布式文件系统可 通过利用分布和存储在智能存储单元组中的元数据来定位和检索被请求 的内容数据。另外，因为智能分布式文件系统可以访问元数据，因而智 能分布式文件系统可被用于选择数据被存储的位置并根据请求来移动、 复制和/或改变数据而不对智能存储单元组产生破坏。一些实施例的另一个好处是，用于每个文件的数据可跨越几个智能 存储单元存储并以时序的方式访问。用于每个文件的数据块可能分布在 智能存储单元的子集中，这样数据存取时间就可减少。进一步，不同的 文件可能跨越不同数量的智能存储单元以及跨越不同智能存储单元组而 分布。这种架构使智能分布式文件系统能够根据诸如本文档来自技高网...
【技术保护点】
一种分布式文件系统，包括： 多个智能存储设备，被配置成在所述多个智能存储设备中的至少两个中存储用于至少一个文件的内容数据块，以及被配置成在所述多个智能存储设备中的至少两个中存储用于所述至少一个文件的元数据的拷贝，所述元数据包括存储在所述多个智能存储设备中的元数据数据块、内容数据块和奇偶校验数据块的位置，所述智能存储设备进一步包括： 远程块管理模块，被配置成管理所述多个智能存储设备中与其他智能存储设备的通信，其中，所述远程块管理模块利用报文通信系统进行通信；其中，所述分布式文件系统被配置为可存储和管理所述元数据。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：舒亚·M·帕特尔，保罗·A·米克塞尔，达雷恩·P·沙克，
申请(专利权)人：易斯龙系统公司，
类型：发明
国别省市：US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。