将放置策略分配给片段集合制造技术

可以创建和/或更新分布式文件系统的一个或多个存储片段的多个片段集合。存储片段可以受独立地控制。可以将放置策略分配给该多个片段集合中的每个片段集合。该放置策略可以针对所分配的存储集合来控制对象至一个或多个存储片段的初始放置和/或重新定位。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
分布式文件系统可以指代用于基于多个存储节点来存储和访问文件的系统。分布式文件系统可以基于客户端/服务器架构。在分布式文件系统中，在正确的授权权限的情况下，可以由网络中的远程客户端经由中间服务器访问存储在存储设备处的一个或多个文件。分布式系统可以使用统一的命名约定和映射方案来跟踪文件位于何处。制造商、供应商、和/或服务提供商面临着提供改进的机制来传输对存储设备的控制和/或选择用于存储文件的存储设备的挑战。分布式文件系统可以通过机器没有使用其资源来存储文件、提供公共的存储资源池来使对大量的客户端进行服务更为容易，附图说明以下的详细描述参考附图，其中在附图中：图1示出了将放置策略分配给片段集合的设备的示例框图；图2是包括将放置策略分配给片段集合的设备的分布式文件系统的示例框图；图3是包括用于将放置策略分配给片段集合的指令的计算设备的示例框图；图4是一种用于将放置策略分配给片段集合的方法的示例流程图；以及图5是一种用于放置策略的动态继承的方法的示例流程图。具体实施方式在以下描述中给出了具体细节以提供对实施例的透彻理解。然而，将理解，可以在不用这些具体细节的情况下实施实施例。例如，可以以框图示出系统，以便不以不必要的细节混淆实施例。在其它实例中，可以在不
具有不必要的细节的情况下示出公知的过程、结构和技术，以便避免混淆实施例。分布式分段并行文件系统可以由大量的存储组件(例如，存储片段)和大量的控制此类存储组件的目标服务器(DS)组成。分布式分段并行文件系统可以包括具有不同特性的存储片段。一些存储片段对于存储大量的信息数据可以是非常高效的，而其它存储片段可以更多地调整为良好地执行随机读取。此外，一些存储片段可能是较慢的，但是是能效更高的并且更适合于存储不频繁访问的数据。另外，服务器和相关联的存储片段可能在地理上是分布式的。示例分布式分段并行文件系统可以由数千个大的存储片段组成。在任何给定的时间，各个存储片段可以是专门受对应的服务器控制。然而，出于负载平衡目的或由于组件故障或维护原因，对存储片段的这种控制可以从一个服务器迁移到另一个服务器。服务器可以“直接地”连接到存储片段(诸如经由直接附接存储(DAS)模型)、或通过各种互连技术(诸如经由光纤通道(FC)、互联网小型计算机系统接口(iSCSI)、串行附接SCSI(SAS)等)。分布式分段并行文件系统还可以包括客户端节点，客户端节点在给定的时间不控制片段并且可以用于运行应用或通过诸如网络文件系统(NFS)、服务器消息块(SMB)、超文本传输协议(HTTP)、文件传输协议(FTP)等之类的其它协议来提供对分布式分段并行文件系统的访问。分布式分段并行文件系统的整体效率和可靠性可以取决于用于为不同对象选择适当的存储片段的灵活性和能力。在这种环境中，入口点服务器(ES)可能必须不断地做出关于应当为新创建的对象选择哪些片段的决策。通常，这些决策是基于硬编码的算法或基于在托管环境中“全局地”定义的策略来做出的。然而，这些决策制定机制可能无法动态地改变策略或本地地设置策略，以使得可以针对命名空间的不同目录或层级设置不同策略。此外，这种机制可能由于策略改变和/或对存储片段的控制的迁移而要求对命名空间的子树的中间节点的频繁的重新验证。此外，这些机制可能不是响应充足的以快速地对这种策略的偶尔改变做出反应，从而尽管有潜在的数千个参与的服务器也能传播这种改变。示例可以定义放置规则或策略并且将其与命名空间中的位置以及与数据起源的点动态地进行关联。示例设备可以包括集合单元和策略单元。集合单元可以创建和/或更新分布式文件系统的一个或多个存储片段的多个片段集合。存储片段可以受独立地控制。策略单元可以将放置策略分配给多个片段集合中的每个片段集合。放置策略可以针对所分配的存储集合来控制对象至一个或多个存储片段的初始放置和/或重新定位。因此，示例可以提供了用于在高度可扩展的异构环境中决定新创建的对象的放置的方法、机制、和/或实现。示例可以解决不同类型的存储、地理分布、故障线路的问题并且将其与不同类型的数据进行关联，以及基于分层规则来定义时间和文件属性并描述其实现的约束。现在参考附图，图1是将放置策略分配给片段集合的设备100的示例框图。设备100可以与对存储片段进行访问的任何类型的设备(例如服务器、计算机、网络设备、无线设备、精简客户端等)连接或者包括在其中。在图1中，设备100示出为包括集合单元110和策略单元120。集合单元110和策略单元120可以包括：例如，包括用于实现下文所描述的功能的电子电路的硬件设备，诸如控制逻辑和/或存储器。此外或作为替代，集合单元110和策略单元120可以实现为编码在机器可读存储介质上并可由处理器执行的一系列指令。集合单元110可以创建和/或更新分布式文件系统的一个或多个存储片段(未示出)的多个片段集合。存储片段可以受独立地控制。存储片段210的示例可以包括单独的固态驱动器(SSD)、硬盘驱动器(HDD)和/或任何其它类型的存储设备。存储片段可以位于地理上不同的区域和/或具有不同的属性。例如，SSD存储片段可以具有更低的延迟但还比SSD存储片段具有较低的存储容量。此外，一些存储片段可能更靠近商业机构的第一办公位置，而其它存储片段可能更靠近第二位置。片段集合可以表示对存储片段的逻辑归组。此外，片段集合可以存储在服务器(未示出)处或可由服务器访问的数据库处。策略单元120可以将放置策略分配给多个片段集合中的每个片段集合。放置策略可以针对所分配的存储集合来控制对象(未示出)至一个或多个存储片段的初始放置和/或重新定位。例如，每个片段集合可以具有名
称并且包括存储片段的列表和放置策略。例如，图1将策略单元120示出为包括多个策略122。此外，图1的集合单元110示出为包括两个示例片段集合112和114。然而，示例可以包括多于或少于两个片段集合。第一片段集合112示出为包括至少第一和第二片段并与第一策略相关联。然而，片段集合的示例可以包括多于或少于两个存储片段集合。这里，第一策略可以确定第一集合的存储片段中的哪些存储片段用于存储对象。第二片段集合114示出为包括相同的第一片段和第五片段并与第二策略相关联。第二策略可以不同于第一策略。因此，示例可以允许存储片段被包括在多于一个片段集合中。此外，第二片段集合114示出为包括第一片段集合112。因此，片段集合的示例可以包括作为子集的另一个片段集合。该子集可以包括存储片段中的一个或多个存储片段并且被分配独立于包括该子集的片段集合的策略的策略。下文将参照图2更详细地说明集合单元110和策略单元120。图2是包括将放置策略传播和分配给目录节点的设备200的分布式文件系统250的示例框图。设备200可以与对存储片段进行选择的任何类型的设备(例如服务器、计算机、网络设备、无线设备、精简客户端等)连接或者包括在其中。图2的设备200-1可以包括图1的设备100的功能和/或硬件。例如，设备200-1包括图1的设备100的集合单元110和策略单元120。此外，设备200-1包括对象单元230、继承字段240和中间目录节点的列表250。设备200-2和200-3可以包括与设备200-1本文档来自技高网...

【技术保护点】
一种设备，包括：集合单元，其用于对分布式文件系统的一个或多个存储片段的多个片段集合进行创建和更新中的至少一种，所述存储片段受独立地控制；以及策略单元，其用于将放置策略分配给所述多个片段集合中的每个片段集合，所述放置策略用于针对所分配的存储集合来控制对象至所述一个或多个存储片段的初始放置和重新定位中的至少一种。

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：集合单元，其用于对分布式文件系统的一个或多个存储片段的多个片段集合进行创建和更新中的至少一种，所述存储片段受独立地控制；以及策略单元，其用于将放置策略分配给所述多个片段集合中的每个片段集合，所述放置策略用于针对所分配的存储集合来控制对象至所述一个或多个存储片段的初始放置和重新定位中的至少一种。2.根据权利要求1所述的设备，其中，所述多个片段集合中的至少两个片段集合与命名空间的不同层级相关联，并且所述策略单元用于将不同的放置策略分配给与所述命名空间的不同层级相关联的所述至少两个片段集合。3.根据权利要求1所述的设备，其中，所述放置策略包括不同的规则以用于不同类型的所述对象，所述集合单元用于基于所述分布式文件系统的存储片段特性、目标服务器(DS)关联和地理分布中的至少一个的差异，来对所述片段集合进行创建或更新中的至少一种，并且存储片段特性包括不同延时、能效、针对读取随机数据的优化、针对更快存储大量数据的优化中的至少一个。4.根据权利要求1所述的设备，其中，所述放置策略用于基于指定的存储片段、随机选择、所述存储片段的片段集合、所述存储片段的目录、所述存储片段的目标服务器(DS)、所述存储片段的存储接口、加权和确定性算法中的至少一个，来控制所述对象至所述一个或多个存储片段的所述初始放置，加权是基于自由空间、延时和对所述存储片段的访问的数量中的至少一个，并且所述确定性算法是基于以下各项中的至少一项：循环和选择所述片段集合的子集。5.根据权利要求1所述的设备，其中，所述放置策略用于基于所述对象的属性来控制所述对象至所述一个或多个存储片段的重新定位，所述属性与所述对象的大小、所有权、对象类型、对象名称和时间特性中的至少一个有关，并且所述时间特性与对所述对象进行访问的时间、对所述对象进行修改的时间、对所述对象的索引节点进行改变的时间中的至少一项有关。6.根据权利要求1所述的设备，其中，所述命名空间是根据包括多个节点的树数据结构来组织的，所述片段集合中的每个片段集合与所述节点中的至少一个节点相关联，并且所述节点中的每个节点与继承字段相关联，所述继承字段用于确定在较高节点处的放置策略的至少部分是否已下降至较低节点。7.根据权利要求5所述的设备，其中，如果与子女节点相关联的片段集合缺少放置策略，则与所述子女节点相关联的所述片段集合继承与父母节点相关联的片段集合的放置策略的至少部分，并且如果与所述子女节点相关联的所述片段集合的放置策略的至少部分和与所述父母节点相关联的放置策略的至少部分相矛盾和/或比与所述父母节点相关联的放置策略的至少部分更具体，则与所述子女节点相关联的所述片段集合的放置策略的至少部分补充与所述父母节...

【专利技术属性】
技术研发人员：B·朱克曼，P·S·那加拉詹，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：美国;US