分布式文件系统中的分层存储技术方案

文件服务器从用户设备接收对数据的请求。数据在文件服务器处由虚拟集群描述符来表示。文件服务器使用虚拟集群描述符的标识符来查询标识符映射。响应于标识符映射指示所请求的数据被存储在远离文件服务器的位置，文件服务器访问冷层转换表，冷层转换表存储多个虚拟集群描述符中的每个虚拟集群描述符的标识符与关联于相应虚拟集群描述符的数据的存储位置之间的映射。使用虚拟集群描述符的标识符来查询冷层转换表以标识所请求的数据的存储位置，并且将数据从所标识的存储位置加载到文件服务器。

【技术实现步骤摘要】
【国外来华专利技术】分布式文件系统中的分层存储相关申请的交叉引用本申请要求于2018年8月16日提交的美国专利申请第16/xxx,xxx号和于2017年8月16日提交的美国专利申请第62/546,272号的权益，其全部内容通过引用并入本文。
公开的各种实施例涉及分布式文件系统，并且更具体地涉及分布式文件系统中的分层存储。
技术介绍
企业正在寻找能够满足低成本存储(通常在外部位置)同时保持高速数据访问的矛盾要求的解决方案。他们还希望拥有几乎无限的存储容量。使用当前方法，用户通常必须购买效率低下且昂贵的第三方产品(诸如云网关)并且引入了管理和应用复杂性。在尝试将冷数据传输到冷存储层时，现代大数据系统中还存在一些其他附加考虑，其中“冷”或“冻”数据是很少访问的数据。很多低成本对象存储库(诸如亚马逊S3或Azure对象存储库)的一个特定方面是，优选使对象存储库中的对象相对较大(10MB或更大)。可以存储小得多的对象，但是存储效率、性能和成本考虑使得使用较大对象的设计更为优选。例如，在现代大数据系统中，可能存在大量文件。例如，这些系统中的一些本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在文件服务器处从用户设备接收对由虚拟集群描述符表示的数据的请求；/n使用所述虚拟集群描述符的标识符来查询标识符映射；/n响应于所述标识符映射指示所请求的所述数据被存储在远离所述文件服务器的位置，访问冷层转换表，所述冷层转换表存储多个虚拟集群描述符中的每个虚拟集群描述符的标识符与关联于相应虚拟集群描述符的数据的存储位置之间的映射；/n使用与所请求的所述数据相关联的所述虚拟集群描述符的所述标识符来查询所述冷层转换表以标识所请求的所述数据的存储位置；以及/n将所请求的所述数据从所标识的所述存储位置加载到所述文件服务器。/n

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：
在文件服务器处从用户设备接收对由虚拟集群描述符表示的数据的请求；
使用所述虚拟集群描述符的标识符来查询标识符映射；
响应于所述标识符映射指示所请求的所述数据被存储在远离所述文件服务器的位置，访问冷层转换表，所述冷层转换表存储多个虚拟集群描述符中的每个虚拟集群描述符的标识符与关联于相应虚拟集群描述符的数据的存储位置之间的映射；
使用与所请求的所述数据相关联的所述虚拟集群描述符的所述标识符来查询所述冷层转换表以标识所请求的所述数据的存储位置；以及
将所请求的所述数据从所标识的所述存储位置加载到所述文件服务器。


2.根据权利要求1所述的方法，还包括：
响应于所述标识符映射指示所请求的所述数据被本地存储在所述文件服务器处，从所述文件服务器取回所请求的所述数据并且将所请求的所述数据提供给所述用户设备。


3.根据权利要求1所述的方法，还包括：
进一步响应于所述标识符映射指示所请求的所述数据被存储在远离所述文件服务器的所述位置，向所述用户设备发送通知，所述通知引起所述用户设备在指定时间间隔之后重新发送对数据的所述请求。


4.根据权利要求3所述的方法，其中所述通知引起所述用户设备将对数据的所述请求重新发送预设次数。


5.根据权利要求3所述的方法，其中所述通知引起所述用户设备增加对数据的每个后续请求之间的时间量。


6.根据权利要求1所述的方法，还包括：
标识被存储在所述文件服务器处的、要从所述文件服务器被卸载到远离所述文件服务器的新位置的数据集，所标识的所述数据集与第二虚拟集群描述符相关联；以及
更新所述冷层转换表以将所述第二虚拟集群描述符的标识符映射到远离所述文件服务器的所述新位置。


7.根据权利要求1所述的方法，其中如果与虚拟集群描述符相对应的数据被存储在所述文件服务器处，则所述标识符映射存储所述虚拟集群描述符的标识符与所述文件服务器处的物理存储位置之间的映射，并且其中如果与所述虚拟集群描述符相对应的所述数据远离所述文件服务器被存储，则所述标识符映射存储所述虚拟集群描述符的所述标识符与空白位置之间的映射。


8.一种方法，包括：
在文件服务器处接收对被存储在远离所述文件服务器的冷存储位置处的数据的请求；
访问冷层转换表，所述冷层转换表存储多个虚拟集群描述符中的每个虚拟集群描述符的标识符与关联于相应虚拟集群描述符的数据的存储位置之间的映射；
使用与所请求的所述数据相关联的虚拟集群描述符的标识符来查询所述冷层转换表以标识所请求的所述数据的存储位置；以及
将所请求的所述数据从所标识的所述存储位置加载到所述文件服务器。


9.根据权利要求8所述的方法，还包括：
在所述文件服务器处存储标识符映射，如果与虚拟集群描述符相对应的数据被存储在所述文件服务器处，则所述标识符映射存储所述虚拟集群描述符的标识符与所述文件服务器处的物理存储位置之间的映射，并且如果与所述虚拟集群描述符相对应的所述数据远离所述文件服务器被存储，则所述标识符映射存储所述虚拟集群描述符的所述标识符与空白位置之间的映射。


10.根据权利要求9所述的方法，还包括：
使用与所请求的所述数据相关联的所...

【专利技术属性】
技术研发人员：U·V·萨拉蒂，A·A·潘德，K·拉斯托基，G·P·雷迪蒂，N·布帕雷，R·波度，C·G·K·B·萨纳帕拉，P·炯纳拉，A·桑万，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：美国;US