在不同存储系统中对大文件的部分存储技术方案

技术编号:21958959 阅读:21 留言:0更新日期:2019-08-24 22:16
描述了用于在不同存储系统中提供对大文件的部分存储的各种方法。存储服务发起操作以通过确定文件的快速访问部分和慢速访问部分来提供对大文件的存储。文件的快速访问部分存储在快速访问存储系统中,并且文件的慢速访问部分(或整个文件)存储在慢速访问存储系统中。响应于对文件的访问请求,从快速访问存储系统提供文件的快速访问部分。接着,在提供文件的快速访问部分的同时从慢速访问存储系统取回文件的慢速访问部分。

Partial Storage of Large Files in Different Storage Systems

【技术实现步骤摘要】
【国外来华专利技术】在不同存储系统中对大文件的部分存储
技术介绍
信息交换已改变了与工作和个人环境相关联的过程。过程的自动化和改善已扩展了针对个人和企业消费提供的能力范围。随着更快和更小的电子产品的发展,在云系统上执行大规模过程已变得可行。实际上,由数据中心、数据仓库、数据工作站提供的应用已成为现代个人和工作环境中的常见特征。这些系统执行从企业资源管理应用到存储管理工具的多种多样的应用。云存储提供商越来越多地用于跨多个客户端存储和/或共享内容,其中云存储提供商具有自动同步客户端和云存储之间的内容的引擎。然而,在管理大文件的长期存储时,目前存在显著的差距。不必要地消耗存储资源来管理很少访问的大文件。在存储和提供对大文件的访问时,缺乏相关存储技术导致对存储资源的不良管理。
技术实现思路
提供本
技术实现思路
以用简化形式引入一些概念,这些概念以下在详细描述中进一步描述。本
技术实现思路
并非旨在标识所要求保护的主题内容的关键特征或必要特征,也并非旨在帮助确定所要求保护的主题内容的范围。实施例涉及在不同存储系统中对大文件的部分存储。根据实施例,存储服务可以发起操作以通过确定文件的快速访问部分和慢速访问部分来提供对大文件的存储。文件的快速访问部分可以存储在快速访问存储系统中,并且文件的慢速访问部分或整个文件可以存储在慢速访问存储系统中。在接收到对文件的访问请求时,可以从快速访问存储系统提供文件的快速访问部分。此外,可以在提供文件的快速访问部分的同时从慢速访问存储系统取回文件的慢速访问部分。慢速访问存储系统可以取代针对快速访问存储系统的需求,并且因此提供相对于快速访问存储系统的资源节省。通过阅读以下详细描述和对相关附图的查阅,这些和其它特征和优点将是显而易见的。要理解,前述一般描述和以下的详细描述两者都是说明性的,并不限制所要求保护的各方面。附图说明图1是根据实施例示出了在不同存储系统中提供对大文件的部分存储的示例的概念图;图2是根据实施例示出了存储服务的示例性组件的显示图,该存储服务在不同存储系统中提供对大文件的部分存储;图3是根据实施例示出了用于在不同存储系统中提供对大文件的部分存储的方案的组件的显示图;图4是根据实施例示出了由被配置为在不同存储系统中提供对大文件的部分存储的存储服务进行的错误处理的显示图;图5是其中可以实现根据各实施例的系统的简化联网环境;图6是根据实施例的示例性计算设备的框图,该示例性计算设备可以用于在不同存储系统中提供对大文件的部分存储;以及图7是根据实施例示出了用于在不同存储系统中提供对大文件的部分存储的过程的逻辑流程图。具体实施方式如上面简要描述的,存储服务可以在不同存储系统中提供对大文件的部分存储。在示例性场景中,存储服务可以确定文件的快速访问部分和慢速访问部分。文件的快速访问部分可以是文件的用于将文件流式传输到文件请求方的头部,而文件的慢速访问部分(例如尾部)或整个文件可以被取回以用于流式传输到文件请求方。文件的快速访问部分可以存储在快速访问存储系统中,并且文件的慢速访问部分或整个文件可以存储在慢速访问存储系统中。在示例性场景中,基于云的文件存储方案可以通过将文件划分为快速访问部分和慢速访问部分来平衡文件访问和存储。快速访问部分可以存储在诸如本地文件存储之类的快速访问存储系统中。慢速访问部分可以存储在诸如外部文件存储之类的慢速访问存储系统中。替代地,整个文件可以存储在慢速访问存储系统中。取回慢速访问部分(或整个文件)可能比访问快速访问部分花费更长的时间。因此,在接收到针对文件的请求时,可以开始取回慢速访问部分(或整个文件)以在流式传输快速访问部分之后继续将文件流式传输到请求方。响应于对文件的访问请求,可以提供文件的快速访问部分。可以从快速访问存储系统取回文件的快速访问部分并将其流式传输到请求方。接着,可以在提供文件的快速访问部分(或整个文件)的同时从慢速访问存储系统取回文件的慢速访问部分(或整个文件)以进行提供。与慢速访问存储系统(例如基于硬盘或磁带的存储解决方案)相比,快速访问存储系统的另一示例可以包括基于固态驱动器的存储解决方案。还可以基于取回由系统存储的各个部分的访问滞后来区分快速访问存储系统和慢速访问存储系统。例如,快速访问存储系统可以在低于滞后阈值的访问滞后内提供文件的快速访问部分。慢速访问存储可以在超过滞后阈值的访问滞后内提供文件的慢速访问部分(或整个文件)。在一些示例中,来自客户端应用的通知可以用于预先获取存储在慢速访问存储系统中的文件的慢速访问部分或整个文件。这可以包括对服务的推断或显式通知。对于显式通知,示例性场景可以包括在计算机上新安装云存储服务的同步客户端应用。如果客户端应用知道它将下拉用户已经存储在存储服务中的所有内容,则它可以向服务发信号通知服务应该执行来自慢速访问存储系统的所有数据的提取。在以下详细描述中,参考形成该详细描述的一部分的附图,并且在附图中通过说明、特定实施例或示例来示出。可以组合这些方面,可以利用其它方面,并且可以在不脱离本公开内容的精神或范围的情况下做出结构性改变。因此,以下详细描述不应被视为是限制性的,并且本专利技术的范围由所附权利要求及其等效方案来限定。虽然将在结合在个人计算机上的操作系统上运行的应用程序来执行的程序模块的一般上下文中描述一些实施例,但是本领域技术人员将认识到,也可以与其它程序模块组合地实现各方面。通常,程序模块包括例程、程序、组件、数据结构、以及执行特定任务或实现特定抽象数据类型的其它类型的结构。此外,本领域技术人员将意识到,可以利用其它计算机系统配置来实现各实施例,包括手持设备、微处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机、以及类似的计算设备。还可以在分布式计算环境中实现各实施例,其中由通过通信网络链接的远程处理设备来执行各任务。在分布式计算环境中,程序模块可以位于本地和远程存储器存储设备两者中。一些实施例可以被实现为计算机实现的过程(方法)、计算系统、或者被实现为制品,例如计算机程序产品或计算机可读介质。计算机程序产品可以是可由计算机系统读取的计算机存储介质,并且编码有包括指令的计算机程序,这些指令用于使得计算机或计算系统执行示例性过程。计算机可读存储介质是计算机可读存储器设备。例如,计算机可读存储介质可以经由以下各项中的一项或多项来实现:易失性计算机存储器、非易失性存储器、硬盘驱动器、闪存驱动器、软盘、或压缩盘、以及类似的硬件介质。贯穿该说明书,术语“平台”可以是用于在不同存储系统中提供对大文件的部分存储的软件和硬件组件的组合。平台的示例包括但不限于在多个服务器上执行的托管服务、在单个计算设备上执行的应用、以及类似系统。术语“服务器”通常是指执行通常在联网环境中的一个或多个软件程序的计算设备。然而,服务器也可以被实现为在一个或多个计算设备上执行的虚拟服务器(软件程序),该服务器被视为网络上的服务器。以下提供关于这些技术和示例性操作的更多细节。图1是根据各实施例示出了在不同存储系统中提供对大文件的部分存储的示例的概念图。在示图100中,服务器108可以执行存储服务102。服务器108可以包括向客户端设备提供服务和/或应用的物理服务器。服务可以包括应用执行相对于客户端应用和/或用户的操作等等。服务器108可以包括和/或是本文档来自技高网...

【技术保护点】
1.一种在计算设备上执行以在不同存储系统中提供对大文件的部分存储的方法,所述方法包括:确定文件的快速访问部分和慢速访问部分;将所述文件的所述快速访问部分存储在快速访问存储系统中,并将所述文件的所述慢速访问部分和整个所述文件中的一者存储在慢速访问存储系统中;接收对所述文件的访问请求;从所述快速访问存储系统提供所述文件的所述快速访问部分;以及在提供所述文件的所述快速访问部分的同时从所述慢速访问存储系统取回所述文件的所述慢速访问部分以进行提供。

【技术特征摘要】
【国外来华专利技术】2016.12.14 US 15/379,4671.一种在计算设备上执行以在不同存储系统中提供对大文件的部分存储的方法,所述方法包括:确定文件的快速访问部分和慢速访问部分;将所述文件的所述快速访问部分存储在快速访问存储系统中,并将所述文件的所述慢速访问部分和整个所述文件中的一者存储在慢速访问存储系统中;接收对所述文件的访问请求;从所述快速访问存储系统提供所述文件的所述快速访问部分;以及在提供所述文件的所述快速访问部分的同时从所述慢速访问存储系统取回所述文件的所述慢速访问部分以进行提供。2.根据权利要求1所述的方法,还包括:确定用于提供所述文件的所述快速访问部分和所述文件的所述慢速访问部分的最小速度阈值;以及调节所述文件的所述快速访问部分和所述慢速访问部分的传递速度以与所述最小速度阈值匹配。3.根据权利要求2所述的方法,其中,调节所述文件的所述快速访问部分和所述慢速访问部分的传递速度包括:通过减小所述快速访问部分的传递速度来与所述最小速度阈值匹配;在传递所述快速访问部分时缓冲所述慢速访问部分;以及以与所述最小速度阈值匹配的传递速度来发送经缓冲的慢速访问部分。4.根据权利要求1所述的方法,还包括:基于所述文件的属性来推断文件请求方;确定用于向所述文件请求方提供所述文件的预期传递连接的带宽;以及基于所述预期传递连接的带宽来调节用于存储在所述快速访问存储系统中的所述文件的所述快速访问部分的大小以及用于存储在所述慢速访问存储系统中的所述文件的所述慢速访问部分的大小。5.根据权利要求4所述的方法,还包括:确定所述预期传递连接的带宽将超过带宽阈值;减小所述文件的所述快速访问部分的传递速度;以及增加所述文件的所述慢速访问部分的缓冲区。6.根据权利要求1所述的方法,还包括:在预期访问时段之前检测对所述文件的至少一个访问请求;将所述文件的所述慢速访问部分存储在所述快速访问存储系统中;在将所述文件的所述慢速访问部分存储在所述快速访问存储系统中之后在所述预期访问时段内没有检测到对所述文件的访问请求;以及将所述文件的所述慢速访问部分存储在所述慢速访问存储系统中。7.一种被配置为在不同存储系统中提供对大文件的部分存储的服务器...

【专利技术属性】
技术研发人员:A·K·格洛弗J·A·巴雷托R·N·德赛
申请(专利权)人:微软技术许可有限责任公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1