投影存储网关制造技术

本发明专利技术公开了用于将存储在本地存储器上的数据投影到由服务提供商提供的远程存储器的方法、设备以及计算机可访问存储介质。网关可以被配置为用于将存储在本地存储器上的数据投影到由服务提供商提供的远程存储器的方法、设备以及计算机可访问存储介质。响应于接收配置信息，可以将网关配置为客户网络上的投影网关。所述投影网关可以接收对所述本地存储器的读取和写入。所述网关将请求传递到所述本地存储器，并且还将由所述写入指示的写数据上传到所述服务提供商，以便更新所述本地存储器的由所述服务提供商在所述远程存储器上进行维护的快照。写数据可被缓冲到写日志用于上传，并且可以根据由所述服务提供商使用的块存储格式将其作为块进行上传。投影过程对于所述客户网络上的进程可以是透明的。所投影的数据可以用于恢复所述本地存储器上的数据。

【技术实现步骤摘要】
【国外来华专利技术】投影存储网关专利技术背景许多公司和其它组织操作互连众多计算系统的计算机网络以支持其运营，例如其中所述计算系统位于同一位置(例如，作为本地网络的一部分)或者位于多个不同的地理位置中(例如，经由一个或多个私有或公共中间网络连接)。例如，包括显著数量的互连的数字计算系统的数据中心已变得司空见惯，如由单一组织操作的私有数据中心和由实体进行商业运营来为客户提供计算资源的公共数据中心。一些公共数据中心运营商为由各种客户所拥有的硬件提供网络接入、电源以及安全安装设施，而其它公共数据中心运营商提供还包括可供其客户使用的硬件资源的“全方位服务”设施。然而，随着典型的数据中心的规模和范围不断增加，供应、管理以及支配物理计算资源的任务已变得日益复杂。用于商用硬件的虚拟化技术的出现已为具有多样化需求的众多客户提供关于管理大规模计算资源的益处，从而允许各种计算资源高效且安全地由多个客户共享。例如，虚拟化技术可以通过为每个用户提供由单一物理计算机托管的一个或多个虚拟机而允许所述单一物理计算机在多个用户之间共享，其中每个这样的虚拟机是充当不同逻辑计算系统的软件模拟，所述软件模拟为用户提供了以为自己是给定硬件计算资源的唯一操作者和管理员的错觉，同时还提供了各种虚拟机之间的应用程序隔离和安全性。此外，一些虚拟化技术能够提供跨越两个或更多个物理资源的虚拟资源，如具有跨越多个不同的物理计算系统的多个虚拟处理器的单一虚拟机。作为另一实例，虚拟化技术可以通过为每个用户提供虚拟化的数据存储器而允许数据存储硬件在多个用户之间共享，所述虚拟化的数据存储器可以跨多个数据存储装置分布，其中每个这样的虚拟化的数据存储器充当不同的逻辑数据存储器，所述逻辑数据存储器为用户提供了以为自己是数据存储资源的唯一操作者和管理员的错觉。Web 服备常规的Web模型允许客户端经由HTTP客户端程序(如Web浏览器)访问Web资源(例如，应用程序、服务和数据)。已开发了被称为Web服务的技术以提供对Web资源的编程访问。Web服务可以用来提供经由Web服务接口对Web资源的编程访问，所述Web资源包括托管在Web连接的计算机(如Web服务器系统)上的技术平台(如应用程序和服务)和数据(例如，产品目录和其它数据库)。一般来说，Web服务接口可以被配置来提供标准的、跨平台的API (应用编程接口)用于请求待执行一些服务的客户端与服务提供商之间的通信。在一些实施方式中，Web服务接口可以被配置成支持文档或消息的交换，所述文档或消息包括描述服务请求和对此请求的响应的信息。这类文档或消息可以使用标准化的Web协议(例如超文本传输协议(HTTP))进行交换并且可以以与平台无关的数据格式(例如可扩展标记语言(XML))进行格式化。【附图说明】图1是根据至少一些实施方案的示例网络环境的概要框图，所述网络环境包括示例服务提供商和示例服务客户。图2示出根据至少一些实施方案的用于存储网关的示例体系结构和所述存储网关的部件。图3是其中可以实施存储网关的实施方案的示例网络环境的概要框图。图4是根据至少一些实施方案的示例网络环境的框图，所述网络环境包括在位于服务客户网络处的站点上的存储网关，所述存储网关用作服务客户网络与服务提供商网络上的存储服务之间的接口。图5是根据至少一些实施方案的示例服务提供商的框图，所述服务提供商为其客户提供存储服务和硬件虚拟化服务。图6是宽泛地示出示例网络环境的体系结构和所述网络环境中的数据流的概要框图，在所述网络环境中存储网关的实施方案被配置为高速缓存网关。图7是宽泛地示出示例网络环境的体系结构和所述网络环境中的数据流的概要框图，在所述网络环境中存储网关的实施方案被配置为投影(shadowing)网关。图8是根据至少一些实施方案的宽泛地示出在示例网络环境中自举投影网关的概要框图。图9是根据至少一些实施方案的用于投影网关的自举过程的流程图。图10是根据至少一些实施方案的投影网关进入直通模式并从其中恢复的流程图。图11是根据至少一些实施方案的用于从网关上传、更新并跟踪块到远程数据存储器的方法的流程图。图12是根据至少一些实施方案的用于投影网关的优化的自举过程的流程图。图13示出根据至少一些实施方案的存储网关安全模型的方面。图14是根据至少一些实施方案的示出网关安全模型在存储网关的激活、配置以及操作过程中的至少一些方面的流程图。图15是根据至少一些实施方案的示例网络环境的概要框图，其示出参与网关激活过程的服务客户和服务提供商部件或实体。图16A和图16B是根据至少一些实施方案的示出在网关激活过程中图15中所示的部件之间的相互作用的过程流程图。图17A和图17B是根据至少一些实施方案的从存储网关的角度来看的激活过程的流程图。图18是示出可以在至少一些实施方案中采用的示例网关控制体系结构的概要框图。图19是根据至少一些实施方案的用于使用网关发起连接和长轮询技术的远程网关管理的方法的流程图。图20是根据一些实施方案的用于网关控制服务器向其对等服务器广播网关请求的方法的流程图。图21是根据一些实施方案的用于将网关请求发送到适当的网关控制服务器的替代性方法的流程图。图22是根据至少一些实施方案的用于建立、监测并维护网关发起的连接的方法的流程图。图23A是根据至少一些实施方案的宽泛地示出用于包括网关代理平面的服务提供商网络的体系结构的框图。图23B示出根据至少一些实施方案的通过网关代理平面向网关发送消息的网关控制服务器。图23C示出根据至少一些实施方案的通过所述网关代理平面响应网关控制服务器请求的网关。图23D示出根据至少一些实施方案的用于网关代理平面的ping消息交换。图24示出根据至少一些实施方案的用于高速缓存网关的通用体系结构和所述高速缓存网关的数据I/O操作。图25示出根据至少一些实施方案的用于投影网关的通用体系结构和所述投影网关的数据I/o操作。图26是根据至少一些实施方案的用于向块数据存储器上的写日志进行写入的方法的流程图。图27是根据高速缓存网关的至少一些实施方案的用于满足读请求的方法的流程图。图28是示出可以在一些实施方案中使用的示例计算机系统的框图。虽然在本文中通过列举若干实施方案和示意性附图的实例的方式描述了实施方案，本领域的技术人员应认识到，实施方案并不限于所描述的实施方案或附图。应理解，附图和对附图的详细描述并非旨在将实施方案限制为所公开的特定形式，而是相反，其意图在于涵盖落入由所附权利要求书所限定的精神和范围内的所有修改、等同物以及替代物。本文中所用的标题仅用于组织目的，并且并不意在用来限制说明书或权利要求书的范围。如贯穿本申请所用，词语“可以”是以宽松意义(即，意味着有可能)而不是强制意义(即，意味着必须)使用。类似地,词语“包括(include/including/includes)”意味着包括但不限于。【具体实施方式】本文中描述了用于为远程存储器提供本地网关的方法、设备以及计算机可存取存储介质的各种实施方案。本文在服务提供商的上下文中描述了存储网关的实施方案，所述服务提供商通过中间网络(如互联网)向服务提供商的一个或多个客户提供存储服务。所述存储网关可以实施为内置安装在客户的数据中心处并充当所述客户的数据中心与所述存储服务之间的网关的虚拟或物理设本文档来自技高网...

【技术保护点】
一种装置，其包括：至少一个处理器；以及包括程序指令的存储器，其中所述程序指令可由所述至少一个处理器执行来实施网关进程，所述网关进程可操作以：从客户网络上的一个或多个进程接收定向到所述客户网络上的本地数据存储器的读请求和写请求；将所述读请求和所述写请求传递到所述本地数据存储器；以及将由所述写请求指示的写数据发送到服务提供商，以便用所述写数据更新所述本地数据存储器的由所述服务提供商在所述远程数据存储器上进行维护的快照。

【技术特征摘要】
【国外来华专利技术】2011.06.30 US 13/174,5051.一种装置，其包括: 至少一个处理器；以及 包括程序指令的存储器，其中所述程序指令可由所述至少一个处理器执行来实施网关进程，所述网关进程可操作以: 从客户网络上的一个或多个进程接收定向到所述客户网络上的本地数据存储器的读请求和写请求； 将所述读请求和所述写请求传递到所述本地数据存储器；以及 将由所述写请求指示的写数据发送到服务提供商，以便用所述写数据更新所述本地数据存储器的由所述服务提供商在所述远程数据存储器上进行维护的快照。2.如权利要求1所述的装置，其中所述网关进程可操作来将存储在所述本地数据存储器上的数据的至少一部分上传到所述服务提供商，以便使得所述本地数据存储器的所述快照与所述本地数据存储器相一致。3.如权利要求1所述的装置，其中所述客户网络上的所述一个或多个进程向由所述存储网关在所述客户网络上公开的一个或多个数据端口发起所述读请求和所述写请求。4.如权利要求1所述的装置，其中所述网关进程可操作来异步地执行以下操作:所述将所述写数据发送到所述服务提供商，和所述将所述读请求和所述写请求传递到所述本地数据存储器，以及将对所述读请求和所述写请求的响应从所述本地数据存储器返回给所述发起进程。5.如权利要求1所述的装置，其中所述网关进程进一步可操作以从所述本地数据存储器的所述快照恢复所述本地数据存储器中的至少一些数据。6.如权利要求1所述的装置，其中为了将由所述写请求指示的写数据发送到服务提供商，所述网关进程进一步可操作以: 将所述写数据缓冲到写日志；以及 将所缓冲的写数据从所述写日志上传到所述服务提供商。7.如权利要求6所述的装置，其中所述上传是根据数据重复数据删除技术执行。8.如权利要求1所述的装置，其中所述本地数据存储器的所述快照是由所述服务提供商在所述远程数据存储器上以块格式进行维护，且其中为了将由所述写请求指示的写数据发送到所述服务提供商，所述...

【专利技术属性】
技术研发人员：J·C·索伦森三世，林韵，D·C·萨尔耶斯，A·科特拉帕尔，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：美国;US