从备份系统流式恢复数据库技术方案

分布式数据仓库系统可代表客户将数据块保持在数据存储的多个集群中。每个集群可包括单个领导节点和多个计算节点，每个节点包括存储数据的多个磁盘。所述仓库系统可将每个数据块的主要和次要副本存储在集群中不同磁盘或节点上。每个节点可包括数据结构，所述数据结构保持关于被存储在所述节点上的每个数据块的元数据，所述元数据包括所述数据块的唯一标识符。所述仓库系统可在远程关键字-值备份存储系统中具有高耐久性地备份数据块。流式恢复操作可用以使用数据块的唯一标识符作为密钥来从备份存储检索数据块。所述仓库系统可在完成所述恢复操作之前服务于传入查询(且可通过根据需要从备份存储检索数据来满足一些查询)。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
分布式存储服务可包括在例如一个或多个计算机集群的分布式硬件基础设施上执行的多个并发进程。这些进程中的各种进程可在集群中不同物理和/或逻辑(例如，虚拟)机器上执行。在存储服务中，例如，在不同机器上的进程(例如，软件服务器)可各自将编程接口暴露给客户端，客户端可使用所述编程接口来访问可在多个存储资源上实施的存储系统。存储服务可存储系统中每个数据项的多个复本，使得一个服务器上的数据项的任何改变必须被传播到一个或多个其它服务器。一旦节点或磁盘驱动器出现故障，发生故障的设备上的数据必须被恢复。在提供数据库服务的许多现有存储系统中，整个数据集必须被恢复(例如，从备份或归档文件恢复)，然后系统才可恢复接受并处理查询。在执行增量备份的一些系统中，设备出现故障后恢复系统涉及执行多个增量恢复操作(对应于多个增量备份操作)。在其它存储系统中，设备出现故障后恢复系统涉及追踪事务记录来重建系统的状态。对于包括大量存储设备的数据仓库系统，系统必须停止服务以在一个或少数设备上执行恢复操作的时间量可代表系统的显著成本。【附图说明】图1是示出从远程关键字-值持久存储系统执行流式恢复操作的方法的一个实施方案的流程图。图2是示出根据一些实施方案从客户的角度来看的分布式数据仓库服务的各种部件的框图。图3是示出根据一个实施方案的分布式数据仓库系统的各种部件的框图。图4是示出根据一个实施方案的分布式数据仓库系统中集群的框图。图5是示出根据一个实施方案的超级块数据结构的框图。图6是示出根据一个实施方案的用于备份被存储在分布式数据仓库系统中的数据的远程关键字-值持久存储系统的使用的框图。图7是示出用于将数据块存储在分布式数据仓库系统中的方法的一个实施方案的流程图。图8是示出用于在分布式数据仓库系统中执行备份操作的方法的一个实施方案的流程图。图9A-9B描绘了示出用于在分布式数据仓库系统中出现故障之后重建数据块的方法的一个实施方案的流程图。图10是示出用于在分布式数据仓库系统中响应于查询请求的方法的一个实施方案的流程图。图11是示出用于响应于查询而确定返回数据块的哪个副本的方法的一个实施方案的流程图。图12是示出用于从远程关键字-值持久存储系统临时接入数据块的备份副本来满足查询的方法的一个实施方案的流程图。图13是示出用于以优先次序从远程关键字-值持久存储系统恢复分布式数据仓库系统中的数据块的方法的一个实施方案的流程图。图14是示出用于确定从关键字-值持久备份存储恢复数据块的顺序的方法的一个实施方案的流程图。图15是示出根据各种实施方案被配置以实施分布式数据仓库系统和对应关键字-值持久备份存储系统的至少一部分的计算机系统的框图。虽然本文以若干实施方案和说明性附图举例描述了实施方案，但是本领域技术人员将认识到，实施方案并不限于所描述的实施方案或附图。应理解，附图及其详细描述不旨在将实施方案限制为所公开的具体形式，相反，意图在于涵盖落入如由所附权利要求书所限定的精神和范围内的所有的修改、等效物和替代物。本文所用的标题仅用于组织目的，而非意味着被用来限制本说明书或权利要求书的范围。如本申请通篇所使用，词语“可”用于宽容的意义(即，意思是有可能)，而非强制的意义(即，意思是必须)。类似地，词语“包括(include/including/includes) ”的意思是包括但不限于。【具体实施方式】在一些实施方案中，本文所描述的系统可实施使得客户(例如，用户)在云计算环境中快速、简单且具有成本效益地设置、操作并缩放数据仓库的网络服务。网络服务可管理费时的管理任务，从而允许用户专注于他们自己的应用和业务。在一些实施方案中，数据仓库系统可为高度可伸缩且可扩展的企业级数据库查询和管理系统。它可提供对结构化数据的快速查询功能，可提供与各种数据加载和ETL(提取、转换和加载)工具的集成，可向客户连接提供一流的商务智能(BI)报告、数据挖掘和分析工具，且可被优化以非常快速地执行复杂的分析查询，例如包括多表连接、子查询和聚集的分析查询。在一些实施方案中，查询可被分布并平行放置于多个物理资源上，且数据仓库系统可在需要的基础上被放大或缩小。在一些实施方案中，用户可仅支付他们所使用的资源。在不同的实施方案中，数据仓库系统可有效地适用于各种类型和/或组织的数据库模式。在一些实施方案中，本文所描述的分布式数据仓库系统可从使用分治策略来执行编译查询的计算节点的大规模并行处理(MPP)和集群的使用导出性能和快速计算能力中的一些。在一些实施方案中，集群可包括一个或多个节点，每个节点包括一个或多个磁盘、固态设备或代表客户存储数据块的其它永久存储设备。在一些实施方案中，客户/用户可能以例如交互地通过至数据仓库系统的SQL接口的多种方式来提交查询。在其它实施方案中，外部应用和程序可使用至数据仓库系统的开放式数据库连接(ODBC)和/或Java数据库连接(JDBC)驱动程序接口来提交查询。在典型的大型数据库系统中，从备份恢复数据需要的时间可代表系统的显著成本。例如，在许多现有的系统中，在数据库系统故障之后需要恢复整个数据集，然后数据库系统才可重新启动。在一些实施方案中，本文描述的数据仓库系统可被配置以增量地(例如，一次一个物理数据块)将数据(例如，组成各种数据库表的数据)备份到远程关键字-值存储系统，且作为每个增量备份操作的一部分，将所有数据块的列表存储到系统中，而不管它们是作为所述增量备份的一部分而备份或是作为先前增量备份操作的一部分而备份。在一些实施方案中，远程关键字-值存储系统可专用于备份存储，而在其它实施方案中，远程关键字-值存储系统可提供通用存储以用于各种客户和/或客户应用。在各种实施方案中，数据仓库系统、通用计算系统或提供将数据本地存储于存储器(例如，短暂地)中的另一种类型的服务的计算系统可将数据的一个或多个副本写入远程关键字-值存储系统，所述远程关键字-值存储系统采用磁盘、固态存储设备或另一类型的持续性的存储介质以提供耐久性。如下文更详细地描述，本文所述的数据仓库系统可能能够在故障之后重新启动代表存储系统用户存储数据(例如，在数据库中)的集群(即，允许其接受并提供查询)，而无需等待从备份恢复整个数据集。相反，任何丢失或破坏的数据块的备份副本可通过使用数据块的唯一标识符作为密钥以直接在远程系统中对其进行寻址来从备份系统流入数据仓库系统的存储器。注意，在本文的描述中，术语“数据块”和“物理数据块”可用以代表被代表客户(例如，用户、客户端应用和/或数据仓库服务用户)存储在分布式数据仓库系统和/或远程关键字-值持久备份存储系统中作为个别(或可分离)对象的数据的部分(或块)，或可用以代表当数据被存储在分布式数据仓库系统中物理磁盘上，被存储在分布式仓库系统中(例如，在实施存储器内数据库的系统中)节点上的系统存储器中和/或被存储在远程关键字-值持久备份存储系统中时数据的部分(或块)，这取决于这些术语出现的上下文。在一些实施方案中，数据可被存储在具有与被存储在系统的存储器架构中的数据的标准单位的尺寸相同尺寸的数据块中，其可对应于存储器中的“页”。在其它实施方案中，数据块的大小可能与存储器的页面大小不同。在一些实施方案中，本文所述的分布式数据仓库系统可在系统中本地本文档来自技高网...

【技术保护点】
一种方法，其包括：由一个或多个计算机来执行以下操作：代表一个或多个客户将数据库表的列数据存储在分布式数据存储系统的多个物理数据块中，其中所述分布式数据存储系统包括一个或多个节点的集群，每个节点包括上面存储物理数据块的一个或多个磁盘，且其中所述多个物理数据块中每一个与各自的唯一标识符相关；将所述多个物理数据块中每一个的副本存储在远程关键字‑值持久备份存储系统中，其中对于所述多个物理数据块中每一个，所述各自的唯一标识符充当密钥，以访问所述远程关键字‑值持久备份存储系统中的所述数据块；检测所述分布式数据存储系统中影响存储所述列数据的所述多个物理数据块中至少一个的故障；响应于所述检测，自动启动从所述远程关键字‑值持久备份存储系统恢复被存储在所述多个物理数据块中所述至少一个中的所述列数据；和在恢复被存储在所述多个物理数据块中所述至少一个中的所述列数据中所有列数据之前：接收针对所述数据库表的所述列数据的一个或多个查询请求；和接受并服务于所述一个或多个查询请求，其中所述服务包括使用所述各自的唯一标识符作为密钥以访问包括所述一个或多个查询请求所针对的所述数据库表的所述列数据中至少一些的所述远程关键字‑值持久备份存储系统中的数据块来从所述远程关键字‑值持久备份存储系统获得所述列数据中所述至少一些。...

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：A·W·古普塔，J·库莱斯扎，D·阿加瓦尔，A·瑟纳，T·亚恩，Z·冯，S·斯泰法尼，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：美国;US