数据摄取复制和灾难恢复制造技术

本公开涉及数据摄取复制和灾难恢复。本文描述了用于改善灾难恢复、特别是与数据传输请求相关的灾难恢复的技术。多个部署中的每一个可以接收数据传输请求；然而，只有主要部署可以处理该请求。由主要部署传输的数据可以被复制到次要部署中。响应于故障转移事件，次要部署中的一个可以被指定为新的主要部署，并基于数据传输请求和在故障转移之前从旧的主要部署接收到的复制信息来继续数据传输。署接收到的复制信息来继续数据传输。署接收到的复制信息来继续数据传输。

【技术实现步骤摘要】
数据摄取复制和灾难恢复


[0001]本公开总体上涉及数据系统(例如数据仓库)，并且更具体地说，涉及数据复制(replication)和灾难恢复。
[0002]背景
[0003]数据系统(例如数据库系统)可以通过云平台提供，该云平台允许组织和用户存储、管理数据以及从云中检索数据。可以采用多种技术来在云平台中的数据库或表中上传和存储数据。这些技术通常限制于在同一个云提供商中提供源表和目标表的情况。
[0004]此外，上传技术可能容易受到系统故障和灾难恢复的影响。例如，如果在上传数据时系统经历故障，则该数据的部分或全部可能丢失。
[0005]附图简述
[0006]各种附图仅示出了本公开的示例实施例，不应被视为限制其范围。
[0007]图1示出了根据一些示例实施例的示例计算环境，其中云数据库系统可以实现关于共享的数据库对象的流(stream)。
[0008]图2是示出根据一些示例实施例的计算服务管理器的部件的框图。
[0009]图3是示出根据一些示例实施例的执行平台的部件的框图。
[0010]图4是根据一些示例实施例的用于自动数据摄取(data ingestion)的系统的简化框图。
[0011]图5是根据一些示例实施例的将数据摄取到数据库中的过程500的示意性框图。
[0012]图6是根据一些示例实施例的用于具有复制的自动数据摄取的系统的简化框图。
[0013]图7示出了根据一些示例实施例的使用自动摄取来复制表的过程。
[0014]图8示出了根据一些示例实施例的用于在故障转移(failover)时进行数据复制的方法的流程图。
[0015]图9示出了根据一些示例实施例的描绘响应于故障转移事件的自动摄取的继续的场景。
[0016]图10示出了根据一些示例实施例的使用批处理式(batch style)数据传输技术来复制表的过程。
[0017]图11是根据一些示例实施例的用于具有复制的自动数据摄取的系统的简化框图。
[0018]图12示出了根据本公开的一些实施例的计算机系统形式的机器的图解表示，在该计算机系统形式的机器内可以执行指令集，以用于使机器执行本文所讨论方法中的任何一种或更多种方法。
[0019]详细描述
[0020]以下描述包括体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于解释的目的，阐述了许多具体的细节以提供对本专利技术主题的各种实施例的理解。然而，对于本领域技术人员将明显的是，可以在没有这些具体细节的情况下实施本专利技术主题的实施例。一般来说，众所周知的指令实例、协议、结构和技术没有必要详细示出。
[0021]本文描述了用于改善灾难恢复、特别是与数据传输请求相关的灾难恢复的技术。数据传输请求可以包括自动摄取请求或批处理式请求(例如“拷贝(copy)”命令)。对于自动摄取，可以预先配置多个部署来执行自动摄取，其中一个部署被指定为主要(primary)部署，而其他部署被指定为次要(secondary)部署。多个部署中的每一个部署都可以接收数据传输请求；但是，只有主要部署可以处理该请求。由主要部署传输的数据可以被复制到次要部署中。响应于故障转移事件，次要部署中的一个可以被指定为新的主要部署，并基于数据传输请求和在故障转移之前从旧的主要部署接收到的复制信息来继续数据传输。因此，用户体验得到显著改善，因为即使当在主要部署处出现系统错误，次要部署也可以无缝地完成数据传输。
[0022]图1示出了示例共享数据处理平台100。为了避免用不必要的细节模糊本专利技术主题，图中已经省略了与传达对本专利技术主题的理解不密切相关的各种功能部件。然而，本领域技术人员将容易认识到，各种附加功能部件可以被包括作为共享数据处理平台100的一部分，以有助于本文没有具体描述的附加功能。
[0023]如图所示，共享数据处理平台100包括基于网络的数据库系统102、云计算存储平台104(例如，存储平台、服务、Microsoft或Google Cloud)和远程计算设备106。基于网络的数据库系统102是云数据库系统，其用于以集成方式存储和访问数据(例如，在内部存储数据，访问外部远程定位的数据)，以及报告和分析来自一个或更多个不同源(例如，云计算存储平台104)的集成数据。云计算存储平台104包括多个计算机器，并向基于网络的数据库系统102按需提供计算机系统资源，例如数据存储和计算能力。虽然在图1所示的实施例中描绘了数据仓库，但是其他实施例可以包括其他类型的数据库或其他数据处理系统。
[0024]远程计算设备106(例如，诸如膝上型计算机的用户设备)包括一个或更多个计算机器(例如，诸如膝上型计算机的用户设备)，这些计算机器执行远程软件部件108(例如，浏览器访问的云服务)以向基于网络的数据库系统102的用户提供附加功能。远程软件部件108包括机器可读指令(例如，代码)的集合，所述机器可读指令在被远程计算设备106执行时使远程计算设备106提供某些功能。远程软件部件108可以对输入数据进行操作，并基于处理、分析或以其他方式变换输入数据来生成结果数据。作为示例，如下面进一步详细讨论的，远程软件部件108可以是启用数据库跟踪过程(例如在共享表和视图上的流)的数据提供者或数据消费者。
[0025]基于网络的数据库系统102包括访问管理系统110、计算服务管理器112、执行平台114和数据库116。访问管理系统110使管理用户能够管理对由基于网络的数据库系统102提供的资源和服务的访问。管理用户可以创建和管理用户、角色和群组，并使用许可来允许或拒绝对资源和服务的访问。如下文进一步详细讨论的，访问管理系统110可以存储共享数据，该共享数据安全地管理基于网络的数据库系统102的不同用户之间对云计算存储平台104的存储资源的共享访问。
[0026]计算服务管理器112协调和管理基于网络的数据库系统102的操作。计算服务管理器112还执行查询优化和编译，以及管理提供计算资源的计算服务的集群(例如虚拟仓库、虚拟机、EC2集群)。计算服务管理器112可以支持任意数量的客户端账户，例如提供数据存储和检索请求的终端用户、管理本文描述的系统和方法的系统管理员、以及与计算服务管
理器112交互的其他部件/设备。
[0027]计算服务管理器112还耦合到数据库116，该数据库116与存储在共享数据处理平台100上的全部数据相关联。数据库116存储涉及与基于网络的数据库系统102及其用户相关联的各种功能和方面的数据。
[0028]在一些实施例中，数据库116包括存储在远程数据存储系统中的数据以及可从一个或更多个本地高速缓存获得的数据的汇总。另外，数据库116可以包括有关在远程数据存储系统和本地高速缓存中如何组织数据的信息。数据库116允许系统和服务在不从存储设备加载或访问实际数据的情况下确定一段数据是否需要被访问。计算服务管理器112还耦合到执行平台114，执行平台114提供执行各种数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在主要部署和次要部署处接收来自存储装置的数据传输请求，所述数据传输请求包括要传输的多个文件；在所述主要部署处，处理所述数据传输请求，包括传输所述数据传输请求中的所述多个文件中的第一文件以及生成指示所述第一文件的传输的表达式属性(EP)文件；将所述EP文件从所述主要部署传输到所述次要部署；在处理所述数据传输请求期间，检测故障转移事件；以及基于检测到所述故障转移事件，在所述次要部署处：将所述数据传输请求中的信息与所述EP文件中的信息进行比较，以及基于所述比较来处理所述数据传输请求，包括传输所述数据传输请求中的所述多个文件中的第二文件。2.根据权利要求1所述的方法，其中，所述数据传输请求包括自动摄取请求。3.根据权利要求2所述的方法，其中，所述主要部署和所述次要部署各自包括预先配置的管道，以执行从所述存储装置自动摄取文件。4.根据权利要求3所述的方法，其中，所述主要部署和所述次要部署各自具有与所述存储装置相关联的相应队列。5.根据权利要求2所述的方法，还包括：在所述次要部署处，将来自所述EP文件中的信息写入到元数据数据库作为数据持久对象(DPO)，其中，使用所述DPO和所述数据传输请求来执行所述比较。6.根据权利要求1所述的方法，其中，响应于刷新命令，将所述EP文件从所述主要部署传输到所述次要部署。7.根据权利要求1所述的方法，其中，所述数据传输请求包括拷贝命令。8.根据权利要求7所述的方法，还包括：在所述次要部署处，将布隆过滤器应用于所述EP文件。9.一种包含指令的机器存储介质，所述指令在由机器执行时使所述机器执行包括以下项的操作：在主要部署和次要部署处接收来自存储装置的数据传输请求，所述数据传输请求包括要传输的多个文件；在所述主要部署处，处理所述数据传输请求，包括传输所述数据传输请求中的所述多个文件中的第一文件以及生成指示所述第一文件的传输的表达式属性(EP)文件；将所述EP文件从所述主要部署传输到所述次要部署；在处理所述数据传输请求期间，检测故障转移事件；以及基于检测到所述故障转移事件，在所述次要部署处：将所述数据传输请求中的信息与所述EP文件中的信息进行比较，以及基于所述比较来处理所述数据传输请求，包括传输所述数据传输请求中的所述多个文件中的第二文件。10.根据权利要求9所述的机器存储介质，其中，所述数据传输请求包括自动摄取请求。11.根据权利要求10所述的机器存储介质，其中，所述主要部署和所述次要部署各自包括预先配置的管道，以执行从所述存...

【专利技术属性】
技术研发人员：阿卜杜拉，
申请(专利权)人：斯诺弗雷克公司，
类型：发明
国别省市：