从异构数据源创建的受管物化视图制造技术

可以从跨越异构数据源生成受管物化视图。要创建物化视图的请求可以由物化视图管理平台接收和执行，所述物化视图管理平台可以从不同数据源获得和生成所述物化视图并且将所述物化视图存储在目标系统中。可以在所述物化视图管理平台处获得对所述数据源的变更并且可以确定对所述物化视图的更新。可以更新所述目标系统中的所述物化视图。标系统中的所述物化视图。标系统中的所述物化视图。

【技术实现步骤摘要】
【国外来华专利技术】从异构数据源创建的受管物化视图

技术介绍

[0001]随着组织创建、跟踪和保留信息的技术能力持续增长，已经开发出用于管理和存储高涨的信息浪潮的各种不同技术。例如，数据库系统给客户端提供许多不同专门或定制的硬件和软件配置来管理存储的信息。然而，组织必须存储和管理的渐增量的数据常常对应地增加用于执行诸如利用数据库系统的特征、对象暂存器和数据流的各种操作和服务的数据存储和管理技术的数量、大小和复杂性两者，这进而使维护信息的成本逐步升高。此外，随着不同的数据存储技术提供不同的性能益处和特征，使数据的位置适应为该数据提供性能和分析益处的数据存储技术可以导致不同的数据集遍布许多不同位置和类型的存储系统。虽然针对个别数据集利用这样的部署策略向个别数据集提供一些益处，但是一些系统或应用可能需要访问多个不同的数据集才能工作，这考虑到当访问多个数据存储系统时发生的各种接口、语言和其他技术障碍可以是有挑战性的。因此，对于使用来自根本不同的存储系统的数据的系统或应用能够从根本不同的数据存储系统获得并共同定位数据而不从它们优化的源存储位置移除数据的技术可能是高度所希望的。
附图说明
[0002]图1图示根据一些实施例的图示从异构数据源创建的受管物化视图的逻辑框图。
[0003]图2是图示根据一些实施例的提供物化视图管理平台以及包括各种数据存储和处理服务的各种服务的提供商网络的逻辑框图。
[0004]图3是图示根据一些实施例的实现从异构数据源创建的受管物化视图的物化视图管理平台的逻辑框图。
[0005]图4是图示根据一些实施例的由物化视图管理平台管理的物化视图的创建和维护阶段的交互的顺序图。
[0006]图5是图示根据一些实施例的物化视图创建的逻辑框图。
[0007]图6是图示根据一些实施例的物化视图维护的逻辑框图。
[0008]图7是图示根据各种实施例的维护计划优化器的逻辑框图。
[0009]图8是图示根据一些实a施例的用于执行维护计划的优化器的逻辑框图。
[0010]图9是图示根据一些实施例的对用于物化视图的目标数据暂存器执行更新的逻辑框图。
[0011]图10是图示根据一些实施例的对用于物化视图的目标数据暂存器执行更新的逻辑框图。
[0012]图11是图示根据一些实施例的用于对物化视图执行更新的控制平面执行调整的逻辑框图。
[0013]图12是图示根据一些实施例的由用于物化视图管理平台的示例接口支持的交互的逻辑框图。
[0014]图13是图示根据一些实施例的实现从异构数据源创建的受管物化视图的各种方法和技术的高级流程图。
[0015]图14是图示根据一些实施例的更新用于更新目标数据暂存器中的物化视图的物化视图的内部版本的各种方法和技术的高级流程图。
[0016]图15是图示根据一些实施例的从异构数据源创建受管物化视图的各种方法和技术的高级流程图。
[0017]图16图示根据一些实施例的图示维护数据流历史以用于生成物化视图的逻辑框图。
[0018]图17是图示根据一些实施例的实现维护数据流历史以用于生成物化视图的各种方法和技术的高级流程图。
[0019]图18是图示根据一些实施例的存储数据流以用于生成物化视图的各种方法和技术的高级流程图。
[0020]图19是图示根据一些实施例的调整物化视图维护的执行的逻辑框图。
[0021]图20是图示根据一些实施例的调整物化视图维护的执行的各种方法和技术的高级流程图。
[0022]图21是图示根据一些实施例的重写维护计划以优化物化视图维护的执行的各种方法和技术的高级流程图。
[0023]图22是图示根据一些实施例的跨越异构目标系统复制物化视图的逻辑框图。
[0024]图23是图示根据一些实施例的多目标管理的逻辑框图。
[0025]图24是图示根据一些实施例的图示跨越异构目标系统复制物化视图的各种方法和技术的高级流程图。
[0026]图25是图示根据一些实施例的从物化视图添加目标数据暂存器的各种方法和技术的高级流程图。
[0027]图26是图示根据一些实施例的从物化视图移除目标数据暂存器的各种方法和技术的高级流程图。
[0028]图27图示根据一些实施例的被配置为实现本文描述的各种方法、技术和系统的示例系统。
[0029]尽管本文通过示例的方式针对若干实施例和说明性附图描述了实施例，但是本领域技术人员将认识到，实施例不限于所描述的实施例或附图。应该理解的是，附图和对其的详细描述不旨在将实施例限于所公开的特定形式，而相反，意图是涵盖落入如由所附权利要求限定的精神和范围内的所有修改、等同物和替代方案。本文所使用的标题只是出于组织目的，而不意在用于限制本说明书或权利要求的范围。如在本申请中自始至终使用的，单词“可以(may)”在允许意义(即，意指有可能)而不是强制意义(即，意指必须)上使用。类似地，单词“包含(include)”、“包含有(including)”和“包括(includes)”意指包含有但不限于。
[0030]还应理解的是，尽管术语第一、第二等可以在本文中用于描述各种元件，但是这些元件不应该受这些术语限制。这些术语仅用于区分一个元件和另一元件。例如，在不脱离本专利技术的范围的情况下，第一联系人可能被称为第二联系人，并且类似地，第二联系人可能被称为第一联系人。第一联系人和第二联系人都是联系人，但是它们不是同一联系人。
具体实施方式
[0031]本文描述从异构数据源创建的受管物化视图的各种技术。不同的系统、应用或服务将数据存储在多个专用数据库或其他数据存储或处理技术中以确保它们对于手头的工作使用正确的工具。然而，存在组合来自多个此类数据库、数据暂存器或其他类型的数据源的数据的许多用例。例如，实现在线多玩家游戏的应用可能需要跟踪玩家简档数据、玩家行为，并且提供游戏内促销。应用可能将玩家简档数据保持在低时延非关系(例如，NoSQL)数据库中，将游戏事件保持在索引服务中，将玩家行为分析保持在数据仓库服务中，并且将促销目录保持在文档数据库中。为了构建顶级玩家及其游戏活动的仪表板，可能使用提取变换和加载(TEL)服务来设置将来自这些根本不同的系统的数据提取、变换和组合到单个数据暂存器如数据缓存服务中的流水线，以便托管仪表板并且做诸如游戏内促销定向的活动。虽然这样的方法可以适用于分批更新，但是使仪表板保持被几乎实时地更新将不得不依靠编写相当多的定制代码。为复杂的集成和预计算工作流创建定制代码的成本可能增加，因为快速变更的底层数据源会引起进一步细化或变更。在实际上每一行业中存在像上述示例一样的用例和模式，从而降低系统性能并且增加实现方案成本。
[0032]在各种实施例中，物化视图管理平台可以通过使创建集成来自多个源的数据的物化视图变得容易、将这些视图存储在指定的目标数据库中、并且随着底层数据变更而几乎实时地使视图保持最新(而不是例如依靠做出基于分批的变更集)来简化操作工作负载。如在下面关于图2
‑
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：至少一个处理器；以及存储器，所述存储器存储程序指令，当由所述至少一个处理器执行时，所述程序指令使所述至少一个处理器实现物化视图管理平台，所述物化视图管理平台被配置为：从在物化视图的定义中指定为源的一个或多个数据源创建物化视图，其中所述物化视图管理平台能够从多个不同类型的数据源创建所述物化视图，并且其中所述物化视图由所述物化视图管理平台存储在目标数据暂存器中，所述目标数据暂存器也被指定在所述物化视图的所述定义中；对于所述一个或多个数据源中的至少一个，获得在所述至少一个数据源处做出的相应的一个或多个变更；根据从所述至少一个数据源获得的所述相应的一个或多个变更来确定满足所述物化视图的所述定义的所述物化视图的新版本；以及经由用于所述目标数据暂存器的接口发送要将存储在所述目标数据暂存器中的所述物化视图的现有版本更新为所述物化视图的所述新版本的一个或多个请求。2.根据权利要求1所述的系统，其中为了根据从所述至少一个数据源获得的所述相应的一个或多个变更来确定满足所述物化视图的所述定义的所述物化视图的新版本，所述物化视图管理平台被配置为随着从所述一个或多个数据源获得所述变更而生成要对所述物化视图执行的更新流。3.根据权利要求1所述的系统，其中为了获得在所述至少一个数据源处做出的所述相应的一个或多个变更，所述物化视图管理平台被配置为使得能够从所述至少一个数据源接收变更数据捕获流。4.根据权利要求1所述的系统，其中所述物化视图管理平台作为提供商网络的一部分被提供，其中所述一个或多个数据源中的至少一个或所述目标是由所述提供商网络提供的另一服务。5.一种方法，包括：由物化视图管理平台获得在物化视图的定义中指定为源的一个或多个数据源处做出的相应的一个或多个变更，其中所述物化视图管理平台能够从多个不同类型的数据源创建所述物化视图，并且其中所述物化视图由所述物化视图管理平台存储在目标数据暂存器中，所述目标数据暂存器也被指定在所述物化视图的所述定义中；由所述物化视图管理平台根据从所述一个或多个数据源获得的所述相应的一个或多个变更来确定满足所述物化视图的所述定义的所述物化视图的新版本；以及由所述物化视图管理平台经由用于所述目标数据暂存器的接口将存储在所述目标数据暂存器中的所述物化视图的现有版本更新为所述物化视图的所述新版本。6.根据权利要求5所述的方法，进一步包括：接收要创建所述物化视图的请求，所述请求包括所述物化视图的所述定义；响应于接收到所述请求：根据所述定义来生成创建计划，所述创建计划包括指令以：查询所述一个或多个数据源以获得所述物化视图的数据；创建一个或多个中间表以生成所述物化视图的内部版本；以及
从所述一个或多个中间表生成所述物化视图的所述内部版本。7.根据权利要求6所述的方法，进一步包括：进一步响应于接收到要创建所述物化视图的所述请求，根据所述定义来为所述物化视图生成和存储维护计划，其中所述维护计划包括要用从所述一个或多个数据源接收到的变更来更新所述一个或多个中间表和所述物化视图的所述内部版本的操作。8.根据权利要求5所述的方法，其中根据从所述一个或...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：亚马逊科技公司，
类型：发明
国别省市：