用于实时跨系统数据库复制的方法和系统技术方案

数据库事务到副本表的RTR可以包括接收(表示数据库事务的)复制日志条目和事务提交日志条目。复制日志条目具有行ID值，并且副本表中的行具有行ID值。可以将复制日志条目分派给并行日志重放器，并将相关联的事务提交日志条目分派给事务提交日志重放器。可以比较行ID值，并且基于所述比较在并行日志重放器处重放复制日志条目。然后，可以通过在事务日志重放器处重放相关联的事务提交日志条目，将数据库事务提交给副本表，其中，数据库事务与具有事务一致性的行级并行重放相关联，并且副本系统处的DDL语句的DDL复制和重构与一个或多个元数据更新日志条目相关联。数据更新日志条目相关联。数据更新日志条目相关联。

【技术实现步骤摘要】
用于实时跨系统数据库复制的方法和系统


[0001]本申请涉及用于数据库事务到副本表的实时表复制(Real-time Table Replication，RTR)的方法和系统。

技术介绍

[0002]企业可以使用数据库管理系统来处理大量的数据库事务。例如，当数据库管理系统被保险公司、金融服务公司、电子商务网站等使用时，可能就是这种情况。为了帮助处理大量的数据库事务，数据库管理系统可以将读取事务分发到副本节点处的副本表。数据库管理系统可以通过将改变从源节点处的源表复制到副本节点处的对应的副本表来维护副本表。然而，复制这些改变可能很慢，尤其是当源表频繁更新时。这可能会限制数据库管理系统的读取事务性能，并在源表和副本表之间产生可见性差距。
[0003]在一些情况下，异步表复制(Asynchronous Table Replication，“ATR”)可以高效地促进这样的过程。然而，ATR的使用可能限于与源表位于相同环境(landscape)中(例如，位于相同系统中并共享相同数据库软件)的副本表。因此，可能需要以安全、自动和准确的方式提供实时跨环境数据库表复制。

技术实现思路

[0004]数据库事务到副本表的RTR可以包括接收(表示数据库事务的)复制日志条目和事务提交日志条目。复制日志条目具有行ID值，并且副本表中的行具有行ID值。可以将复制日志条目分派给并行日志重放器，并将相关联的事务提交日志条目分派给事务提交日志重放器。可以比较行ID值，并且基于所述比较在并行日志重放器处重放复制日志条目。然后，可以通过在事务日志重放器处重放相关联的事务提交日志条目，将数据库事务提交给副本表，其中，数据库事务与具有事务一致性(transactional consistency)的行级并行重放相关联，并且副本系统处的DDL语句的DDL复制和重构与一个或多个元数据更新日志条目相关联。
[0005]一些实施例包括：用于由至少一个处理器接收复制日志条目和相关联的事务提交日志条目的装置，复制日志条目和相关联的事务提交日志条目一起表示要被重放到副本表中的行的数据库事务，复制日志条目具有行ID值，并且副本表中的行具有行ID值；用于由至少一个处理器将复制日志条目分派给并行日志重放器并将相关联的事务提交日志条目分派给事务提交日志重放器的装置；用于由至少一个处理器将复制日志条目的行ID值与副本表中的行的行ID值进行比较的装置；用于由至少一个处理器基于所述比较在并行日志重放器处重放复制日志条目的装置；以及用于由至少一个处理器通过在事务日志重放器处重放相关联的事务提交日志条目来将数据库事务提交给副本表的装置，其中，数据库事务与具有事务一致性的行级并行重放相关联，并且副本系统处的DDL语句的DDL复制和重构与一个或多个元数据更新日志条目相关联。
[0006]本文公开的一些实施例的一些技术优点是以安全、自动和准确的方式提供实时跨
环境数据库表复制的改进系统和方法。
附图说明
[0007]图1是利用异步表复制的分布式数据库系统的框图。
[0008]图2是利用用于异步表复制的事务和并行日志重放的分布式数据库系统的框图。
[0009]图3是根据一些实施例的利用混合云的弹性伸缩的实时表复制使用示例。
[0010]图4是根据一些实施例的来自多个远程系统的高效数据虚拟化的实时表复制使用示例。
[0011]图5是根据一些实施例的整体实时表复制架构。
[0012]图6A示出了根据一些实施例的跨环境实时表复制。
[0013]图6B至图6H与RTR建立、激活和去激活相关联。
[0014]图7示出了根据一些实施例的包括源系统和副本系统的架构。
[0015]图8是不同二进制版本之间的跨数据库异步表复制。
[0016]图9示出了根据一些实施例的如何复制副本表。
[0017]图10表示根据一些实施例的数据定义语言日志重放。
[0018]图11示出了根据一些实施例的数据定义语言语句的实时表复制激活和生成。
[0019]图12是根据一些实施例的实时表复制方法。
[0020]图13是根据一些实施例的实时表复制显示。
[0021]图14是用于实施各种实施例的计算机系统的示例。
具体实施方式
[0022]在以下详细描述中，阐述了许多具体细节，以便提供对实施例的透彻理解。然而，本领域普通技术人员将理解，实施例可以在没有这些具体细节的情况下实践。在其他实例中，没有详细描述众所周知的方法、过程、组件和电路，以免模糊实施例。
[0023]下面将描述本专利技术的一个或多个具体实施例。为了提供这些实施例的简明描述，在说明书中可能没有描述实际实施方式的所有特征。应当理解，在任何这样的实际实施方式的开发中，如在任何工程或设计项目中，必须做出许多特定于实施方式的决定来实现开发者的特定目标，诸如符合系统相关和业务相关的约束，这些约束可能因实施方式的不同而不同。此外，应当理解，这种开发努力可能是复杂和耗时的，但是对于受益于本公开的普通技术人员来说，仍然是设计、制作和制造的例行任务。
[0024]本文提供了系统、方法和/或计算机程序产品实施例，和/或其组合和子组合，用于在源表频繁更新的情况下提高复制性能，并减小源表和副本表之间的可见性差距。实施例通过接收要被重放到副本表中的行的数据库事务的复制日志条目和事务提交日志条目来进行操作。基于复制日志条目的行ID列值与副本节点处的副本表中的行的行ID列值的比较，复制日志条目被并行重放到副本表。通过串行重放事务提交日志条目，数据库事务以被事务一致性地提交给副本表。因此，因为复制日志条目被并行重放，并且数据库事务被事务一致性地提交，所以数据库管理系统在源表和副本表之间执行更快的复制，这减小了源表和副本表之间的可见性差距。
[0025]数据库管理系统是控制数据库中数据的组织、存储和检索的计算机软件程序的集
合。数据库是数据的有组织的集合。数据库可以根据数据库模型来组织。数据库模型确定数据库的逻辑结构以及数据如何被存储、组织和操纵。例如，关系模型是一种流行的数据库模型。
[0026]关系数据库模型将数据组织成表的集合，从中可以以多种不同的方式访问或重新装配数据，而不必重新组织这些表。每个表可以以列的形式包含一个或多个数据类别。每一行可以包含由列定义的类别的唯一数据实例。例如，业务订单条目数据库可以包括以姓名、地址、电话号码等列描述客户的表。每一行可以具有主键。主键是列或列的组合，被指定来唯一地标识行。
[0027]每个表可以使用基于行的存储或基于列的存储来表示。在基于行的存储中，数据库管理系统在数据库中逐行存储数据。在基于列的存储中，数据库管理系统在数据库中逐列存储数据。
[0028]使用基于列的存储的数据库管理系统通常比使用基于行的存储的数据库管理系统更快。当数据库管理系统对大数据存储库执行读取密集型操作时，通常出现这种情况。这是因为面向列的数据库管理系统在执行操作时仅需要扫描相关的列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数据库事务到副本表的实时表复制(“RTR”)的系统，包括：计算机存储器；和至少一个计算机处理器，耦合到所述存储器，并且被配置为：接收复制日志条目和相关联的事务提交日志条目，所述复制日志条目和所述相关联的事务提交日志条目一起表示要被重放到副本表中的行的数据库事务，所述复制日志条目具有行ID值，并且所述副本表中的所述行具有行ID值，将所述复制日志条目分派给并行日志重放器，并将所述相关联的事务提交日志条目分派给事务提交日志重放器，将所述复制日志条目的行ID值与所述副本表中的所述行的行ID值进行比较，基于所述比较，在所述并行日志重放器处重放所述复制日志条目，以及通过在所述事务日志重放器处重放所述相关联的事务提交日志条目，将所述数据库事务提交给所述副本表，其中，所述数据库事务与具有事务一致性的行级并行重放相关联，并且副本系统处的数据字典语言(“DDL”)语句的DDL复制和重构与一个或多个元数据更新日志条目相关联。2.根据权利要求1所述的系统，其中，支持多种复制对象粒度，包括以下中的至少一个：(i)表的集合，(ii)表，(iii)子表，(iv)一个或多个列，以及(v)一个或多个分区。3.根据权利要求1所述的系统，其中，具有来自多个不同的远程源系统的拓扑的复制被支持为N到1复制。4.根据权利要求1所述的系统，其中，具有到多个不同的远程副本系统的拓扑的复制被支持为1到N复制。5.根据权利要求1所述的系统，其中，具有以副本表作为另一副本表的源的拓扑的复制被支持为链复制。6.根据权利要求1所述的系统，其中，内存内日志复制不依赖于存储并转发机制。7.根据权利要求1所述的系统，其中，基于推送和早期日志运送减少源系统和副本系统之间的传播延迟。8.根据权利要求1所述的系统，其中，在源系统和副本系统之间存在独立事务域。9.根据权利要求1所述的系统，其中，在源系统和副本系统之间存在独立元数据域。10.根据权利要求1所述的系统，其中，在源系统和副本系统之间存在不同的软件二进制版本。11.一种用于数据库事务到副本表的实时表复制...

【专利技术属性】
技术研发人员：J李，S崔，E金，KH金，JY李，HJ那，
申请(专利权)人：SAP欧洲公司，
类型：发明
国别省市：