一种将数据复制到大数据平台的方法及系统技术方案

本发明专利技术公开了一种将数据复制到大数据平台的方法及系统，所述方法包括：使用计算机的处理器获取更改包含在更改数据表中的记录；使用事务快照一致性重建关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录；和在大数据平台上存储一致的变更记录，其中使用一致的变更记录在大数据平台上回答查询。

【技术实现步骤摘要】
一种将数据复制到大数据平台的方法及系统
本专利技术涉及大数据
，具体而言，涉及一种将数据复制到大数据平台的方法及系统。
技术介绍
事务包括创建，读取，更新和删除(CRUD)操作。事务的写集指的是使用CRUD操作操作的数据。复制经由一个或多个逻辑端到端复制信道将数据从源数据存储(例如，源数据库管理系统(DBMS))复制(复制)到一个或多个目标数据存储。DBMS具有恢复日志，用于捕获DBMS事务数据的更改历史记录。大数据平台(例如平台和平台)的出现为探索使用DBMS处理的数据的分析提供了更多机会。(Apache和Hadoop是ApacheSoftwareFoundation在美国和/或其他国家/地区的注册商标。)然而，现有解决方案不能在大数据平台上提供一致的变化历史。
技术实现思路
本专利技术提出了一种将数据复制到大数据平台的方法，包括：使用计算机的处理器获取更改包含在更改数据表中的记录；使用事务快照一致性重建关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录；和在大数据平台上存储一致的变更记录，其中使用一致的变更记录在大数据平台上回答查询。所述的方法，其中，使用集中式并行传输和分散式并行传输之一来执行获取所述改变记录。所述的方法，其中，所述重建由关系数据库管理系统和所述大数据平台之一执行。所述的方法，其中修剪所述改变数据表；在大数据平台上执行对一致变化记录的分析；所述工作单元表用于确定所述变更数据表中是否存在新事务的新记录。所述的方法，其中存储的元数据包括源模式名称，表的表名，订阅的列名和表的订阅状态；软件即服务(SaaS)被配置为执行方法操作。一种将数据复制到大数据平台的系统，包括：获取模块，使用计算机的处理器获取更改包含在更改数据表中的记录；更改模块，使用事务快照一致性重建关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录；和查询模块，在大数据平台上存储一致的变更记录，其中使用一致的变更记录在大数据平台上回答查询。所述的系统，其中，使用集中式并行传输和分散式并行传输之一来执行获取所述改变记录。所述的系统，其中，所述重建由关系数据库管理系统和所述大数据平台之一执行。所述的系统，其中修剪所述改变数据表；在大数据平台上执行对一致变化记录的分析；所述工作单元表用于确定所述变更数据表中是否存在新事务的新记录。所述的系统，其中存储的元数据包括源模式名称，表的表名，订阅的列名和表的订阅状态；软件即服务(SaaS)被配置为执行方法操作。附图说明从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。图1是本专利技术的一种将数据复制到大数据平台的方法的示意图。具体实施方式为了使得本专利技术的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本专利技术进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本专利技术的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。提供了一种用于将数据复制到大数据平台的方法。提取更改数据表中包含的更改记录。重建具有事务快照一致性的关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录。一致的更改记录存储在大数据平台上，并使用一致的更改记录在大数据平台上回答查询。提供了一种用于将数据复制到大数据平台的计算机程序产品。该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有由其实现的程序代码，该程序代码可由至少一个处理器执行以执提取更改数据表中包含的更改记录。重建具有事务快照一致性的关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录。一致的更改记录存储在大数据平台上，并使用一致的更改记录在大数据平台上回答查询。提供了一种用于将数据复制到大数据平台的计算机系统。该计算机系统包括一个或多个处理器，一个或多个计算机可读存储器和一个或多个计算机可读的有形存储设备；存储在一个或多个计算机可读有形存储设备中的至少一个上的程序指令，用于由一个或多个处理器中的至少一个经由一个或多个存储器中的至少一个执行，以执行操作。提取更改数据表中包含的更改记录。重建具有事务快照一致性的关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录。一致的更改记录存储在大数据平台上，并使用一致的更改记录在大数据平台上回答查询。本专利技术提出了一种将数据复制到大数据平台的方法，包括：使用计算机的处理器获取更改包含在更改数据表中的记录；使用事务快照一致性重建关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录；和在大数据平台上存储一致的变更记录，其中使用一致的变更记录在大数据平台上回答查询。所述的方法，其中，使用集中式并行传输和分散式并行传输之一来执行获取所述改变记录。所述的方法，其中，所述重建由关系数据库管理系统和所述大数据平台之一执行。所述的方法，其中修剪所述改变数据表；在大数据平台上执行对一致变化记录的分析；所述工作单元表用于确定所述变更数据表中是否存在新事务的新记录。所述的方法，其中存储的元数据包括源模式名称，表的表名，订阅的列名和表的订阅状态；软件即服务(SaaS)被配置为执行方法操作。一种将数据复制到大数据平台的系统，包括：使用计算机的处理器获取更改包含在更改数据表中的记录；使用事务快照一致性重建关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录；和在大数据平台上存储一致的变更记录，其中使用一致的变更记录在大数据平台上回答查询。所述的系统，其中，使用集中式并行传输和分散式并行传输之一来执行获取所述改变记录。所述的系统，其中，所述重建由关系数据库管理系统和所述大数据平台之一执行。所述的系统，其中修剪所述改变数据表；在大数据平台上执行对一致变化记录的分析；所述工作单元表用于确定所述变更数据表中是否存在新事务的新记录。所述的系统，其中存储的元数据包括源模式名称，表的表名，订阅的列名和表的订阅状态；软件即服务(SaaS)被配置为执行方法操作。一种计算机可读存储介质，所述存储介质上执行如下程序指令，所述程序指令包括：使用计算机的处理器获取更改包含在更改数据表中的记录；使用事务快照一本文档来自技高网...

【技术保护点】
1.一种将数据复制到大数据平台的方法，其特征在于，包括：/n使用计算机的处理器获取更改包含在更改数据表中的记录；/n使用事务快照一致性重建关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录；和/n在大数据平台上存储一致的变更记录，其中使用一致的变更记录在大数据平台上回答查询。/n

【技术特征摘要】
1.一种将数据复制到大数据平台的方法，其特征在于，包括：
使用计算机的处理器获取更改包含在更改数据表中的记录；
使用事务快照一致性重建关系更改历史记录，以通过基于提交序列标识符连接更改数据表和工作单元表来生成一致的更改记录；和
在大数据平台上存储一致的变更记录，其中使用一致的变更记录在大数据平台上回答查询。


2.如权利要求1所述的方法，其特征在于，使用集中式并行传输和分散式并行传输之一来执行获取所述改变记录。


3.如权利要求1所述的方法，其特征在于，所述重建由关系数据库管理系统和所述大数据平台之一执行。


4.如权利要求1所述的方法，其特征在于，修剪变更数据表；在大数据平台上执行对一致变化记录的分析；所述工作单元表用于确定变更数据表中是否存在新事务的新记录。


5.如权利要求1所述的方法，其特征在于，存储的元数据包括源模式名称，表的表名，订阅的列名和表的订阅状态；软件即服务(SaaS)被配置为执行方法操作。


6.一...

【专利技术属性】
技术研发人员：蒋蓉，
申请(专利权)人：蒋蓉，
类型：发明
国别省市：湖南;43