数据抽取系统和数据抽取方法技术方案

本发明专利技术实施例公开了一种数据抽取系统和数据抽取方法。所述系统包括：数据源和大数据平台，数据源包括数据复制模块和数据抽取模块，大数据平台包括分布式文件模块和/或数据仓库工具模块；数据复制模块用于添加数据库触发器至数据源并从数据库触发器复制更新数据，生成增量数据抽取队列；数据抽取模块用于依据设定时间间隔从增量数据抽取队列抽取更新数据并将更新数据发送至大数据平台；大数据平台，用于根据更新数据修正存储数据；分布式文件模块和数据仓库工具模块用于接收更新数据。本发明专利技术实施例的技术方案实现了Hadoop大数据平台可实时获取企业管理软件SAP对数据表格的处理操作，依据获取的处理操作更新自身存储的数据表格。

【技术实现步骤摘要】
数据抽取系统和数据抽取方法
本专利技术实施例涉及大数据处理
，尤其涉及一种数据抽取系统和数据抽取方法。
技术介绍
随着国民经济的快速发展，各行各业所产生和存储的数据量在急速攀升，“大数据”已经渗透到每一个行业和领域，成为重要的生产要素。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统，Hadoop可以以可靠、高效、可伸缩的方式进行数据处理，因此，Hadoop现已迅速发展成为分析大数据的领先平台。由于Hadoop无法自主对自身已有数据进行修改和删除，也无法自主增加新数据，因此若需要对Hadoop已有数据进行修改或删除操作，则必须将相应的数据修改说明发送至Hadoop。同时，SAP是一款全球领先的企业管理解决方案的软件，由于SAP对内部数据进行增加、修改和删除等操作时，直接在数据库层面进行修改且无修改记录。因此，当SAP作为数据源，使用Hadoop对SAP中的数据进行抽取时，对于已从SAP中抽取并存储在Hadoop中的数据，Hadoop无法从SAP的现有存储数据中获知SAP对上述数据的操作内容，以致Hadoop无法对上述数据实施与SAP相同的操作。
技术实现思路
有鉴于此，本专利技术实施例提供了一种数据抽取系统和数据抽取方法，以解决现有技术中对于Hadoop大数据平台和企业管理软件SAP中存储的相同数据表格，Hadoop大数据平台无法同步企业管理软件SAP对上述数据表格的处理操作的技术缺陷。在第一方面，本专利技术实施例提供了一种数据抽取系统，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；所述大数据平台，用于根据接收的所述更新数据修正存储数据；所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。在上述系统中，优选的是，所述数据抽取模块还用于将数据复制规则发送至所述数据复制模块；所述数据复制模块，具体用于：依据所述数据复制规则从所述数据库触发器中复制更新数据。在上述系统中，优选的是，所述更新数据包括：数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源中存储的数据表格。在上述系统中，优选的是，还包括：多样化接口系统；所述多样化接口系统，用于接收所述数据抽取模块发送的所述更新数据，并将接收的所述更新数据发送至所述大数据平台。在上述系统中，优选的是，所述数据源包括企业管理软件SAP；所述数据复制模块包括数据同步复制器SLT；所述数据抽取模块包括数据服务系统DS。在上述系统中，优选的是，所述大数据平台包括Hadoop大数据平台；所述分布式文件模块包括分布式文件系统HDFS；所述数据仓库工具模块包括数据仓库工具HIVE。在第二方面，本专利技术实施例提供了一种数据抽取方法，包括：添加数据库触发器至内部数据源，从所述数据库触发器中复制更新数据，依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部大数据平台。在上述方法中，优选的是，所述从所述数据库触发器中复制更新数据，包括：依据数据复制规则从所述数据库触发器中复制更新数据。在上述方法中，优选的是，所述更新数据包括：数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源存储的数据表格。在上述方法中，优选的是，所述依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部大数据平台，包括：依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至内部多样化接口系统；通过所述内部多样化接口系统，将所述更新数据发送至内部大数据平台。在上述方法中，优选的是，所述内部数据源包括企业管理软件SAP。在上述方法中，优选的是，其特征在于，所述内部大数据平台包括Hadoop大数据平台。本专利技术实施例提供了一种数据抽取系统和数据抽取方法，该数据抽取系统包括数据源11和大数据平台12，数据源11包括数据复制模块111和数据抽取模块112，大数据平台12包括分布式文件模块121和/或数据仓库工具模块122，该系统通过数据复制模块111添加数据库触发器至数据源，用以在确定数据源11的数据发生变更时，记录数据变更信息并生成增量数据抽取队列，然后通过数据抽取模块112从增量数据抽取队列中抽取更新数据并发送至大数据平台12，解决了现有技术中对于Hadoop大数据平台和企业管理软件SAP中存储的相同数据表格，Hadoop大数据平台无法同步企业管理软件SAP对上述数据表格的处理操作的技术缺陷，实现了Hadoop大数据平台可以实时获取企业管理软件SAP对数据表格的处理操作，并依据获取的上述处理操作更新自身存储的数据表格。附图说明图1是本专利技术实施例一提供的一种数据抽取系统的结构图；图2是本专利技术实施例二提供的一种数据抽取系统的结构图；图3是本专利技术实施例三提供的一种数据抽取方法的流程图；图4是本专利技术实施例四提供的一种数据抽取方法的流程图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1为本专利技术实施例一提供的一种数据抽取系统的结构图，本实施例中数据抽取系统的结构具体包括：数据源11和大数据平台12，数据源11包括数据复制模块111和数据抽取模块112，大数据平台12包括分布式文件模块121和/或数据仓库工具模块122。数据复制模块111，用于添加数据库触发器至数据源11，并从数据库触发器中复制更新数据，同时依据更新数据生成增量数据抽取队列，其中，数据库触发器用于在确定数据源11的数据发生变更时，记录数据变更信息。在本实施例中，数据复制模块111可以在数据源11中添加数据库触发器，该数据库触发器用于在确定数据源11的数据发生变更时，记录数据变更信息形成更新数据。本领域技术人员可以理解的是，数据库触发器可以对数据表格的插入、更新以及删除操作自动进行存储，也就是说，当对数据源11中存储的数据表格被实施数据的插入、更新和删除等操作时，数据库触发器会自动对上述操作进行记录作本文档来自技高网...

【技术保护点】
一种数据抽取系统，其特征在于，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；所述大数据平台，用于根据接收的所述更新数据修正存储数据；所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。

【技术特征摘要】
1.一种数据抽取系统，其特征在于，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；所述大数据平台，用于根据接收的所述更新数据修正存储数据；所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。2.根据权利要求1所述的系统，其特征在于，所述数据抽取模块还用于将数据复制规则发送至所述数据复制模块；所述数据复制模块，具体用于：依据所述数据复制规则从所述数据库触发器中复制更新数据。3.根据权利要求1所述的系统，其特征在于，所述更新数据包括：数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源中存储的数据表格。4.根据权利要求1所述的系统，其特征在于，还包括：多样化接口系统；所述多样化接口系统，用于接收所述数据抽取模块发送的所述更新数据，并将接收的所述更新数据发送至所述大数据平台。5.根据权利要求1-4中任一项所述的系统，其特征在于，所述数据源包括企业管理软件SAP；所述数据复制模块包括数据同步复制器SLT；所述数据抽取模块包括数据服务系统DS。6.根据权...

【专利技术属性】
技术研发人员：张含宇，许伟，孟凡华，米文龙，
申请(专利权)人：新智云数据服务有限公司，
类型：发明
国别省市：上海,31