数据抽取系统和数据抽取方法技术方案

本发明专利技术实施例公开了一种数据抽取系统和数据抽取方法。所述系统包括：数据源和大数据平台，数据源包括数据复制模块和数据抽取模块，大数据平台包括分布式文件模块和/或数据仓库工具模块；数据复制模块用于添加数据库触发器至数据源并从数据库触发器复制更新数据，生成增量数据抽取队列；数据抽取模块用于依据设定时间间隔从增量数据抽取队列抽取更新数据并将更新数据发送至大数据平台；大数据平台，用于根据更新数据修正存储数据；分布式文件模块和数据仓库工具模块用于接收更新数据。本发明专利技术实施例的技术方案实现了Hadoop大数据平台可实时获取企业管理软件SAP对数据表格的处理操作，依据获取的处理操作更新自身存储的数据表格。

【技术实现步骤摘要】
数据抽取系统和数据抽取方法
本专利技术实施例涉及大数据处理
，尤其涉及一种数据抽取系统和数据抽取方法。
技术介绍
随着国民经济的快速发展，各行各业所产生和存储的数据量在急速攀升，“大数据”已经渗透到每一个行业和领域，成为重要的生产要素。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统，Hadoop可以以可靠、高效、可伸缩的方式进行数据处理，因此，Hadoop现已迅速发展成为分析大数据的领先平台。由于Hadoop无法自主对自身已有数据进行修改和删除，也无法自主增加新数据，因此若需要对Hadoop已有数据进行修改或删除操作，则必须将相应的数据修改说明发送至Hadoop。同时，SAP是一款全球领先的企业管理解决方案的软件，由于SAP对内部数据进行增加、修改和删除等操作时，直接在数据库层面进行修改且无修改记录。因此，当SAP作为数据源，使用Hadoop对SAP中的数据进行抽取时，对于已从SAP中抽取并存储在Hadoop中的数据，Hadoop无法从SAP的现有存储数据中获知SAP对上述数据的操作内容，以致Hadoop无法对上述数据实施与SAP相同本文档来自技高网...

【技术保护点】
一种数据抽取系统，其特征在于，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；所述大数据平台，用于根据接收的所述更新数据修正存储数据；所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。

【技术特征摘要】
1.一种数据抽取系统，其特征在于，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；所述大数据平台，用于根据接收的所述更新数据修正存储数据；所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。2.根据权利要求1所述的系统，其特征在于，所述数据抽取模块还用于将数据复制规则发送至所述数据复制模块；所述数据复制模块，具体用于：依据所述数据复制规则从所述数据库触发器中复制更新数据。3.根据权利要求1所述的系统，其特征在于，所述更新数据包括：数据表格的增量数据和所述增量数据的时间戳，其中，所述数据表格为所述数据源中存储的数据表格。4.根据权利要求1所述的系统，其特征在于，还包括：多样化接口系统；所述多样化接口系统，用于接收所述数据抽取模块发送的所述更新数据，并将接收的所述更新数据发送至所述大数据平台。5.根据权利要求1-4中任一项所述的系统，其特征在于，所述数据源包括企业管理软件SAP；所述数据复制模块包括数据同步复制器SLT；所述数据抽取模块包括数据服务系统DS。6.根据权...

【专利技术属性】
技术研发人员：张含宇，许伟，孟凡华，米文龙，
申请(专利权)人：新智云数据服务有限公司，
类型：发明
国别省市：上海,31