一种数据同步增量跟踪的方法及系统技术方案

本发明专利技术涉及一种数据同步增量跟踪的方法及系统,其中方法包括以下步骤：步骤1：捕获模块实时采集源数据库的增量数据，并将采集的增量数据发送到至少一个传输模块；步骤2：每个传输模块分别将增量数据传输到一个加载模块；步骤3：每个加载模块将增量数据加载到与所述加载模块对应的目标数据库。本发明专利技术通过数据追踪和日志追溯方法，解决了增量数据的提取和分析问题；可以随时通过了解目标数据库中的数据变化，并根据日志跟踪表一目了然的了解数据变化情况，当源数据库中的增量数据变化时，实时进行捕获。

【技术实现步骤摘要】

本专利技术涉及一种数据同步增量跟踪的方法及系统。
技术介绍
目前商用软件需求中，对数据的实时同步处理要求越来越多，对关系型数据库的实时同步需求越来越广泛，Oracle作为传统关系性数据库代表，在商用中使用最多，但由于Oracle本身为甲骨文多年研发产品，其内部逻辑及实现方式并未对外开放，因此对Oracle数据库本身的实时采集成为瓶颈。但对于大多数信息化系统而言，数据同步之后，很多系统想针对于同步的数据增量做进一步的分析和验证，但由于数据已经和历史数据溶为一起，很难在提取出来。
技术实现思路
GoldenGate作为甲骨文的附属产品运应而生；该产品可通过捕获Oracle的日志增量，并解密转换为数据库操作语言，实时捕获增量数据进行数据同步。本专利技术所要解决的技术问题是提供一种通过GoldenGate的数据追溯实现数据同步增量跟踪的数据同步增量跟踪的方法及系统。本专利技术解决上述技术问题的技术方案如下：一种数据同步增量跟踪的方法,具体包括以下步骤：步骤1：捕获模块实时采集源数据库的增量数据，并将采集的增量数据发送到至少一个传输模块；步骤2：每个传输模块分别将增量数据传输到一个加载模块；步骤3：每个加载模块将增量数据加载到与所述加载模块对应的目标数据库。本专利技术的有益效果是：通过数据追踪和日志追溯方法，解决了增量数据的提取和分析问题；可以随时通过了解目标数据库中的数据变化，并根据日志跟踪表一目了然的了解数据变化情况，当源数据库中的增量数据变化时，实时进行捕获，使源数据库和目标数据库中的数据通过传输模块实现平衡，通过传输模块将增量数据压人通道，并在传输过程中进行类型转换，使增量数据更快速的加载到目标数据库中。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，每个所述传输模块在传输增量数据的过程中，根据对应的目标数据库的类型对增量数据进行类型转换。采用上述进一步方案的有益效果是，在传输过程中对数据进行类型转换，可以实现数据存入目标数据库，不会出现无法存入的问题。进一步，所述步骤3中每个加载模块将增量数据加载到目标数据库的同时，根据增量数据的类型确定一个对应的日志跟踪表，记录目标数据库中的数据变化。进一步，所述日志跟踪表的确定方法包括：首先根据目标数据库确定日志跟踪表的名称，根据名称建立日志表，并将日志表中的字段对应增量数据的消息报文头信息，实现目标数据库中的数据变化自动加载到日志跟踪表中。进一步，所述步骤1中捕获模块还配置有用于修改数据类型的配置信息。进一步，所述配置信息包括目标数据库的登录用户名信息、登录密码信息、目标数据库类型信息和目标数据库的位置信息。本专利技术解决上述技术问题的技术方案如下：一种数据同步增量跟踪的系
统,包括捕获模块、至少一个传输模块和与传输模块数量对应的加载模块；所述捕获模块实时采集源数据库的增量数据，并将采集的增量数据发送到至少一个传输模块；每个所述传输模块分别将增量数据传输到一个加载模块；每个所述加载模块将增量数据加载到与所述加载模块对应的目标数据库。本专利技术的有益效果是：通过数据追踪和日志追溯方法，解决了增量数据的提取和分析问题；可以随时通过了解目标数据库中的数据变化，并根据日志跟踪表一目了然的了解数据变化情况，当源数据库中的增量数据变化时，实时进行捕获，使源数据库和目标数据库中的数据通过传输模块实现平衡，通过传输模块将增量数据压人通道，并在传输过程中进行类型转换，使增量数据更快速的加载到目标数据库中。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，每个所述传输模块在传输增量数据的过程中，根据对应的目标数据库的类型对增量数据进行类型转换。采用上述进一步方案的有益效果是，在传输过程中对数据进行类型转换，可以实现数据存入目标数据库，不会出现无法存入的问题。进一步，所述加载模块中每个加载模块将增量数据加载到目标数据库的同时，根据增量数据的类型确定一个对应的日志跟踪表，记录目标数据库中的数据变化。进一步，所述捕获模块中还配置有用于修改数据类型的配置信息。附图说明图1为本专利技术实施例1所述的一种数据同步增量跟踪的方法流程图；图2为本专利技术实施例1所述的一种数据同步增量跟踪的系统结构框图。附图中，各标号所代表的部件列表如下：1、捕获模块，2、传输模块，3、加载模块。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，为本专利技术实施例1所述的一种数据同步增量跟踪的方法,具体包括以下步骤：步骤1：捕获模块实时采集源数据库的增量数据，并将采集的增量数据发送到至少一个传输模块；步骤2：每个传输模块分别将增量数据传输到一个加载模块；步骤3：每个加载模块将增量数据加载到与所述加载模块对应的目标数据库。实施例2所述的一种数据同步增量跟踪的方法,在实施例1的基础上，每个所述传输模块在传输增量数据的过程中，根据对应的目标数据库的类型对增量数据进行类型转换。实施例3所述的一种数据同步增量跟踪的方法,在实施例1或2的基础上，所述步骤3中每个加载模块将增量数据加载到目标数据库的同时，根据增量数据的类型确定一个对应的日志跟踪表，记录目标数据库中的数据变化。实施例4所述的一种数据同步增量跟踪的方法,在实施例3的基础上，所述日志跟踪表的确定方法包括：首先根据目标数据库确定日志跟踪表的名称，根据名称建立日志表，并将日志表中的字段对应增量数据的消息报文头信息，实现目标数据库中的数据变化自动加载到日志跟踪表中。实施例5所述的一种数据同步增量跟踪的方法,在实施例1-4任一项的
基础上，所述步骤1中捕获模块还配置有用于修改数据类型的配置信息。实施例6所述的一种数据同步增量跟踪的方法,在实施例5的基础上，所述配置信息包括目标数据库的登录用户名信息、登录密码信息、目标数据库类型信息和目标数据库的位置信息。如图2所示，为本专利技术实施例1所述的一种数据同步增量跟踪的系统,包括捕获模块1、至少一个传输模块2和与传输模块2数量对应的加载模块3；所述捕获模块1实时采集源数据库的增量数据，并将采集的增量数据发送到至少一个传输模块2；每个所述传输模块2分别将增量数据传输到一个加载模块3；每个所述加载模块3将增量数据加载到与所述加载模块3对应的目标数据库。实施例2所述的一种数据同步增量跟踪的系统,在实施例1的基础上，每个所述传输模块在传输增量数据的过程中，根据对应的目标数据库的类型对增量数据进行类型转换。实施例3所述的一种数据同步增量跟踪的系统,在实施例1或2的基础上，所述加载模块中每个加载模块将增量数据加载到目标数据库的同时，根据增量数据的类型确定一个对应的日志跟踪表，记录目标数据库中的数据变化。实施例4所述的一种数据同步增量跟踪的系统,在实施例1-3任一项的基础上，所述捕获模块中还配置有用于修改数据类型的配置信息。本技术方案核心包括三部分：1)源端捕获进程时，增加修改数据捕获器配置信息；2)数据传输进程时，配置传输过程增量数据转换器3)数据入库进程，指定日志跟踪表，将数据变化信息记录。三个部分之间为串行执行，源端所在数据库服务器上安装OGG的客户端，
在上面启动源端捕获进程和传输进程；捕获进程将实时采集源数据库数据，并传送给传输进程，传输进程又将数据最终本文档来自技高网...

【技术保护点】
一种数据同步增量跟踪的方法,其特征在于，具体包括以下步骤：步骤1：捕获模块实时采集源数据库的增量数据，并将采集的增量数据发送到至少一个传输模块；步骤2：每个传输模块分别将增量数据传输到一个加载模块；步骤3：每个加载模块将增量数据加载到与所述加载模块对应的目标数据库。

【技术特征摘要】
1.一种数据同步增量跟踪的方法,其特征在于，具体包括以下步骤：步骤1：捕获模块实时采集源数据库的增量数据，并将采集的增量数据发送到至少一个传输模块；步骤2：每个传输模块分别将增量数据传输到一个加载模块；步骤3：每个加载模块将增量数据加载到与所述加载模块对应的目标数据库。2.根据权利要求1所述的一种数据同步增量跟踪的方法,其特征在于，每个所述传输模块在传输增量数据的过程中，根据对应的目标数据库的类型对增量数据进行类型转换。3.根据权利要求1或2所述的一种数据同步增量跟踪的方法,其特征在于，所述步骤3中每个加载模块将增量数据加载到目标数据库的同时，根据增量数据的类型确定一个对应的日志跟踪表，记录目标数据库中的数据变化。4.根据权利要求3所述的一种数据同步增量跟踪的方法,其特征在于，所述日志跟踪表的确定方法包括：首先根据目标数据库确定日志跟踪表的名称，根据名称建立日志表，并将日志表中的字段对应增量数据的消息报文头信息，实现目标数据库中的数据变化自动加载到日志跟踪表中。5.根据权利要求2所述的一种数据同步增量跟踪的方法,其特征在于，所述步骤1中捕获模块还配置有用于...

【专利技术属性】
技术研发人员：穆亮，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11