一种应用于数据库日志分析的解析模型制造技术

本发明专利技术公开了一种应用于数据库日志分析的解析模型，其搭建的前映像数据抽取模型软件系统由数据复制层和管理层，数据复制层由数据库抽取工具组成，数据库抽取工具分别部署在源端数据库服务器和目标端数据库服务器，管理层由数据库抽取管理工具组成，数据库抽取管理工具部署在管理库服务器、应用服务器以及转换器，通过分析追踪文件，将追踪文件内容与Undo数据块与十六进制数据块相匹配，分析解读Undo日志格式，利用oracle内部工具数据库块浏览编辑器可以直接查看和修改KDO数据；将获取的主键列数据依次添加到改变列数据中。本发明专利技术将抽取后的数据与源数据库信息进行比对，验证了抽取数据的完整性，进一步说明复制模型具有一定的工程应用价值。

【技术实现步骤摘要】
一种应用于数据库日志分析的解析模型
本专利技术涉及数据库
，特别涉及一种应用于数据库日志分析的解析模型。
技术介绍
随着信息技术的深入发展，应用系统的不断升级，系统之间的集成贯通越来越多的需要数据交互，数据抽取已经逐步成为了信息系统融合的关键部分。然而，所有针对数据的抽取与交互都包含着一个基本的假设—数据的可用性和可靠性。数据库附件日志解析技术作为确定数据变化的关键，其数据的可用性和与可靠性自然备受关注。数据库前映像附件日志解析技术正是在这种要求下产生的。Oracle数据库Undo日志中详细记录着数据库操作的所有变化前的备份信息，Undo日志记录所有的前印象，用于回滚操作，oracle数据库Undo日志有着严格的格式与内部规律，但由于oracle数据库厂商的技术壁垒，无法直接获取相关资料。数据库前映像数据抽取是数据复制领域中的关键技术，当前业界主要是以goldenGate为代表的逻辑级数据库日志抽取产品，现有技术源数据库信息不能与抽取后的数据进行比对，抽取数据的完整性得不到验证，复制模型应用价值不高。
技术实现思路
专利技术的目的在于提供一种应用于数据库日志分析的解析模型，本专利技术从Undo日志中抽取出变化附加日志信息，将抽取后的数据与源数据库信息进行比对，验证了抽取数据的完整性，进一步说明复制模型具较好的工程应用价值，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种应用于数据库日志分析的解析模型，其搭建的前映像数据抽取模型软件系统由数据复制层和管理层，所述数据复制层由数据库抽取工具组成，数据库抽取工具分别部署在源端数据库服务器和目标端数据库服务器，源端数据库服务器连接于目标端数据库服务器，所述管理层由数据库抽取管理工具组成，数据库抽取管理工具部署在管理库服务器、应用服务器以及转换器，管理库服务器以及两台的应用服务器均连接于转换器，其中一个所述应用服务器和转换器均与目标端数据库服务器连接。进一步地，源端数据库服务器、目标端数据库服务器、管理库服务器以及应用服务器均采用16核64GB内存，oracle11g数据库。进一步地，oracle数据库前映像Undo数据解析步骤如下：步骤1：1Undo日志文件解析先模拟一次数据库操作，找到对应操作的trace文件，再用BBED块读取工具读取对应的数据块，通过trace文件注释与二进制数据块结合进行解析，找出其中的格式与规律流程；步骤2：追踪文件解析根据追踪文件可以查询到详细的数据库操作过程；步骤3：Undo数据块文件解析利用oracle内部工具数据库块浏览编辑器查看和修改日志数据块文件；步骤4：推断Undo日志文件结构通过分析追踪文件，将追踪文件内容与Undo数据块与十六进制数据块相匹配，分析解读Undo日志格式，经过多次比对，推断出Redo日志文件结构；进一步地，步骤4中Redo日志由操作系统头、Undo头标记段与Undo数据块三种类型数据块组成，其中操作系统头位于第一个块，Undo头标记段位于第二个块，从第三块开始为Undo数据块。进一步地，步骤2包括SEQ、SCN、KDO、OPCode的事务过程信息。进一步地，前映像数据抽取模型中Oracle数据库Undo日志抽取包括物理数据块Block处理，数据抽取引擎包括：(1)UndoKDO结构前映像日志的KDO结构记录着数据变化关键信息，利用oracle内部工具数据库块浏览编辑器可以直接查看和修改KDO数据；(2)数据抽取引擎流程设计通过获取数据库版本信息、解析前映像的change第4块中的KDO数据，提取其中的操作码；根据不同的操作码采用不同的解析方式，获取附加日志数据块编号；根据附加日志结构，获取附加日志内部的主键列数据；将获取的主键列数据依次添加到改变列数据中。与现有技术相比，本专利技术的有益效果是：本专利技术提出的关系数据库前映像的附加日志解析模型，将抽取的数据对比统计后，结果表明本专利技术设计的前映像数据复制模型可以从Undo日志中抽取出变化附加日志信息，将抽取后的数据与源数据库信息进行比对，验证了抽取数据的完整性，进一步说明复制模型具有一定的工程应用价值。附图说明图1为本专利技术的测试环境拓扑示意图；图2为本专利技术的数据抽取记录示意图；图3为本专利技术的Undo日志解析流程示意图；图4为本专利技术的Trace文件结构示意图；图5为本专利技术的Undo数据块文件结构示意图；图6为本专利技术的Undo日志文件结构示意图。图中：1、数据复制层；11、数据库抽取工具；111、源端数据库服务器；112、目标端数据库服务器；2、管理层；21、数据库抽取管理工具；211、管理库服务器；212、应用服务器；213、转换器。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种应用于数据库日志分析的解析模型，其搭建的前映像数据抽取模型软件系统由数据复制层1和管理层2，数据复制层1由数据库抽取工具11组成，数据库抽取工具11分别部署在源端数据库服务器111(1台16核64GB内存、oracle11g数据库)和目标端数据库服务器112(1台16核64GB内存、oracle11g数据库)，源端数据库服务器111连接于目标端数据库服务器112，管理层2由数据库抽取管理工具21组成，数据库抽取管理工具21部署在管理库服务器211(16核64GB内存、oracle11g数据库)、应用服务器212(16核64GB内存、oracle11g数据库)以及转换器213(如图1)，管理库服务器211以及两台的应用服务器212均连接于转换器213，转换器213进行数据交换，其中一个应用服务器212和转换器213均与目标端数据库服务器112连接，测试环境中网络带宽100Mb/s，测试源端数据库执行DML操作时，数据抽取记录如图2所示，从图2可以看出执行的DML操作数据已被抽取转换成数据对象格式，数据对象记录了详细的操作过程数据，后续在数据投递到目标端后，可以根据目标端数据库类型，组装成相应的SQL语句。oracle数据库前映像Undo数据解析步骤如下：步骤1：1Undo日志文件解析先模拟一次数据库操作，找到对应操作的trace文件，再用BBED块读取工具读取对应的数据块，通过trace文件注释与二进制数据块结合进行解析，找出其中的格式与规律流程，Undo日志文件解析流程如图3所示；步骤2：追踪文件解析追踪文件(Tracefile)是以trc为后续的文本文件，它记录了各种SQL操作及所消耗的时间等。根据追踪文件可以查询到详细的数据库操作过程，包括SEQ、SCN、KDO、OPCode等详细的事务过程信息。具体追踪文件内容如图4所示；通过追踪文件中的内容，可以依次推理出数据库每一种操作码对应的标记位以及对应的执行过程内容，为下一步抽取有效操作内容奠定基础；步骤3：Undo数据块文件解析利用oracle内部工具数据库块浏览编辑器(BBED)可以直接查看和修改日志数据块文件。通过BBED工具DUMP日志文件块查看oracle内部Undo日志块本文档来自技高网...

【技术保护点】
1.一种应用于数据库日志分析的解析模型，其搭建的前映像数据抽取模型软件系统由数据复制层（1）和管理层（2）组成，所述数据复制层（1）由数据库抽取工具（11）组成，数据库抽取工具（11）分别部署在源端数据库服务器（111）和目标端数据库服务器（112），源端数据库服务器（111）连接于目标端数据库服务器（112），所述管理层（2）由数据库抽取管理工具（21）组成，数据库抽取管理工具（21）部署在管理库服务器（211）、应用服务器（212）以及转换器（213），管理库服务器（211）以及两台的应用服务器（212）均连接于转换器（213），其中一个所述应用服务器（212）和转换器（213）均与目标端数据库服务器（112）连接。

【技术特征摘要】
1.一种应用于数据库日志分析的解析模型，其搭建的前映像数据抽取模型软件系统由数据复制层（1）和管理层（2）组成，所述数据复制层（1）由数据库抽取工具（11）组成，数据库抽取工具（11）分别部署在源端数据库服务器（111）和目标端数据库服务器（112），源端数据库服务器（111）连接于目标端数据库服务器（112），所述管理层（2）由数据库抽取管理工具（21）组成，数据库抽取管理工具（21）部署在管理库服务器（211）、应用服务器（212）以及转换器（213），管理库服务器（211）以及两台的应用服务器（212）均连接于转换器（213），其中一个所述应用服务器（212）和转换器（213）均与目标端数据库服务器（112）连接。2.根据权利要求1所述的一种应用于数据库日志分析的解析模型，其特征在于，源端数据库服务器（111）、目标端数据库服务器（112）、管理库服务器（211）以及应用服务器（212）均采用16核64GB内存，oracle11g数据库。3.根据权利要求1所述的一种应用于数据库日志分析的解析模型，其特征在于：该解析模型还包括oracle数据库前映像Undo数据解析步骤：步骤1：1Undo日志文件解析先模拟一次数据库操作，找到对应操作的trace文件，再用BBED块读取工具读取对应的数据块，通过trace文件注释与二进制数据块结合进行解析，找出其中的格式与规律流程；步骤2：追踪文件解析根据追踪文件可以查询到详细的数...

【专利技术属性】
技术研发人员：付晨，肖子洋，邱日轩，
申请(专利权)人：国网江西省电力有限公司信息通信分公司，国家电网有限公司，
类型：发明
国别省市：江西,36