基于oracle数据库归档日志的整库实时数据采集方法技术

本发明专利技术涉及一种基于oracle数据库归档日志的整库实时数据采集方法，通过oracle数据库归档日志实时同步数据技术提供数据采集，在数据库部署服务器创建系统账号，数据库创建用户，赋予相应权限并在新建专有用户下创建视图实现数据同步，对数据库和服务器性能消耗小，无额外的改造开发工作量，并通过开放接口实现数据传输的实时监控。本发明专利技术不需要专门的开发工作，实施成本低，对现有业务无任何改造和影响，可实现不依托于表的时间戳的秒级时延的准实时增量抽取，基于数据库日志的分析进行数据抽取，性能消耗小，对生产数据库几乎无感知，基于日志分析后生产加密文件，传输过程中数据安全，基于日志分析不需要了解表结构和表数据，数据安全性高。

A real-time data collection method based on Oracle database archive log

【技术实现步骤摘要】
基于oracle数据库归档日志的整库实时数据采集方法
本专利技术涉及数据处理
，更具体地说，涉及一种基于oracle数据库归档日志的整库实时数据采集方法。
技术介绍
目前数据管理相关行业内部数据数据缺乏监管，各个地区常常有对外共享数据的需求，但是由于缺乏统一的共享平台和标准接口，经常会使用不安全的手段进行数据共享，例如使用移动介质进行拷贝；系统分割，相互独立，有的数据管理单位使用多个厂商建设的不同系统，各个部门独立开展业务，相互封闭，信息分散，没有有效的信息共享机制；数据没有集中，数据质量是提供决策支持的有力条件，但是数据分散，导致无法获取全量的数据进行分析，对数据的价值是较大的浪费；一旦发生故障就可能会造成数据的丢失，甚至造成一定社会影响。基于以上客观存在的需求和问题，传统的数据集中模式是通过数据文件或者API接口进行数据传输，这种方式需要解决传输带宽问题，还要开发专门的接口程序来实现数据传输，工作量大，灵活性差，数据能否增量传输完全依赖于生产数据是否有时间戳，形成的文件或接口还要开发解析程序，需要大量的个性化定制工作，而且扩展性差，容错性差，随着业务发的发展，接口程序会成为系统运行的一个瓶颈，接口的改造和管理需要大量的人力和时间来完成，逐渐的会形成各式各样的接口烟囱，形成新的信息孤岛。另一种方式是通过ETL数据抽取工具去进行数据集中工作，这种方式适用于本身数据标准化程度高，数据规范且数据量小的应用场景。大部分的ETL抽取是针对表级的数据抽取，如果需要做多个系统或多个区域的数据集中，数据库表量巨大，会存在海量的实施和运维工作，而且对ETL的性能和压力要求非常高；ETL抽取依托于表本身的时间戳或者需要多数据库进行不是很常用的配置(例如oracle开启logminer，效率差，无法大数据量抽取)，对生产环境的要求高，要实现增量抽取，能支持的生产环境数据库类型也比较有限。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于oracle数据库归档日志的整库实时数据采集方法。本专利技术解决其技术问题所采用的技术方案是：构造一种基于oracle数据库归档日志的整库实时数据采集方法，包括步骤：在源端oracle数据库安装服务器创建系统账号和数据采集账号并赋权，以读取数据库后台日志、数据库环境变量信息及读取系统视图；根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库系统视图，通过数据采集需求业务表分析出实时增量数据，对数据进行加密，形成加密数据文件；其中，根据数据采集需求业务表的业务量需求，如果业务需要全量数据采集，则在加密数据文件中开启程序全量采集配置，进行全量数据采集，采集完成后自动进行增量数据采集；加密数据文件通过TCP/IP协议进行网络传输；目标端oracle数据库入库程序对接收的加密数据文件按顺序进行解密解析入库，根据数据库的约束条件确保数据不重复，数据及时解析入库，保证秒级时延，实现实时增量采集。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，在数据及时解析入库的步骤之后，还包括步骤：通过数据比对程式对目标端oracle数据库和源端oracle数据库的数据进行比对，对存在差异的数据进行自动修复，确保数据采集准确性和一致性。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，通过监控程式对数据解析、传输、入库进行实时监控，对异常提供预警，确保数据及时、稳定采集。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，通过配置，将生产数据库源端oracle数据库的DML、DDL、索引、视图、物化视图、触发器、存储过程全部进行备份，保证备份目标端oracle数据库的可用性和完整性。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，利用多个源端oracle数据库同时向同一个或多个目标端oracle数据库进行数据采集。区别于现有技术，本专利技术提供的基于oracle数据库归档日志的整库实时数据采集方法通过oracle数据库归档日志实时同步数据技术提供数据采集，在数据库部署服务器创建系统账号，数据库创建用户，赋予相应权限并在新建专有用户下创建视图实现数据同步，对数据库和服务器性能消耗小，无额外的改造开发工作量，并通过开放接口实现数据传输的实时监控。本专利技术不需要专门的开发工作，实施成本低，对现有业务无任何改造和影响，可实现不依托于表的时间戳的秒级时延的准实时增量抽取，基于数据库日志的分析进行数据抽取，性能消耗小，对生产数据库几乎无感知，基于日志分析后生产加密文件，传输过程中数据安全，基于日志分析不需要了解表结构和表数据，数据安全性高。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术提供的一种基于oracle数据库归档日志的整库实时数据采集方法的流程示意图。图2是本专利技术提供的一种基于oracle数据库归档日志的整库实时数据采集方法的关联插件的逻辑示意图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。如图1和图2所示，在本专利技术的一种基于oracle数据库归档日志的整库实时数据采集方法包括步骤：S110：在源端oracle数据库安装服务器创建系统账号和数据采集账号并赋权，以读取数据库后台日志、数据库环境变量信息及读取系统视图。S120：根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库系统视图，通过数据采集需求业务表分析出实时增量数据，对数据进行加密，形成加密数据文件；其中，根据数据采集需求业务表的业务量需求，如果业务需要全量数据采集，则在加密数据文件中开启程序全量采集配置，进行全量数据采集，采集完成后自动进行增量数据采集。S130：加密数据文件通过TCP/IP协议进行网络传输。S140：目标端oracle数据库入库程序对接收的加密数据文件按顺序进行解密解析入库，根据数据库的约束条件确保数据不重复，数据及时解析入库，保证秒级时延，实现实时增量采集。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，在数据及时解析入库的步骤之后，还包括步骤：通过数据比对程式对目标端oracle数据库和源端oracle数据库的数据进行比对，对存在差异的数据进行自动修复，确保数据采集准确性和一致性。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，通过监控程式对数据解析、传输、入库进行实时监控，对异常提供预警，确保数据及时、稳定采集。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，通过配置，将生产数据库源端oracle数据库的DML、DDL、索引、视图、物化视图、触发器、存储过程全部进行备份，保证备份目标端oracle数据库的可用性和完整性。在本专利技术所述的基于oracle数据库归档日志的整库实时数据采集方法中，利用本文档来自技高网...

【技术保护点】
1.一种基于oracle数据库归档日志的整库实时数据采集方法，其特征在于，包括步骤：/n在源端oracle数据库安装服务器创建系统账号和数据采集账号并赋权，以读取数据库后台日志、数据库环境变量信息及读取系统视图；/n根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库系统视图，通过数据采集需求业务表分析出实时增量数据，对数据进行加密，形成加密数据文件；其中，根据数据采集需求业务表的业务量需求，如果业务需要全量数据采集，则在加密数据文件中开启程序全量采集配置，进行全量数据采集，采集完成后自动进行增量数据采集；/n加密数据文件通过TCP/IP协议进行网络传输；/n目标端oracle数据库入库程序对接收的加密数据文件按顺序进行解密解析入库，根据数据库的约束条件确保数据不重复，数据及时解析入库，保证秒级时延，实现实时增量采集。/n

【技术特征摘要】
1.一种基于oracle数据库归档日志的整库实时数据采集方法，其特征在于，包括步骤：
在源端oracle数据库安装服务器创建系统账号和数据采集账号并赋权，以读取数据库后台日志、数据库环境变量信息及读取系统视图；
根据业务数据的实时变化，通过数据解析程式分析后台日志和数据库系统视图，通过数据采集需求业务表分析出实时增量数据，对数据进行加密，形成加密数据文件；其中，根据数据采集需求业务表的业务量需求，如果业务需要全量数据采集，则在加密数据文件中开启程序全量采集配置，进行全量数据采集，采集完成后自动进行增量数据采集；
加密数据文件通过TCP/IP协议进行网络传输；
目标端oracle数据库入库程序对接收的加密数据文件按顺序进行解密解析入库，根据数据库的约束条件确保数据不重复，数据及时解析入库，保证秒级时延，实现实时增量采集。


2.根据权利要求1所述的基于oracle数据库归档日志的整库实时数据采集方法，其特征在于，在...

【专利技术属性】
技术研发人员：徐学海，原钰佳，郭靖伟，
申请(专利权)人：山西云时代技术有限公司，
类型：发明
国别省市：山西;14