一种基于消息中间件的异构数据库实时同步方法技术

本发明专利技术公开了一种基于消息中间件的异构数据库实时同步方法，步骤包括：建设统一的实时框架管理异构数据源之间实时数据交换。实时拉取的异构数据建立统一模型后，分类持久化到消息中间件，通过消费消息中间件中数据，从而根据业务需求进行相应数据处理。本发明专利技术设置异构数据源的数据中转站和数据代理，从而让数据源对业务处理透明。提供实时的数据转换和数据抽取，解决异构数据源之间数据难转化的技术难点及重复的数据抽取带来的资源浪费和系统压力等问题。

A real time synchronization method for heterogeneous databases based on Message Oriented Middleware

The invention discloses a heterogeneous database synchronization method based on Message Oriented Middleware includes: real-time data exchange between heterogeneous data source management framework of real-time unified construction. Pull the real-time heterogeneous data to establish a unified model, classification and persistence to the consumer through the data message middleware, message oriented middleware, and the corresponding data processing according to the needs of the business. The invention sets up data transfer stations and data agents of heterogeneous data sources, so that the data source is transparent to the business processing. Provide real-time data conversion and data extraction, problem solving technical difficulties of data between heterogeneous data sources to be transformed and repeated data extraction from waste and system pressure.

【技术实现步骤摘要】
一种基于消息中间件的异构数据库实时同步方法
本专利技术属于券商行业数据实时交换领域，特别是一种基于消息中间件的异构数据库实时同步方法。
技术介绍
随着互联网金融的蓬勃发展，金融行业也在从传统架构逐步向分布式架构进化，数据存储方式也从单一oracle发展到多种多样的异构数据存储主要有mysql、内存数据库，Nosql数据库，MPP等数据库。同时金融行业传统数据同步方式主要采用ETL集中批处理的形式，这种方式时延较高，同时对于数据库有峰值压力，并且经常重复抽取数据，随着业务的发展，对于数据的同步要求以更实时的方式进行。目前在金融行业并没有一套完整的基于消息中间件的异构数据实时同步解决方案。而在开源领域，databus，基于自身定义的eventBuffer对象使用avro序列化，alibaba-canal基于protobuf做序列化，两者都是使用netty做消息传输，缺点是开源版本没有一套完整的架构体系支持，消息不能持久化，不能多次利用和重复消费，支持的数据源较少，对于消费方不友好，需要完全自主开发，也无法直接和当前一些大数据技术结合起来使用。
技术实现思路
针对现有技术中存在的问题，本专利技本文档来自技高网...

【技术保护点】
一种基于消息中间件的异构数据库实时同步方法，其特征在于步骤包括：1)根据不同类型数据源部署数据采集模块：当数据源为oracle或mysql关系型数据库时，则所述数据采集模块部署在数据源所在主机外；当数据源为日志类数据源，则在数据源主机上安装数据采集模块，之后执行步骤2)；2)所述数据采集模块将各自采集来的数据进行加工处理并采用protobuffer技术封装成统一数据模型，之后执行步骤3)；3)所述数据采集模块将统一数据模型发送给消息中间件进行持久化，之后执行步骤4)；4)数据处理模块通过消息处理框架API从消息中间件中拉取数据，并根据业务规则进行业务处理，本方法结束。

【技术特征摘要】
1.一种基于消息中间件的异构数据库实时同步方法，其特征在于步骤包括：1)根据不同类型数据源部署数据采集模块：当数据源为oracle或mysql关系型数据库时，则所述数据采集模块部署在数据源所在主机外；当数据源为日志类数据源，则在数据源主机上安装数据采集模块，之后执行步骤2)；2)所述数据采集模块将各自采集来的数据进行加工处理并采用protobuffer技术封装成统一数据模型，之后执行步骤3)；3)所述数据采集模块将统一数据模型发送给消息中间件进行持久化，之后执行步骤4)；4)数据处理模块通过消息处理框架API从消息中间件中拉取数据，并根据业务规则进行业务处理，本方法结束。2.根据权利要求1所述的一种基于消息中间件的异构数据库实时同步方法，其特征在于步骤2)中所述统一数据模型具体包括数据头和数据体。3.根据权利要求2所述的一种基于消息中间...

【专利技术属性】
技术研发人员：樊建，谷正亮，王铃，
申请(专利权)人：华泰证券股份有限公司，
类型：发明
国别省市：江苏,32