基于Redis的数据库数据聚合同步的方法技术

本发明专利技术提供了基于Redis的数据库数据聚合同步的方法，由于同步程序扫描目标数据库表的数据，计算每行数据的Key和Value，将其存储到Redis中，同时将该行数据写入聚合数据库，在目标数据库标数据发生变化时，同步程序重新计算目标数据库中每行数据的新Key和新Value，并查询Redis中是否存在与新Key相同的Key，从而对聚合数据库中数据进行更新，然后，对目标数据库数据同步完成的表主键集合与聚合数据库相应的表主键集合进行差集计算，通过判断差集中是否有元素来对聚合数据库中数据进行删除，本发明专利技术通过Redis来实现聚合同步过程中的增、改、删，从而将多个目标数据库数据聚合同步到一个聚合数据库中。

Data aggregation synchronization method of database based on Redis

The invention provides a data synchronization method based on the polymerization of Redis, because the synchronization program to scan the target database table data, calculation of each row of data Key and Value, which is stored in the Redis. At the same time the row data is written to the database according to the standard number of polymerization, changes in the target database synchronization program re calculate the target each row in a database data in the new Key and the new Value, and check whether there is the same with the new Key Key Redis, and thus the data aggregation database is updated, then the target database data synchronization complete table primary key set and the corresponding database aggregation table primary key set difference set calculation, by judging whether the difference there are elements of data aggregation in the database are deleted from the invention to achieve through the Redis polymerization during synchronization add, change, delete, and multiple Target database data aggregation is synchronized to an aggregated database.

【技术实现步骤摘要】
基于Redis的数据库数据聚合同步的方法
本专利技术属于互联网
，具体涉及一种基于Redis的数据库数据聚合同步的方法。
技术介绍
当今数据库软件技术中关系型数据库发展的已经很成熟，产品类型也相当的多，主流常见的关系型数据库有Oracle，MySQL，PostgreSQL等，针对这些数据库都有各自的数据主从同步方式，比如MySQL的主从数据库之间同步有自带的binlog主从同步数据的方式，Otter中间件同步等方式。但存在不足的地方是不能进行多个数据库同步到一个数据库的聚合同步。然而，目前大部分互联网公司内部的业务支持系统会根据业务拆分到不同的系统中，但是，当建立DW数据仓库平台或者BI平台时需要聚合各个业务系统的数据到同一个数据库中做后续的统计汇总分析，而目前尚不能进行多个数据到一个数据库的聚合同步，因此对公司内部业务执行会造成不便。
技术实现思路
本专利技术是为了解决上述问题而进行的，目的在于提供一种能够将至少一个目标数据库数据聚合同步到一个聚合数据库中的基于Redis的数据库数据聚合同步的方法。本专利技术提供了一种基于Redis的数据库数据聚合同步的方法，用于将至少一个目标数本文档来自技高网...

【技术保护点】
一种基于Redis的数据库数据聚合同步的方法，用于将至少一个目标数据库数据聚合同步到一个聚合数据库中，其特征在于，包括以下步骤：步骤1，使用同步程序从配置文件中加载各所述目标数据库的远程连接信息，读取所述目标数据库中的表结构，然后提取每个表的字段和主键信息，并在所述聚合数据库中创建相对应的表结构；步骤2，所述同步程序扫描所有所述目标数据库表的数据，然后逐行计算得到每行数据的Key和Value；步骤3，将步骤2中得到的Key和Value作为Redis的k‑v缓存写入Redis中，将所有所述目标数据库表的每行数据拼装出标准的“INSERT”SQL语句执行写入到所述聚合数据库中对应的表中；步骤4，当...

【技术特征摘要】
1.一种基于Redis的数据库数据聚合同步的方法，用于将至少一个目标数据库数据聚合同步到一个聚合数据库中，其特征在于，包括以下步骤：步骤1，使用同步程序从配置文件中加载各所述目标数据库的远程连接信息，读取所述目标数据库中的表结构，然后提取每个表的字段和主键信息，并在所述聚合数据库中创建相对应的表结构；步骤2，所述同步程序扫描所有所述目标数据库表的数据，然后逐行计算得到每行数据的Key和Value；步骤3，将步骤2中得到的Key和Value作为Redis的k-v缓存写入Redis中，将所有所述目标数据库表的每行数据拼装出标准的“INSERT”SQL语句执行写入到所述聚合数据库中对应的表中；步骤4，当所述目标数据库中表的数据发生变化时，执行步骤2，重新得到新Value和新Key，对于每行数据，判断Redis中是否存在与该行数据的新Key相同的Key，如果不存在，则该行数据执行步骤3，如果存在，则判断该行数据的新Value与Redis中存储的相对...

【专利技术属性】
技术研发人员：徐长根，
申请(专利权)人：摩贝上海生物科技有限公司，
类型：发明
国别省市：上海,31