解决多分区因子顺序依赖的增量数据同步方法及装置制造方法及图纸

本申请公开了一种解决多分区因子顺序依赖的增量数据同步方法。读取一个时间段内的关系数据库的二进制日志，生成日志消息；在所述日志消息所涉及的表中，将每个表中不允许出现重复值的列称为该表的分区因子。保存每个日志消息对应的数据更改所发生行的每个分区因子的哈希值。为每个日志消息安排分区，安排分区时将存在关联的日志消息安排在同一分区。将日志消息按照对应的数据更改执行时间的顺序保存在一个全局队列中，同时记录为每个日志消息安排的分区；利用Flink的水印机制，依次处理数据更改执行时间早于当前水印时间的日志消息。本申请实现多分区场景下的数据同步一致性。

【技术实现步骤摘要】

本申请涉及一种关系数据库(relational database，rdb)的增量同步方法。

技术介绍

1、关系数据库将数据存放在一个或多个表(table)中，每个表由行(row)和列(column)组成。一个表中的一行称为一条记录(record)。mysql是一种应用广泛的关系数据库管理系统。

2、主键(primary key)用于唯一标识表中的每一行(即每一条记录)。

3、主键通常是表中的一列，例如个人信息表的“身份证号码”列，学生信息表的“学号”列等。此时在表中的每一行中，主键列的值都是唯一的，不能有重复。主键不允许包含null(空)值。

4、主键也可以是表中的多列，此时称为复合主键(composite primary key，也称联合主键、组合主键)。此时复合主键所包含的列组合在一起必须是唯一的，即使单独看每一列，它们可能包含重复值。使用复合主键有助于确保数据完整性和避免重复记录。

5、唯一键(unique key)用于确保表中的某一列或多列组合的值在表中是唯一的。在表中的每一行中，相应的列包含唯一的值本文档来自技高网...

【技术保护点】

1.一种解决多分区因子顺序依赖的增量数据同步方法，其特征是，包括如下步骤；

2.根据权利要求1所述的解决多分区因子顺序依赖的增量数据同步方法，其特征是，步骤S1中，关系数据库的二进制日志以事件的形式存储，每个日志事件都包括所记录的数据更改执行时间的信息；每个日志消息对应于一个日志事件，每个日志消息也包含对应的数据更改执行时间的信息。

3.根据权利要求1所述的解决多分区因子顺序依赖的增量数据同步方法，其特征是，步骤S1中，每个表的分区因子至少有一个；每个表的分区因子为该表的主键字段、唯一键字段、业务主键字段的部分或全部。

4.根据权利要求1所述的解决多分...

【技术特征摘要】

1.一种解决多分区因子顺序依赖的增量数据同步方法，其特征是，包括如下步骤；

2.根据权利要求1所述的解决多分区因子顺序依赖的增量数据同步方法，其特征是，步骤s1中，关系数据库的二进制日志以事件的形式存储，每个日志事件都包括所记录的数据更改执行时间的信息；每个日志消息对应于一个日志事件，每个日志消息也包含对应的数据更改执行时间的信息。

3.根据权利要求1所述的解决多分区因子顺序依赖的增量数据同步方法，其特征是，步骤s1中，每个表的分区因子至少有一个；每个表的分区因子为该表的主键字段、唯一键字段、业务主键字段的部分或全部。

4.根据权利要求1所述的解决多分区因子顺序依赖的增量数据同步方法，其特征是，步骤s3中，在为每个日志消息安排分区时还为每个日志消息生成全局版本号，全局版本号具有唯一递增的特性。

5.根据权利要求1所述...

【专利技术属性】
技术研发人员：王祥，段艳杰，周琦，陈青山，镇立新，
申请(专利权)人：上海生腾数据科技有限公司，
类型：发明
国别省市：