基于可重入锁的DDL同步方法、系统、装置、设备及介质制造方法及图纸

本申请涉及数据处理领域，公开了一种基于可重入锁的DDL同步方法、系统、装置、设备及介质，所述方法包括将预设捕捉队列中的DDL事件封装生成至少一个Event对象；对各Event对象进行数据抽取、数据转换和数据装载，并在目标数据库执行全部Event对象；在全部所述Event对象为包含1条数据的DDL事件，且全部Event对象在目标数据库中执行成功的情况下，释放可重入锁；在执行成功的DDL事件不是删除表的情况下，在目标数据库中更新DDL事件对应的元数据。通过上述方式，本申请使用基于可重入锁的DDL同步方法及系统，抛弃维护版本库信息的方式，将数据传输服务所需要的元数据的信息在特定时间点从目标库取出，提高了获取数据传输服务所需要的元数据信息的可靠性。

【技术实现步骤摘要】

本申请涉及数据处理，尤其涉及一种基于可重入锁的ddl同步方法、系统、装置、设备及介质。

技术介绍

1、典型的数据传输服务(data transmission service,dts)包括结构迁移、全量迁移、增量同步三大核心技术。其中，增量同步技术通过解析源库的增量日志捕获增量数据，包装成dts专有格式，然后经过数据抽取和数据转换流程，将捕获到的增量数据发送到目标库。

2、一个典型的dts增量同步技术的数据处理流程如下：在源库写入过程中，会产生数据操作(data manipulation language,dml)和数据定义(data definition language,ddl)事件流，dts的选择器(selector)模块会通过增量日志解析等方式捕获到这些事件，封装成dts通过格式(event)，然后经过数据抽取(extractor)和数据数据转换(transformer)模块，调用不同的装载器(loader)将增量数据插入目标库，该流程简称setl。

3、关系型数据库之间会有进行ddl实时同步的需求。在数据同步过程中，dts对本文档来自技高网...

【技术保护点】

1.一种基于可重入锁的DDL同步方法，其特征在于，包括：

2.根据权利要求1所述的基于可重入锁的DDL同步方法，其特征在于，所述将预设捕捉队列中的数据定义事件流DDL事件封装生成至少一个事件Event对象之前，包括：

3.根据权利要求1所述的基于可重入锁的DDL同步方法，其特征在于，所述将预设捕捉队列中的数据定义事件流DDL事件封装生成至少一个事件Event对象之前，包括：

4.根据权利要求3所述的基于可重入锁的DDL同步方法，其特征在于，所述在数据传输服务启动的情况下，通过生产者线程监听源端数据库的增量数据，并生成所述预设捕获队列之后，包括：

...

【技术特征摘要】

1.一种基于可重入锁的ddl同步方法，其特征在于，包括：

2.根据权利要求1所述的基于可重入锁的ddl同步方法，其特征在于，所述将预设捕捉队列中的数据定义事件流ddl事件封装生成至少一个事件event对象之前，包括：

3.根据权利要求1所述的基于可重入锁的ddl同步方法，其特征在于，所述将预设捕捉队列中的数据定义事件流ddl事件封装生成至少一个事件event对象之前，包括：

4.根据权利要求3所述的基于可重入锁的ddl同步方法，其特征在于，所述在数据传输服务启动的情况下，通过生产者线程监听源端数据库的增量数据，并生成所述预设捕获队列之后，包括：

5.根据权利要求1至4中任一项所述的基于可重入锁的ddl同步方法，其特征在于，所述在全部所述event对象为包含1条数据的ddl事件，且全部所述even...

【专利技术属性】
技术研发人员：李超亚，廖裕兴，朱承禹，孔祥康，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：