一种基于制造技术

本发明专利技术提供一种基于

【技术实现步骤摘要】
一种基于FlinkCDC的数据读写方法、系统、电子设备及存储介质


[0001]本专利技术涉及大数据的数据处理
，更具体地，涉及一种基于
FlinkCDC
的数据读写方法
、
系统
、
电子设备及存储介质
。

技术介绍

[0002]Apache Flink
：
Apache Flink
是一个开源的流处理和批处理框架，用于处理大规模
、
高吞吐量和低延迟的实时数据流和批处理数据
。
它提供了分布式数据流处理和批处理的能力，并具有高度可扩展性
、
容错性和灵活性
。Apache Flink
是一个通用的数据处理框架，适用于各种实时数据处理和批处理场景
。
[0003]Flink CDC
：
Flink CDC(Change Data Capture)
是基于
Apache Flink
的一个项目，旨在捕获和处理数据库变更
(Change)
的数据流
。
它提供了一种可靠的方式来监视和捕获数据库中的变更，并将这些变更作为流式数据进行处理
。Flink CDC
支持多种数据库引擎，如
MySQL、PostgreSQL
等，并提供了与这些数据库的连接器和适配器
。
[0004]在数据读写项目中需要接入存量
、
增量数据，数据存储在
XDB
中，需要使用
FlinkCDC
工具将数据接入，数据的处理部分采用
Hadoop
生态下，
Apache Flink
技术点，采用
FlinkCDC
技术进行原始数据的采集，但是原生的
FlinkCDC
只能针对
DB
中主库进行采集，而不能直接对灾备库进行采集
。
数据库灾备库只提供读权限
。
原生
FlinkCDC
读取日志时要记录偏移量，需要写入到目标数据库的临时表中，如果没有写入权限则不能成功读取目标数据库的日志
。

技术实现思路

[0005]本专利技术针对现有技术中存在的技术问题，提供一种基于
FlinkCDC
的数据读写方法
、
系统
、
电子设备及存储介质，实现存量和增量数据接入，保障主库环境的稳定性和数据安全性，实现读写时的链路少，维护成本低，稳定性强，读写数据准确性高，读写数据延迟小，处理速度快
、
资源占用更少，实时性更高
。
[0006]根据本专利技术的第一方面，提供了一种基于
FlinkCDC
的数据读写方法，包括：
[0007]步骤
1、
在灾备库所在数据库服务器创建一个新的独立的服务实例；
[0008]步骤
2、
扫描次灾备库的从库实例里面的日志文件，并加入到新建实例的管理范围；
[0009]步骤
3、FlinkCDC
改造程序直接从新实例的日志文件视图中不断抽取数据，并将采集后的数据推送到实时计算平台
。
[0010]在上述技术方案的基础上，本专利技术还可以作出如下改进
。
[0011]可选的，在步骤1中，一个数据库服务器能够有多个实例，新建独立的服务实例不从属与原主实例，没有主实例的日志
。
[0012]可选的，所述在灾备库所在数据库服务器创建一个新的独立的服务实例包括：
[0013]步骤
1.1.
使用数据库连接工具或者创建数据库语句在备库所在物理机新建单独的数据库实例；
[0014]步骤
1.2.
使用数据库创建字典文件的命令来创建字典文件
。
[0015]可选的，所述在灾备库所在数据库服务器创建一个新的独立的服务实例包括：
[0016]步骤
1.1.
使用数据库连接工具或者创建数据库语句在备库所在物理机新建单独的数据库实例；
[0017]步骤
1.2.
使用数据库创建字典文件的命令来创建字典文件
。
[0018]可选的，步骤2中，所述扫描次灾备库的从库实例里面的日志文件，加入到新建实例的管理范围包括：
[0019]步骤
2.1.
筛选备份传输日志文件和修改操作日志文件；
[0020]步骤
2.2.
使用日志文件添加命令添加所筛选出的日志文件；
[0021]步骤
2.3.
使用数据库日志开启命令来开启日志文件，并查询记录日志更改的视图获取日志信息并处理；
[0022]步骤
2.4.
查询当前的活跃备份日志是否有变化，若无变化则循环执行第
2.3
步，否则关闭日志文件并跳转到第
1.2
步
。
[0023]可选的，上述步骤
2.3
中，具体通过下述方式实现对从库抽取增量数据：
[0024]2.3.1.
在从库所数据库，新建一个独立的数据库实例，此实例具有读写权限；
[0025]2.3.2.
在新实例里面创建提取和分析数据库提取的日志表；
[0026]2.3.3.
在备份库创建字典表；
[0027]2.3.4.
自动筛选从库的数据库操作日志和数据库事务日志文件地址，加入到新实例的日志文件中
。
[0028]可选的，所述
FlinkCDC
改造程序直接从新实例的在线重做日志视图中不断抽取数据，并将采集后的数据推送到实时计算平台包括：
[0029]搭建一套数据库的全新备库，将数据库主库的数据，通过数据库的资深技术同步到所述备库中，实时计算平台从该数据库中通过
flinkcdc
进行数据采集，将采集后的数据推送到实时计算平台进行处理
。
[0030]可选的，所述备库具备可读写或者可创建读写新实例
。
[0031]根据本专利技术的第二方面，提供一种基于
FlinkCDC
的数据读写系统，包括：
[0032]服务实例创建模块，用于在灾备库所在数据库服务器创建一个新的独立的服务实例；
[0033]扫描新建模块，用于扫描次灾备库的从库实例里面的日志文件，并加入到新建实例的管理范围；
[0034]采集模块，用于
FlinkCDC
改造程序直接从新实例的在线重做日志视图中不断抽取数据，并将采集后的数据推送到实时计算平台
。
[0035]根据本专利技术的第三方面，提供了一种电子设备，包括存储器
、
处理器，所述处理器用于执行存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
FlinkCDC
的数据读写方法，其特征在于，包括以下步骤：步骤
1、
在灾备库所在数据库服务器创建一个新的独立的服务实例；步骤
2、
扫描次灾备库的从库实例里面的日志文件，并加入到新建实例的管理范围；步骤
3、FlinkCDC
改造程序直接从新实例的在线重做日志视图中不断抽取数据，并将采集后的数据推送到实时计算平台
。2.
根据权利要求1所述的一种基于
FlinkCDC
的数据读写方法，其特征在于，在步骤1中，一个数据库服务器能够有多个实例，新建独立的服务实例不从属与原主实例，没有主实例的日志
。3.
根据权利要求1所述的一种基于
FlinkCDC
的数据读写方法，其特征在于，所述在灾备库所在数据库服务器创建一个新的独立的服务实例包括：步骤
1.1.
使用数据库连接工具或者创建数据库语句在备库所在物理机新建单独的数据库实例；步骤
1.2.
使用数据库创建字典文件的命令来创建字典文件
。4.
根据权利要求3所述的一种基于
FlinkCDC
的数据读写方法，其特征在于，步骤2中，所述扫描次灾备库的从库实例里面的日志文件，加入到新建实例的管理范围包括：步骤
2.1.
筛选备份传输日志文件和修改操作日志文件；步骤
2.2.
使用日志文件添加命令添加所筛选出的日志文件；步骤
2.3.
使用数据库日志开启命令来开启日志文件，并查询记录日志更改的视图获取日志信息并处理；步骤
2.4.
查询当前的活跃备份日志是否有变化，若无变化则循环执行步骤
2.3
，否则关闭日志文件并跳转到步骤
1.2。5.
根据权利要求4所述的一种基于
FlinkCDC
的数据读写方法，其特征在于，上述步骤
2.3
中，具体通过下述方式实现对从库抽取增量数据：
...

【专利技术属性】
技术研发人员：石龙，李耀，彭磊，
申请(专利权)人：武汉众邦银行股份有限公司，
类型：发明
国别省市：