数据库同步和防篡改溯源的方法技术

本发明专利技术提供了一种数据库同步和防篡改溯源的方法

【技术实现步骤摘要】
数据库同步和防篡改溯源的方法、装置和电子设备


[0001]本专利技术涉及计算机的
，尤其是涉及一种数据库同步和防篡改溯源的方法
、
装置和电子设备
。

技术介绍

[0002]当今社会处于高速发展状态，科技不断进步，信息流通速度加快，人们之间的沟通也变得越来越紧密
。
这些变化使得生活更加便利，同时也促进了数据的产生和应用
。
数据在这个高科技时代中变得异常重要，因此数据采集
、
存储
、
搜索
、
共享
、
分析和可视化等方面已成为当前重要的研究课题
。
数据采集是一切数据应用的开始和前提，数据的防篡改则是确保数据可信的基石
。
[0003]MySQL
是一种开源的关系型数据库管理系统，它使用
SQL
语言进行数据管理
。
作为最受欢迎的数据库之一，
MySQL
被广泛应用于
Web
应用程序和企业级解决方案
。
为了分析原有数据或提高系统性能，通常需要将
MySQL
的数据实时同步到一些大数据存储中
。
在项目开发和实施中，客户和研发人员通常更加关注数据治理
、
挖掘和分析应用等方面，但在许多场景下，确保数据不被篡改以及对数据进行溯源是至关重要的
。
保证数据库数据的原始性，查找数据的历史变更记录并确保这些记录可信，是非常重要的
。
[0004]Mysql
数据的同步，有许多成熟的方案，例如主从复制
、
多主复制
、Galera Cluster
等
。
但是主从复制需要考虑数据一致性和主从延迟的问题，而且容易出现单点故障；多主复制需要更高的硬件和网络成本，而且需要解决冲突问题；
Galera Cluster
需要所有节点之间的高速网络连接，而且不支持跨数据中心部署
。
因此，在选择同步方案时，需要根据实际情况综合考虑各种因素，权衡利弊
。
[0005]目前，大多数防篡改和数据溯源功能，都是采用区块链技术
。
区块链技术可以通过去中心化的方式，保证数据的安全性和不可篡改性
。
具体来说，数据会被分散存储在区块链网络的多个节点中，每个节点都有完整的数据备份，这样即便有一部分节点出现故障或被攻击，数据仍然可以被保护
。
但区块链技术成本高
、
效率低，且存储容量是有限的，当数据量达到一定程度时，会导致存储空间不足的问题，同时还涉及到隐私问题
、
交易速度慢的问题
。
[0006]综上，如何简单
、
高效
、
可靠的进行数据库同步和防篡改溯源成为目前亟需解决的技术问题
。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种数据库同步和防篡改溯源的方法
、
装置和电子设备，以缓解现有技术无法简单
、
高效
、
可靠的进行数据库同步和防篡改溯源的技术问题
。
[0008]第一方面，本专利技术实施例提供了一种数据库同步和防篡改溯源的方法，包括：采用
Flink
的
JDBC Source
实时读取待同步数据库中的数据；
采用
Flink
的
Sink
将读取得到的流式数据写入
Immudb
中进行存储；采用所述
Immudb
提供的版本控制功能对目标数据进行溯源
。
[0009]进一步的，采用
Flink
的
JDBC Source
实时读取待同步数据库中的数据，包括：在所述
Flink
的环境中添加所述待同步数据库的连接依赖，以建立与所述待同步数据库的连接；创建
JDBC Source
，并配置所述
JDBC Source
的参数，其中，所述
JDBC Source
的参数包括：所述待同步数据库的连接信息
、
待读取的数据表名和读取数据的起始位置；使用所述
Flink
提供的
JDBCInputFormat
实时读取所述待同步数据库中的与所述
JDBC Source
的参数对应的数据
。
[0010]进一步的，采用
Flink
的
Sink
将读取得到的流式数据写入
Immudb
中进行存储，包括：在所述
Immudb
中创建与所述待同步数据库对应的数据表；在所述
Flink
的环境中添加
immudb4j
依赖，以通过所述
immudb4j
依赖连接
Immudb
；创建
Immudb Sink
，并配置所述
Immudb Sink
的参数，其中，所述
Immudb Sink
的参数包括：所述
Immudb
的服务器地址
、
端口号
、
用户名和密码；根据所述
Immudb Sink
和所述
immudb4j
依赖将读取得到的流式数据写入所述
Immudb
中进行存储
。
[0011]进一步的，在采用
Flink
的
JDBC Source
实时读取待同步数据库中的数据之后，所述方法还包括：根据需求对读取得到的流式数据进行处理，得到处理后的流式数据，进而采用所述
Flink
的
Sink
将所述处理后的流式数据写入所述
Immudb
中进行存储
。
[0012]进一步的，在采用
Flink
的
JDBC Source
实时读取待同步数据库中的数据和采用
Flink
的
Sink
将读取得到的流式数据写入
Immudb
中进行存储的过程中，采用
Flink
的
CheckPoint
机制记录当前运行节点，并在程序发生故障时，采用
Savepoint
机制实现程序的恢复
。
[0013]进一步的，所述待同步数据库包括以下任一种：
Mysql
数据库
、Oracle
数据库
、SQL Server
数据库和
PostgreSQL
数据库
。
...

【技术保护点】

【技术特征摘要】
1.
一种数据库同步和防篡改溯源的方法，其特征在于，包括：采用
Flink
的
JDBC Source
实时读取待同步数据库中的数据；采用
Flink
的
Sink
将读取得到的流式数据写入
Immudb
中进行存储；采用所述
Immudb
提供的版本控制功能对目标数据进行溯源
。2. 根据权利要求1所述的方法，其特征在于，采用
Flink
的
JDBC Source
实时读取待同步数据库中的数据，包括：在所述
Flink
的环境中添加所述待同步数据库的连接依赖，以建立与所述待同步数据库的连接；创建
JDBC Source
，并配置所述
JDBC Source
的参数，其中，所述
JDBC Source
的参数包括：所述待同步数据库的连接信息
、
待读取的数据表名和读取数据的起始位置；使用所述
Flink
提供的
JDBCInputFormat
实时读取所述待同步数据库中的与所述
JDBC Source
的参数对应的数据
。3.
根据权利要求1所述的方法，其特征在于，采用
Flink
的
Sink
将读取得到的流式数据写入
Immudb
中进行存储，包括：在所述
Immudb
中创建与所述待同步数据库对应的数据表；在所述
Flink
的环境中添加
immudb4j
依赖，以通过所述
immudb4j
依赖连接
Immudb
；创建
Immudb Sink
，并配置所述
Immudb Sink
的参数，其中，所述
Immudb Sink
的参数包括：所述
Immudb
的服务器地址
、
端口号
、
用户名和密码；根据所述
Immudb Sink
和所述
immudb4j
依赖将读取得到的流式数据写入所述
Immudb
中进行存储
。4. 根据权利要求1所述的方法，其特征在于，在采用
Flink
的
JDBC Source

【专利技术属性】
技术研发人员：陈臻，刘本强，李兆丽，王一，
申请(专利权)人：浪潮数字山东建设运营有限公司，
类型：发明
国别省市：