一种数据同步与脱敏系统技术方案

本发明专利技术公开了一种数据同步与脱敏系统，其中数据源管理模块用于存储和管理同步任务所需的数据库信息；任务创建模块用于创建数据同步或脱敏任务；任务管理模块对任务进行任务管理；预处理模块用于基于任务管理模块的任务启动进行任务预处理；脚本生成模块用于任务管理模块的任务信息以及预处理模块的任务预处理数据为任务生成脚本，完成数据同步任务或脱敏任务。本发明专利技术利用数据变更捕获技术，能够在不同数据库之间实现数据同步，具备了更灵活多样的功能，可以选择性地执行数据同步或脱敏任务，能够实现不同数据源之间的实时同步与脱敏，能够实时同步并脱敏增量数据，并且降低了对数据库系统的负担，同时加速了源数据库到消息中间件的同步速度。

【技术实现步骤摘要】

本专利技术属于数据安全领域，具体涉及一种数据同步与脱敏系统。

技术介绍

1、数据同步是用于确保不同数据存储系统(通常是数据库)之间数据的一致性和同步的技术。变更数据捕获是一种用于捕获和跟踪数据库中数据变化的技术。它通常用于将数据库中的数据变更传递给其他系统或应用程序，以确保这些系统始终保持与源数据库同步。数据脱敏是一种用于保护敏感数据隐私的方法，通过对数据进行修改或转换，使其不再包含敏感信息，同时仍保持数据的可用性和有效性。

2、通过对数据同步技术以及数据脱敏技术的结合使用，既可以在通常的生产环境中保持数据的一致性，还可以在必要时将数据脱敏并传给非生产环境使用，避免了敏感信息的泄露。

3、但现有的一般的同步系统只能保证数据的一致性，无法保证数据的安全性，同时，一个数据源只能同时同步到一个目标端；

4、另外，针对数据脱敏来说，目前静态数据脱敏系统无法满足实时脱敏增量数据，目前动态数据脱敏系统主要使用两种技术路线，分别为基于结果集处理的脱敏路线和基于sql改写的脱敏路线。这两种路线获取待脱敏数据时都涉及了对于数据库系统的访问本文档来自技高网...

【技术保护点】

1.一种数据同步与脱敏系统，其特征在于，包括数据源管理模块，任务创建模块，预处理模块，脚本生成模块，任务管理模块；

2.根据权利要求1所述的数据同步与脱敏系统，其特征在于，所述数据源管理模块内包括同步或脱敏任务所需的各个数据库信息，包括源数据库以及目标数据库的数据库名、IP地址、端口号、数据库类型、数据库名、描述信息、用户名、密码信息，每个数据源拥有唯一ID。

3.根据权利要求1所述的数据同步与脱敏系统，其特征在于，所述任务创建模块创建任务的过程为：

4.根据权利要求3所述的数据同步与脱敏系统，其特征在于，所述任务的输入节点信息配置包括：选择已经配置的...

【技术特征摘要】

1.一种数据同步与脱敏系统，其特征在于，包括数据源管理模块，任务创建模块，预处理模块，脚本生成模块，任务管理模块；

2.根据权利要求1所述的数据同步与脱敏系统，其特征在于，所述数据源管理模块内包括同步或脱敏任务所需的各个数据库信息，包括源数据库以及目标数据库的数据库名、ip地址、端口号、数据库类型、数据库名、描述信息、用户名、密码信息，每个数据源拥有唯一id。

3.根据权利要求1所述的数据同步与脱敏系统，其特征在于，所述任务创建模块创建任务的过程为：

4.根据权利要求3所述的数据同步与脱敏系统，其特征在于，所述任务的输入节点信息配置包括：选择已经配置的数据源中的某一数据库作为源数据库，选择源数据库下的某一数据表作为源数据表，确定消息中间件的配置信息，包括消息中间件部署的...

【专利技术属性】
技术研发人员：张鹏，陈景傲，胡晓旭，郭雨，马运骏，呼栩朴，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：