异构数据库实时同步脱敏方法、装置、设备及储存介质制造方法及图纸

技术编号:37123706 阅读:19 留言:0更新日期:2023-04-01 05:19
本发明专利技术提供了一种异构数据库实时同步脱敏方法、装置、设备及储存介质,涉及服务器数据同步技术领域。包括:首先,构建第一数据库和第二数据库的数据对应关系。然后,对第一数据库储存的敏感数据进行全量脱敏处理,并根据经过全量脱敏处理后的敏感数据,在第二数据库中生成对应的脱敏数据。最后,对第一数据库中储存的敏感数据进行实时监控,并根据对第一数据库中储存的敏感数据的实时监控结果,对第二数据库中储存的脱敏数据进行实时更新。在本发明专利技术中,通过对数据进行变化捕获,进而实时跟踪变更的新数据,达到实时数据脱敏的效果。从而大大地提高了异构数据库同步数据的实时性。大大地降低了数据脱敏的人工成本。地降低了数据脱敏的人工成本。地降低了数据脱敏的人工成本。

【技术实现步骤摘要】
异构数据库实时同步脱敏方法、装置、设备及储存介质


[0001]本专利技术涉及服务器数据同步
,尤其涉及一种异构数据库实时同步脱敏方法、装置、设备及储存介质。

技术介绍

[0002]随着数据安全法、个人信息保护法的落地,数据安全受到了越来越多的关注。而如何保护数据安全也成了企业责任与义务。其中,数据脱敏就是保护数据安全的方式之一。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如证件号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。
[0003]异构数据库之间的数据同步通常采用静态脱敏来实现,但是静态脱敏无法在数据发生更新时,无法有效地实时跟踪变更的数据,因此数据的实时性较差。

技术实现思路

[0004]本专利技术实施例提供一种异构数据库实时同步脱敏方法、装置、设备及储存介质,旨在解决或者部分解决上述
技术介绍
中存在的问题。
[0005]为了解决上述技术问题,本专利技术是这样实现的:
[0006]第一方面,本专利技术实施例提供了一种异构数据库实时同步脱敏方法,方法包括:
[0007]构建第一数据库和第二数据库的数据对应关系,其中,第一数据库和第二数据库互为异构数据库;
[0008]对第一数据库储存的敏感数据进行全量脱敏处理,并根据经过全量脱敏处理后的敏感数据,在第二数据库中生成对应的脱敏数据;
[0009]对第一数据库中储存的敏感数据进行实时监控,并根据对第一数据库中储存的敏感数据的实时监控结果,对第二数据库中储存的脱敏数据进行实时更新。
[0010]可选地,构建第一数据库和第二数据库的数据对应关系的步骤,包括:
[0011]确定敏感数据的类型和来源,并在第一数据库中创建第一数据源表,其中,第一数据源表用于存储敏感数据;
[0012]在第二数据库中创建第二数据源表,其中,第二数据源表用于存储进行脱敏处理后的脱敏数据。
[0013]可选地,对第一数据库储存的敏感数据进行全量脱敏处理的步骤,包括:
[0014]确定脱敏规则,并对敏感数据进行敏感梳理,获得目标敏感数据;
[0015]按照脱敏规则,对目标敏感数据进行全量脱敏处理,生成目标脱敏数据。
[0016]可选地,根据经过全量脱敏处理后的敏感数据,在第二数据库中生成对应的脱敏数据的步骤,包括:
[0017]根据目标脱敏数据,生成SQL同步语句,并在第二数据库中执行SQL同步语句,以实
现在第二数据库中生成对应的脱敏数据。
[0018]可选地,对第一数据库中储存的敏感数据进行实时监控,并根据对第一数据库中储存的敏感数据的实时监控结果,对第二数据库中储存的脱敏数据进行实时更新的步骤,包括:
[0019]在第一数据库中创建用于监控第一数据源表的触发器;
[0020]触发器在监测到第一数据源表储存的敏感数据发生更新时,将更新后的敏感数据写入到变更轨迹表;
[0021]对变更轨迹表中储存的更新敏感数据进行脱敏处理,生成更新脱敏数据;
[0022]根据更新脱敏数据,生成SQL更新语句,并在第二数据库中执行SQL更新语句,以实现对第二数据库中储存的脱敏数据的实时更新。
[0023]可选地,在根据更新脱敏数据,生成SQL更新语句的步骤之后,方法还包括:
[0024]获取SQL更新语句的生成时长,并基于SQL更新语句的生成时长与预设时间限值,判断SQL更新语句的生成的进程是否超时;
[0025]在SQL更新语句的生成的进程未超时的情况下,继续执行在第二数据库中执行SQL更新语句,以实现对第二数据库中储存的脱敏数据的实时更新的步骤,在SQL更新语句的生成的进程超时的情况下,退出根据更新脱敏数据,生成SQL更新语句的步骤。
[0026]本专利技术实施例第二方面提出一种异构数据库实时同步脱敏装置,装置包括:
[0027]构建模块,用于构建第一数据库和第二数据库的数据对应关系,其中,第一数据库和第二数据库互为异构数据库;
[0028]脱敏模块,用于对第一数据库储存的敏感数据进行全量脱敏处理,并根据经过全量脱敏处理后的敏感数据,在第二数据库中生成对应的脱敏数据;
[0029]更新模块,用于对第一数据库中储存的敏感数据进行实时监控,并根据对第一数据库中储存的敏感数据的实时监控结果,对第二数据库中储存的脱敏数据进行实时更新。
[0030]可选地,构建模块包括:
[0031]第一构建子模块,用于确定敏感数据的类型和来源,并在第一数据库中创建第一数据源表,其中,第一数据源表用于存储敏感数据;
[0032]第二构建子模块,用于在第二数据库中创建第二数据源表,其中,第二数据源表用于存储进行脱敏处理后的脱敏数据。
[0033]可选地,脱敏模块包括:
[0034]敏感梳理子模块,用于确定脱敏规则,并对敏感数据进行敏感梳理,获得目标敏感数据;
[0035]脱敏子模块,用于按照脱敏规则,对目标敏感数据进行全量脱敏处理,生成目标脱敏数据。
[0036]可选地,脱敏模块还包括:
[0037]同步子模块,用于根据目标脱敏数据,生成SQL同步语句,并在第二数据库中执行SQL同步语句,以实现在第二数据库中生成对应的脱敏数据。
[0038]可选地,更新模块,包括:
[0039]创建子模块,用于在第一数据库中创建用于监控第一数据源表的触发器;
[0040]监控子模块,用于触发器在监测到第一数据源表储存的敏感数据发生更新时,将
更新后的敏感数据写入到变更轨迹表;
[0041]更新数据脱敏子模块,用于对变更轨迹表中储存的更新敏感数据进行脱敏处理,生成更新脱敏数据;
[0042]实时更新子模块,用于根据更新脱敏数据,生成SQL更新语句,并在第二数据库中执行SQL更新语句,以实现对第二数据库中储存的脱敏数据的实时更新。
[0043]可选地,在根据更新脱敏数据,实时更新子模块还包括:
[0044]超时判断单元,用于获取SQL更新语句的生成时长,并基于SQL更新语句的生成时长与预设时间限值,判断SQL更新语句的生成的进程是否超时;
[0045]执行单元,用在SQL更新语句的生成的进程未超时的情况下,继续执行在第二数据库中执行SQL更新语句,以实现对第二数据库中储存的脱敏数据的实时更新的步骤,在SQL更新语句的生成的进程超时的情况下,退出根据更新脱敏数据,生成SQL更新语句的步骤。
[0046]本专利技术实施例第三方面提出一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
[0047]存储器,用于存放计算机程序;
[0048]处理器,用于执行存储器上所存放的程序时,实现本专利技术实施例第一方面提出方法步骤。...

【技术保护点】

【技术特征摘要】
1.一种异构数据库实时同步脱敏方法,其特征在于,方法包括:构建第一数据库和第二数据库的数据对应关系,其中,所述第一数据库和所述第二数据库互为异构数据库;对所述第一数据库储存的敏感数据进行全量脱敏处理,并根据经过所述全量脱敏处理后的敏感数据,在所述第二数据库中生成对应的脱敏数据;对所述第一数据库中储存的敏感数据进行实时监控,并根据对第一数据库中储存的敏感数据的实时监控结果,对所述第二数据库中储存的脱敏数据进行实时更新。2.根据权利要求1所述的异构数据库实时同步脱敏方法,其特征在于,构建第一数据库和第二数据库的数据对应关系的步骤,包括:确定所述敏感数据的类型和来源,并在第一数据库中创建第一数据源表,其中,所述第一数据源表用于存储所述敏感数据;在第二数据库中创建第二数据源表,其中,所述第二数据源表用于存储进行脱敏处理后的所述脱敏数据。3.根据权利要求1所述的异构数据库实时同步脱敏方法,其特征在于,对所述第一数据库储存的敏感数据进行全量脱敏处理的步骤,包括:确定脱敏规则,并对所述敏感数据进行敏感梳理,获得目标敏感数据;按照所述脱敏规则,对所述目标敏感数据进行全量脱敏处理,生成目标脱敏数据。4.根据权利要求1所述的异构数据库实时同步脱敏方法,其特征在于,根据经过所述全量脱敏处理后的敏感数据,在所述第二数据库中生成对应的脱敏数据的步骤,包括:根据目标脱敏数据,生成SQL同步语句,并在所述第二数据库中执行所述SQL同步语句,以实现在所述第二数据库中生成对应的脱敏数据。5.根据权利要求1所述的异构数据库实时同步脱敏方法,其特征在于,对所述第一数据库中储存的敏感数据进行实时监控,并根据对第一数据库中储存的敏感数据的实时监控结果,对所述第二数据库中储存的脱敏数据进行实时更新的步骤,包括:在所述第一数据库中创建用于监控第一数据源表的触发器;所述触发器在监测到所述第一数据源表储存的敏感数据发生更新时,将更新后的敏感数据写入到变更轨迹表;对所述变更轨迹表中储存的更新敏感数据进行脱敏处理,生成更新脱敏数据;根据所述更新脱敏数据,生成SQL更新语句,并在所述第二数据库中执行所述SQL更新语句,以实现对第二数据库中储...

【专利技术属性】
技术研发人员:杨晋喻波王志海刘旺安鹏
申请(专利权)人:北京明朝万达科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1