数据处理方法、装置及系统制造方法及图纸

本申请提出一种数据处理方法、装置及系统，方法包括：获取生产数据库对应的第一日志文件，第一日志文件用于记录生产数据库中数据的变化情况；将第一日志文件发送给备份数据库，以使备份数据库根据第一日志文件确定生产数据库中的增量数据，并对增量数据进行脱敏处理，生成与增量数据对应的脱敏数据并存储于备份数据库中；获取脱敏数据，并将脱敏数据存储至开发数据库和/或测试数据库中。本申请实现了实时自动化地数据脱敏，以及生产环境数据至测试环境的实时同步，方便了软件开发人员查询数据以快速定位bug，保证了bug排查的及时性，解决相关技术中由人工对敏感数据进行脱敏处理，耗时长，效率低，导致软件开发人员无法及时地排查bug的技术问题。

【技术实现步骤摘要】
数据处理方法、装置及系统
本申请涉及数据处理
，尤其涉及一种数据处理方法、装置及系统。
技术介绍
在软件产品开发和上线测试过程中，软件开发人员常需要使用生产环境中的数据排查bug，软件测试人员需要使用数据量和数据结构与生产环境中实际数据类似的测试数据进行产品上线前的测试。然而，生产环境中的数据通常包含用户的个人信息，比如手机号码、身份证号码等敏感数据，无法直接提供给软件开发人员和软件测试人员使用，需要由数据库管理员对生产环境中的数据进行脱敏处理后，将脱敏后的数据提供给软件开发人员和软件测试人员使用。这种由人工对敏感数据进行脱敏处理的方式，耗时较长，数据脱敏效率低，影响了软件开发人员排查bug的及时性。
技术实现思路
本申请提出一种数据处理方法、装置及系统，用于解决相关技术中由人工对敏感数据进行脱敏处理，耗时长，效率低，导致软件开发人员无法及时地排查bug的技术问题。本申请第一方面实施例提出了一种数据处理方法，应用于调度中心，包括：获取生产数据库对应的第一日志文件，所述第一日志文件用于记录所述生产本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用于调度中心，其特征在于，包括：/n获取生产数据库对应的第一日志文件，所述第一日志文件用于记录所述生产数据库中数据的变化情况；/n将所述第一日志文件发送给备份数据库，以使所述备份数据库根据所述第一日志文件确定所述生产数据库中的增量数据，并对所述增量数据进行脱敏处理，生成与所述增量数据对应的脱敏数据并存储于所述备份数据库中；/n获取所述脱敏数据，并将所述脱敏数据存储至开发数据库和/或测试数据库中。/n

【技术特征摘要】
1.一种数据处理方法，应用于调度中心，其特征在于，包括：
获取生产数据库对应的第一日志文件，所述第一日志文件用于记录所述生产数据库中数据的变化情况；
将所述第一日志文件发送给备份数据库，以使所述备份数据库根据所述第一日志文件确定所述生产数据库中的增量数据，并对所述增量数据进行脱敏处理，生成与所述增量数据对应的脱敏数据并存储于所述备份数据库中；
获取所述脱敏数据，并将所述脱敏数据存储至开发数据库和/或测试数据库中。


2.如权利要求1所述的方法，其特征在于，所述备份数据库还生成第二日志文件，所述第二日志文件用于记录对所述增量数据进行脱敏处理生成所述脱敏数据的处理过程；
所述获取所述脱敏数据，并将所述脱敏数据存储至开发数据库和/或测试数据库中，包括：
获取所述第二日志文件；
利用预设的第一日志解析程序，对所述第二日志文件进行解析以获取所述脱敏数据，并将所述脱敏数据存储至所述开发数据库和/或所述测试数据库中。


3.如权利要求1所述的方法，其特征在于，所述获取生产数据库对应的第一日志文件，包括：
监测所述生产数据库中的数据是否发生变化；
在所述生产数据库中的数据发生变化的情况下，获取所述生产数据库对应的第一日志文件。


4.如权利要求1所述的方法，其特征在于，所述获取生产数据库对应的第一日志文件，包括：
监测所述生产数据库中是否发生预设数据操作；
若所述生产数据库中发生预设数据操作，则在监测到预设数据操作时开始计时，若在预设时长内未再次监测到预设数据操作，则获取生产数据库的第一日志文件。


5.一种数据处理方法，应用于备份数据库，其特征在于，包括：
接收生产数据库对应的第一日志文件，所述第一日志文件用于记录所述生产数据库中数据的变化情况；
基于主从同步机制，对所述第一日志文件中的更新信息进行解析，得到所述生产数据库中的增量数据；
按照预设的数据脱敏规则，对所述增量数据进行脱敏处理，生成与所述增量数据对应的脱敏数据并存储。


6.如权利要求5所述的方法，其特征在于，在所述对所述增量数据进行脱敏处理之后，还包括：
生成第二日志文件，所述第二日志文件用于记录对所述增量数据进行脱敏处理生成所述脱敏数据的处理过程。


7.如权利要求5所述的方法，其特征在于，所述按照预设的数据脱敏规则，对所述增量数据进行脱敏处理，生成与所述增量数据对应的脱敏数据，包括：
根据所述增量数据的数据类型，识别所述增量数据中的目标数据，所述目标数据的数据类型与预设的敏感数据类型相匹配；
确定与所述目标数据相对应的目标脱敏规则；
根据所述目标脱敏规则，对所述目标数据进行脱敏处理。


8.一种数据处理方法，应用于调度中心，其特征在于，包括：
获取生产数据库对应的第一日志文件，所述第一日志文件用于记录所述生产数据库中数据的变化情况；
根据所述第一日志文件，获取所述生产数据库中的增量数据；
按照预设的数据脱敏规则对所述增量数据进行脱敏处理，生成与所述增量数据对应的脱敏数据；
将所述脱敏数据存储至开发数据库和/或测试数据库中。


9.如权利要求8所述的方法，其特征在于，所述根据所述第一日志文件，获取所述生产数据库中的增量数据，包括：
利用预设的第二日志解析程序，对所述第一日志文件中的更新信息进行解析，获取所述生产数据库中的增量数据。


10.如权利要求8所述的方法，其特征在于，所述按照预设的数据脱敏规则对所述增量数据进行脱敏处理，生成与所述增量数据对应的脱敏数据，包括：
根据所述增量数据的数据类型，识别所述增量数据中的目标数据，所述目标数据的数据类型与预设的敏感数据类型相匹配；
确定与所述目标数据相对应的目标脱敏规则；
根据所述目标脱敏规则，对所述目标数据进行脱敏处理。


11.一种数据处理系统，其特征在于，...

【专利技术属性】
技术研发人员：王鹏，董俊峰，强群力，刘超千，赵彤，周欢，陈瑛绮，余星，韦鹏程，孟令银，朱绍辉，陈飞，
申请(专利权)人：网联清算有限公司，
类型：发明
国别省市：北京;11