【技术实现步骤摘要】
一种数据同步方法、装置、存储介质和计算机设备
[0001]本申请涉及计算机
，具体涉及一种数据同步方法、装置、存储介质和计算机设备。
技术介绍
[0002]随着互联网的快速发展，海量数据处理成为业界的一大难题。数据增长速度快、数据量大，数据采集、清洗、加工不及时，会导致业务无法获取海量数据背后的价值，如果能快速挖掘大数据背后的价值，赋能业务，将大大助力业务发展。
[0003]传统数据同步方案都是T+1同步，数据延迟大，采集过程无法实现数据清洗、加工，效率低。并且，目前数据仓库大多只支持行式存储，宽表的查询效率低。
技术实现思路
[0004]本专利技术实施例提供一种数据同步方法、装置、存储介质和计算机设备，能够提升数据同步的效率和效果。
[0005]本专利技术实施例提供一种数据同步方法，该方法包括：
[0006]当监测到待同步的第一数据库发生数据改变时，获取所述第一数据库生成的二进制日志数据；
[0007]对所述二进制日志数据进行解析，得到所述二进制日志数据对应的可识别数据...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：当监测到待同步的第一数据库发生数据改变时，获取所述第一数据库生成的二进制日志数据；对所述二进制日志数据进行解析，得到所述二进制日志数据对应的可识别数据；以第一预设时间间隔，将所述可识别数据推送至用于清洗加工所述可识别数据的第一节点；控制所述第一节点加载清洗加工模板，通过所述清洗加工模板将所述可识别数据转化为增量的二进制日志数据，作为目标日志数据；以第二预设时间间隔，获取所述目标日志数据对应的用户操作后的数据库值作为增量数据，将所述增量数据并发同步至目标存储的第二数据库。2.根据权利要求1所述的数据同步方法，其特征在于，在所述第一节点加载清洗加工模板之前，所述方法还包括：根据所述可识别数据中的字段类型或字段属性，为所述可识别数据配置对应的第一节点和第二节点的通道；配置所述第一节点、所述第二节点与所述可识别数据对应数据表的映射模式，所述映射模式包括一对一映射、一对多映射和多对多映射。3.根据权利要求2所述的数据同步方法，其特征在于，所述方法还包括：在所述第一节点对所述可识别数据执行清洗或加工的操作时，以及所述第二节点对所述可识别数据执行同步的操作时，获取所述第一节点和所述第二节点的实时参数；根据所述实时参数，对所述清洗加工模板中的参数进行动态修正。4.根据权利要求3所述的数据同步方法，其特征在于，所述根据所述实时参数，对所述清洗加工模板中的参数进行动态修正，包括：根据所述实时参数，获取所述第一节点和所述第二节点的并发数，以及预设时长内所述第一节点和第二节点执行数据处理操作的平均流量；根据所述平均流量与预设阈值的比较结果，动态修正所述并发数。5.根据权利要求1所述的数据同步方法，其特征在于，所述控制所述第一节点加载清洗加工模板，通过所述清洗加工模板将所述可识别数据转化为增量的二进制日志数据，包...
【专利技术属性】
技术研发人员：邓亮，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。