基于分布式异构数据源的业务数据同步方法、系统及终端技术方案

技术编号:46068110 阅读:9 留言:0更新日期:2025-08-11 15:56
本申请涉及一种基于分布式异构数据源的业务数据同步方法、系统及终端,属于数据处理的技术领域,该业务数据同步方法包括:实时监测当前业务节点中业务数据库中的业务数据是否发生变更;若是,则判断变更业务数据是否属于异构数据;若是,则将变更业务数据转换为标准业务数据;将标准业务数据按照字段敏感度进行切片处理,字段敏感度包括低敏感、中敏感和高敏感;获取每个切片的切片长度;根据切片长度和敏感等级,对每个切片进行单独加密;将所有加密切片发送至目标业务节点,目标业务节点将加密切片解密还原,以根据标准业务数据更新存储的历史业务数据。本申请具有降低数据同步的延迟性的有益效果。

【技术实现步骤摘要】

本申请涉及数据处理的,尤其是涉及一种基于分布式异构数据源的业务数据同步方法、系统及终端


技术介绍

1、随着信息技术的飞速发展,数据已成为现代社会的重要资源。在企业运营过程中,业务数据来源日益多样化,不同部门、不同业务系统可能使用不同类型的数据库来存储数据,如关系型数据库(如mysql、postgresql、oracle等)和非关系型数据库(如mongodb、redis等),甚至还会有各种数据文件。同时,互联网、物联网、大数据等技术的广泛应用,使得企业需要处理的数据量不断增长,数据处理需求也日益增加。企业需要将这些异构数据进行整合、清洗、转换,以便进行数据分析和挖掘,从而为企业的决策提供支持。然而,由于数据来源的多样性,数据格式、结构和语义等信息存在差异,给数据同步带来了巨大的挑战。在数据同步过程中,数据安全与隐私保护也成为关键问题,企业需要确保数据在传输、存储、处理等环节的安全性,防止数据泄露、篡改等风险,同时还需遵守相关法律法规,保护个人隐私。

2、目前,在进行业务数据同步时,一些常见的实现方式是通过定时任务或批量处理来完成。定时任务会按照本文档来自技高网...

【技术保护点】

1.一种基于分布式异构数据源的业务数据同步方法,其特征在于,包括:

2.根据权利要求1所述的一种基于分布式异构数据源的业务数据同步方法,其特征在于,将所述变更业务数据转换为标准业务数据的步骤包括:

3.根据权利要求1所述的一种基于分布式异构数据源的业务数据同步方法,其特征在于,所述将所有加密切片发送至目标业务节点的步骤包括:

4.根据权利要求3所述的一种基于分布式异构数据源的业务数据同步方法,其特征在于,所述将所有加密切片发送至目标业务节点的步骤还包括:

5.根据权利要求4所述的一种基于分布式异构数据源的业务数据同步方法,其特征在于,所述业...

【技术特征摘要】

1.一种基于分布式异构数据源的业务数据同步方法,其特征在于,包括:

2.根据权利要求1所述的一种基于分布式异构数据源的业务数据同步方法,其特征在于,将所述变更业务数据转换为标准业务数据的步骤包括:

3.根据权利要求1所述的一种基于分布式异构数据源的业务数据同步方法,其特征在于,所述将所有加密切片发送至目标业务节点的步骤包括:

4.根据权利要求3所述的一种基于分布式异构数据源的业务数据同步方法,其特征在于,所述将所有加密切片发送至目标业务节点的步骤还包括:

5.根据权利要求4所述的一种基于分布式...

【专利技术属性】
技术研发人员:刘诗源耿丹丹孟庆国王俭
申请(专利权)人:北京流金岁月科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1