数据交换方法、装置及电子设备、计算机程序产品制造方法及图纸

技术编号:43813422 阅读:14 留言:0更新日期:2024-12-27 13:28
本申请公开了一种数据交换方法、装置及电子设备、计算机程序产品,该方法由数据交换系统执行,包括:获取用户的数据交换配置信息,数据交换配置信息包括源数据库和目标数据库的配置信息;根据源数据库对应的数据读取方式读取源数据库中的数据并缓存至分布式文件系统中;根据目标数据库的数据转换规则对读取到的源数据进行转换处理,得到转换后的源数据;根据目标数据库对应的数据写入方式将转换后的源数据写入目标数据库。本申请解决了海量数据交换过程中遇到的无法灵活配置、代码繁琐及同步效率低的痛点,相比于传统方案,本申请将复杂的网状同步链路变成了以数据交换系统为中心的星型数据交换链路,提高了数据交换的时效性和准确性。

【技术实现步骤摘要】

本申请涉及数据交换,尤其涉及一种数据交换方法、装置及电子设备、计算机程序产品


技术介绍

1、关系型数据库系统,支持事务性的处理,具备很好的数据完整性和安全性,适用于需要高度结构化数据和复杂查询的应用场景。非关系型的数据库(nosql)以其灵活的数据模型和高可伸缩性而著名,支持复制和分片,能够提供高可用性和横向扩展能力,适用于需要频繁变更数据结构或处理大量半结构化数据的应用场景。

2、在开发应用系统时,由于应用场景的新增,可能需要将数据从一个数据库存储组件转移到另一个数据库组件,或者进行数据交换和备份等操作。

3、现有技术在数据同步领域存在限制,无法满足可灵活配置的数据同步需求,尤其是对于不支持sql协议的数据库类型,无法灵活配置源头数据库与目标数据库之间的字段映射关系,导致字段逻辑的变更或者新增字段都需要手动修改代码。

4、现有技术多是数据库之间的单向数据同步,增加一种数据类型需要单独开发一套代码。代码的可移植性和可重用性较差,增加了代码的复杂度和维护难度。多种异构数据源之间由于通讯协议和数据规约的不同,在数据交换上存本文档来自技高网...

【技术保护点】

1.一种数据交换方法,其特征在于,所述数据交换方法由数据交换系统执行,所述数据交换方法包括:

2.根据权利要求1所述数据交换方法,其特征在于,所述获取用户的数据交换配置信息包括:

3.根据权利要求1所述数据交换方法,其特征在于,所述数据交换系统基于Spark集群实现,所述根据所述源数据库对应的数据读取方式读取所述源数据库中的数据包括:

4.根据权利要求3所述数据交换方法,其特征在于,所述数据交换配置信息还包括数据筛选条件,所述根据所述源数据库对应的数据读取方式读取所述源数据库中的数据还包括:

5.根据权利要求1所述数据交换方法,其特征在于,...

【技术特征摘要】

1.一种数据交换方法,其特征在于,所述数据交换方法由数据交换系统执行,所述数据交换方法包括:

2.根据权利要求1所述数据交换方法,其特征在于,所述获取用户的数据交换配置信息包括:

3.根据权利要求1所述数据交换方法,其特征在于,所述数据交换系统基于spark集群实现,所述根据所述源数据库对应的数据读取方式读取所述源数据库中的数据包括:

4.根据权利要求3所述数据交换方法,其特征在于,所述数据交换配置信息还包括数据筛选条件,所述根据所述源数据库对应的数据读取方式读取所述源数据库中的数据还包括:

5.根据权利要求1所述数据交换方法,其特征在于,所述根据所述目标数据库的...

【专利技术属性】
技术研发人员:田猛马正兵韩强夏江涛韩旭
申请(专利权)人:中国邮政储蓄银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1