System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据同步方法、装置、计算机设备和存储介质制造方法及图纸_技高网

数据同步方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:41204101 阅读:2 留言:0更新日期:2024-05-07 22:29
本申请涉及一种数据同步方法、装置、计算机设备和存储介质,涉及金融科技技术领域。通过检测到第一数据的业务数据更新信息时,将第一存储位置的增量业务数据发送至预设消息中间件集群中目标标识对应的缓存位置,确定第二金融数据库对应的目标数据格式和目标标识在第二金融数据库对应的第二存储位置后,将缓存位置的增量业务数据进行格式转换,将转换得到的目标增量业务数据同步至第二金融数据库。相较于传统的分别访问不同的数据库获取业务数据的方式,本方案通过在数据库更新增量数据时,通过消息中间件集群缓存增量数据并结合其他数据库的格式同步至其他数据库对应的位置,系统仅需访问一个位置即可得到相应的数据,提高了银行业务执行效率。

【技术实现步骤摘要】

本申请涉及金融科技,特别是涉及一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着银行业务的进行和银行系统的版本迭代更新,银行系统会产生大量业务数据,这些业务数据存储在不同的数据库中,使得银行系统内部存在多数据源并行的状态。为保证银行业务的及时响应,需要保证不同数据库之间的数据完整性和同步性。目前在多数据源并行情况下进行银行业务的方式通常是分别访问每个数据源以获取所需的数据。然而,通过从多个数据源中分别获取相应数据的方式,会导致银行业务的执行效率降低。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高银行业务执行效率的数据同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种数据同步方法,所述方法包括:

3、检测到第一金融数据库的业务数据更新信息,根据所述业务数据更新信息,获取所述第一金融数据库中的增量业务数据以及所述增量业务数据在所述第一金融数据库中的第一存储位置;

4、根据所述第一存储位置,将所述增量业务数据发送至预设消息中间件集群中目标标识对应的缓存位置;所述目标标识与所述第一存储位置对应;

5、获取第二金融数据库对应的目标数据格式,获取所述第二金融数据库中所述目标标识对应的第二存储位置;

6、根据所述目标数据格式对所述将所述缓存位置中的增量业务数据进行格式转换,得到目标增量业务数据,将所述目标增量业务数据同步至所述第二金融数据库中的第二存储位置。

7、在其中一个实施例中,获取增量业务数据在所述第一金融数据库中的第一存储位置的步骤包括:

8、获取所述第一金融数据库中存储所述增量业务数据的第一数据表字段;

9、根据所述第一数据表字段得到所述增量业务数据在所述第一金融数据库中的第一存储位置。

10、在其中一个实施例中,所述预设消息中间件集群为卡夫卡集群;所述根据所述第一存储位置,将所述增量业务数据发送至预设消息中间件集群中目标标识对应的缓存位置,包括:

11、根据所述第一数据表字段查询预设存储位置对应表,得到所述第一数据表字段在所述卡夫卡集群中对应的目标标识;所述预设存储位置对应表包括预设的各第一数据表字段与所述卡夫卡集群中各标识的对应关系;

12、将所述增量业务数据发送至所述卡夫卡集群中所述目标标识对应的缓存位置。

13、在其中一个实施例中,所述方法还包括:

14、针对所述第一金融数据库中每个第一数据表字段,根据所述第一数据表字段查询所述第二金融数据库;

15、若所述第二金融数据库中不存在所述第一数据表字段相同的第二数据表字段,根据所述第一数据表字段以及所述第二金融数据库的数据格式,在所述第二金融数据库中生成所述第二数据表字段;

16、根据所述第一数据表字段和所述第二数据表字段,得到预设存储位置对应表。

17、在其中一个实施例中,所述获取所述第二金融数据库中所述目标标识对应的第二存储位置,包括:

18、根据预设存储位置对应表,确定所述第一数据表字段在所述第二金融数据库中对应的第二数据表字段;

19、根据所述第一数据表字段与所述目标标识的对应关系,以及所述第一数据表字段与所述第二数据表字段的对应关系,得到所述第二金融数据库中所述目标标识对应的第二存储位置。

20、在其中一个实施例中,所述根据所述目标数据格式对所述将所述缓存位置中的增量业务数据进行格式转换,得到目标增量业务数据,包括:

21、通过预设数据消费工具获取所述缓存位置中的增量业务数据,得到消费数据;

22、根据所述目标数据格式对所述消费数据进行格式转换,得到目标增量业务数据。

23、第二方面,本申请提供了一种数据同步装置,所述装置包括:

24、检测模块,用于检测到第一金融数据库的业务数据更新信息,根据所述业务数据更新信息,获取所述第一金融数据库中的增量业务数据以及所述增量业务数据在所述第一金融数据库中的第一存储位置;

25、缓存模块,用于根据所述第一存储位置,将所述增量业务数据发送至预设消息中间件集群中目标标识对应的缓存位置;所述目标标识与所述第一存储位置对应;

26、获取模块,用于获取第二金融数据库对应的目标数据格式,获取所述第二金融数据库中所述目标标识对应的第二存储位置;

27、同步模块,用于根据所述目标数据格式对所述将所述缓存位置中的增量业务数据进行格式转换,得到目标增量业务数据,将所述目标增量业务数据同步至所述第二金融数据库中的第二存储位置。

28、第三方面,本申请提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。

29、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。

30、第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。

31、上述数据同步方法、装置、计算机设备、存储介质和计算机程序产品,通过检测到第一数据的业务数据更新信息时,确定增量业务数据及其第一存储位置,将增量业务数据发送至预设消息中间件集群中目标标识对应的缓存位置,确定第二金融数据库对应的目标数据格式和目标标识在第二金融数据库对应的第二存储位置后,根据目标数据格式将缓存位置的增量业务数据进行格式转换,将转换得到的目标增量业务数据同步至第二金融数据库中的第二存储位置。相较于传统的分别访问不同的数据库以获取相应的业务数据的方式,本方案通过在一个数据库更新增量数据时,通过消息中间件集群缓存增量数据并结合其他数据库的格式同步至其他数据库对应的位置,系统仅需访问一个位置即可得到相应的数据,提高了银行业务执行效率。

本文档来自技高网...

【技术保护点】

1.一种数据同步方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,获取增量业务数据在所述第一金融数据库中的第一存储位置的步骤包括:

3.根据权利要求2所述的方法,其特征在于,所述预设消息中间件集群为卡夫卡集群;所述根据所述第一存储位置,将所述增量业务数据发送至预设消息中间件集群中目标标识对应的缓存位置,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述获取所述第二金融数据库中所述目标标识对应的第二存储位置,包括:

6.根据权利要求1至4任意一项所述的方法,其特征在于,所述根据所述目标数据格式对所述将所述缓存位置中的增量业务数据进行格式转换,得到目标增量业务数据,包括:

7.一种数据同步装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据同步方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,获取增量业务数据在所述第一金融数据库中的第一存储位置的步骤包括:

3.根据权利要求2所述的方法,其特征在于,所述预设消息中间件集群为卡夫卡集群;所述根据所述第一存储位置,将所述增量业务数据发送至预设消息中间件集群中目标标识对应的缓存位置,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述获取所述第二金融数据库中所述目标标识对应的第二存储位置,包括:

6.根据权利要求1至4任意一项所述的方法,其特征在于...

【专利技术属性】
技术研发人员:吴庭栋
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1