System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据抽取方法、装置、设备及存储介质制造方法及图纸_技高网

一种数据抽取方法、装置、设备及存储介质制造方法及图纸

技术编号:41310085 阅读:4 留言:0更新日期:2024-05-13 14:53
本发明专利技术实施例公开了一种数据抽取方法,包括:获取目标数据抽取任务,所述目标数据抽取任务包括抽取标识和至少两条目标数据的数据标识,其中,所述抽取标识用于标识所述目标数据是否为同一数据库快照中数据;根据所述数据标识确定至少两个目标数据对应的目标数据库,根据所述抽取标识确定所述目标数据库的隔离级别,其中,所述隔离级别用于表征是否对抽取过程中针对目标数据的修改结果生成数据库快照;根据所述隔离级别确定目标数据库快照,根据所述数据标识基于所述目标数据库快照抽取所述目标数据本发明专利技术提供的技术方案,保证抽取数据的一致性要求,提高数据抽取效率。

【技术实现步骤摘要】

本专利技术涉及数据库领域,尤其涉及一种数据抽取方法、装置、设备及存储介质


技术介绍

1、主机时代,银行核心业务系统主要基于主机及数据库构建。一方面,主机及数据库承载了基本的金融信息业务,业务连续性要求较高,不能随意停机;另一方面,下游系统有数据消费需求,尤其是大数据类系统,对数据的时效性、一致性、准确性有较高要求。

2、数据库中保存着大量关联数据,而当前由于数据系统的复杂性,部分数据可能会被实时更新。但是,由于任务应用场景的不同,被抽取的数据可能要求具有一致性,具体的,若要求被提取的数据所处的时间点为同一时间点,则表明各数据具有一致性要求,否则不具有一致性要求。

3、但是,当前的数据抽取方法,无法根据数据的一致性要求对数据进行准确抽取,数据抽取准确性低。


技术实现思路

1、本专利技术提供了一种数据抽取方法、装置、设备及存储介质,该方法可以有效区分一致性要求,进而提高数据抽取准确度。

2、第一方面,本专利技术实施例提供了一种数据抽取方法,包括:

3、获取目标数据抽取任务,所述目标数据抽取任务包括抽取标识和至少两条目标数据的数据标识,其中,所述抽取标识用于标识所述目标数据是否为同一数据库快照中数据;

4、根据所述数据标识确定至少两个目标数据对应的目标数据库,根据所述抽取标识确定所述目标数据库的隔离级别,其中,所述隔离级别用于表征是否对抽取过程中针对目标数据的修改结果生成数据库快照;

5、根据所述隔离级别确定目标数据库快照,根据所述数据标识基于所述目标数据库快照抽取所述目标数据。

6、第二方面,本专利技术实施例提供了一种数据抽取装置,包括:

7、任务获取模块,用于获取目标数据抽取任务,所述目标数据抽取任务包括抽取标识和至少两条目标数据的数据标识,其中,所述抽取标识用于标识所述目标数据是否为同一数据库快照中数据;

8、隔离级别确定模块,用于根据所述数据标识确定至少两个目标数据对应的目标数据库,根据所述抽取标识确定所述目标数据库的隔离级别,其中,所述隔离级别用于表征是否对抽取过程中针对目标数据的修改结果生成数据库快照;

9、数据抽取模块,用于根据所述隔离级别确定目标数据库快照,根据所述数据标识基于所述目标数据库快照抽取所述目标数据。

10、第三方面,本专利技术实施例提供了一种电子设备,所述电子设备包括:

11、至少一个处理器;以及

12、与所述至少一个处理器通信连接的存储器;其中,

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术实施例中任一项所述的数据抽取方法。

14、第四方面,本专利技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术实施例中任一项所述的数据抽取方法。

15、本专利技术实施例提供了一种数据抽取方法、装置、设备及存储介质,该方法包括,获取目标数据抽取任务,所述目标数据抽取任务包括抽取标识和至少两条目标数据的数据标识,其中,所述抽取标识用于标识所述目标数据是否为同一数据库快照中数据;根据所述数据标识确定至少两个目标数据对应的目标数据库,根据所述抽取标识确定所述目标数据库的隔离级别,其中,所述隔离级别用于表征是否对抽取过程中针对目标数据的修改结果生成数据库快照;根据所述隔离级别确定目标数据库快照,根据所述数据标识基于所述目标数据库快照抽取所述目标数据。具体的,根据目标数据抽取任务的抽取标识,可以确定目标数据抽取任务的数据是否具有一致性要求,进而确定目标数据库的隔离级别,进而在对应隔离级别下的目标数据库快照中根据数据一致性要求抽取目标数据,通过本专利技术实施例的方法,可以快速区分数据抽取任务是否具有一致性要求,对具有一致性要求的数据访问任务使用特定隔离级别的数据库快照进行抽取,保证被抽取的数据位于同一时间点,保证了数据抽取的准确性。

本文档来自技高网...

【技术保护点】

1.一种数据抽取方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取目标数据抽取任务之后,还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述抽取标识确定所述目标数据库的隔离级别,包括:

4.根据权利要求3所述的方法,其特征在于,在获取目标数据抽取任务之后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述隔离级别确定目标数据库快照,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据所述隔离级别确定目标数据库快照,包括:

7.根据权利要求1所述的方法,其特征在于,所述根据所述数据标识基于所述目标数据库快照抽取所述目标数据,包括:

8.一种数据抽取装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据抽取方法。

【技术特征摘要】

1.一种数据抽取方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取目标数据抽取任务之后,还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述抽取标识确定所述目标数据库的隔离级别,包括:

4.根据权利要求3所述的方法,其特征在于,在获取目标数据抽取任务之后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述隔离级别确定目标数据库快照,包括:

6.根据权利要求4所述...

【专利技术属性】
技术研发人员:李颖张亮
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1