数据抽取方法、装置、设备及存储介质制造方法及图纸

技术编号:43639480 阅读:23 留言:0更新日期:2024-12-13 12:38
本申请公开了一种数据抽取方法、装置、设备及存储介质,涉及数据处理技术领域,该方法包括:对游标记录表进行查询,并根据查询结果确定当前游标字段;基于当前游标字段对待抽取数据库表进行数据抽取,获得若干条查询数据;若查询数据的数量达到预设允许抽取数量,则基于查询数据中的哨兵游标字段对当前游标字段进行更新;在更新完成时继续基于当前游标字段对待抽取数据库表进行数据抽取。本发明专利技术在从待抽取数据库表中抽取的查询数据的数量达到预设允许抽取数量时,基于哨兵游标字段对当前游标字段进行更新,以继续对待抽取数据库表进行数据抽取,解决了现有技术中采用游标定位的方式进行数据抽取时容易出现游标漂移现象,导致抽数丢数的技术问题。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及数据抽取方法、装置、设备及存储介质


技术介绍

1、数据抽取是指从业务系统的数据库抽取数据,并将数据加载到目标系统中去以满足后续的各类数据应用的过程。业务层查询抽数是目前数据库抽数常见的方案,其一般都是通过周期性调度去查询一批数据,然后记录当前游标,用当前游标去定位下一次查询,如此往复。虽然业务层查询抽数有着实现简单、技术通用、运维方便等优点,但在数据库抽数过程中,若抽数的定位游标在数据序列中不唯一时,就会出现定位游标“漂移”现象,使下一次抽数定位不准,导致抽数丢数。

2、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本申请的主要目的在于提供一种数据抽取方法、装置、设备及存储介质,旨在解决现有技术中采用游标定位的方式进行数据抽取时容易出现游标漂移现象,导致抽数丢数的技术问题。

2、为实现上述目的,本申请提出一种数据抽取方法,所述的方法包括:

3、对游标记录表进行查询,并根据查询结果确定当前游标字段本文档来自技高网...

【技术保护点】

1.一种数据抽取方法,其特征在于,所述的方法包括:

2.如权利要求1所述的方法,其特征在于,所述若所述查询数据的数量达到预设允许抽取数量,则基于所述查询数据中的哨兵游标字段对所述当前游标字段进行更新的步骤,包括:

3.如权利要求2所述的方法,其特征在于,所述基于比较结果对所述当前游标字段进行更新的步骤,包括:

4.如权利要求1至3中任一项所述的方法,其特征在于,所述对游标记录表进行查询,并根据查询结果确定当前游标字段的步骤之后,还包括:

5.如权利要求4所述的方法,其特征在于,所述基于所述目标索引字段继续对所述待抽取数据库表进行数据抽取的步...

【技术特征摘要】

1.一种数据抽取方法,其特征在于,所述的方法包括:

2.如权利要求1所述的方法,其特征在于,所述若所述查询数据的数量达到预设允许抽取数量,则基于所述查询数据中的哨兵游标字段对所述当前游标字段进行更新的步骤,包括:

3.如权利要求2所述的方法,其特征在于,所述基于比较结果对所述当前游标字段进行更新的步骤,包括:

4.如权利要求1至3中任一项所述的方法,其特征在于,所述对游标记录表进行查询,并根据查询结果确定当前游标字段的步骤之后,还包括:

5.如权利要求4所述的方法,其特征在于,所述基于所述目标索引字段继续对所述待抽取数据库表进行数据抽取的步骤,包括:

6.如权利要求1至3中任一项所述的方法,其特征在于,所述对游标记录表进行查询,并根据查询结果确定当前游标字段的步骤...

【专利技术属性】
技术研发人员:朱雷坚
申请(专利权)人:招商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1