数据抽取方法、装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种数据抽取方法、装置、存储介质及电子设备。涉及大数据领域、金融科技领域或其他相关技术领域。其中，该方法包括：获取目标数据表的染色分区数据，其中，染色分区数据包括N个染色分区标识，染色分区标识包括：对目标数据表进行分区得到的逻辑分区的标识，N为大于1的正整数；基于染色分区数据，通过N个数据通道关联的滑动器对目标数据表进行数据抽取，其中，数据通道用于传输数据，每个数据通道关联一个滑动器，每个滑动器用于抽取其中一个染色分区标识所指示逻辑分区关联的数据。本发明专利技术解决了相关技术中通过计算数据表中数据行数的方式抽取数据库中的数据，数据抽取效率低的技术问题。

【技术实现步骤摘要】

本专利技术涉及大数据领域、金融科技领域或其他相关，具体而言，涉及一种数据抽取方法、装置、存储介质及电子设备。

技术介绍

1、目前，数据在系统内生成、存储、转换、抽取、删除及流转过程中，通常需要借助数据库对数据进行持久化存储。在对数据进行持久化存储之后，系统对数据库中数据进行处理的第一个步骤为数据抽取，为了实现对数据库中数据进行数据抽取，不同数据库厂商通常会提供不同的驱动程序，系统研发人员基于数据库驱动程序，研发对应的数据抽取程序，达到信息系统对数据库系统数据进行数据抽取，并在抽取后对数据进行处理的目的。

2、在相关技术中，在进行数据抽取时，通常需要计算数据库表的总数据量，每页抽取数据量大小，当前抽取页数等参数，还需要计算本次抽取(单次抽取的数据称为页数据)的数据在数据库表中的起始行数，结束行数，再通过驱动程序，实时计算数据库表中的数据行数，然后根据计算得到的行数信息进行匹配，定位需要抽取数据，最终实现数据抽取，但是该数据抽取方式存在以下缺点：

3、(1)针对百万级以上的表，相关技术中仅支持单通道抽取，抽取性能差。同一张表抽取动作如果本文档来自技高网...

【技术保护点】

1.一种数据抽取方法，其特征在于，包括：

2.根据权利要求1所述的数据抽取方法，其特征在于，获取目标数据表的染色分区数据，包括：

3.根据权利要求2所述的数据抽取方法，其特征在于，基于所述目标数据和所述数据通道的数量N，对所述目标数据表进行分区，得到分区结果，包括：

4.根据权利要求3所述的数据抽取方法，其特征在于，基于所述数据通道的数量N和所述目标数据表中每行数据的所述第一数值，对所述目标数据表进行分区，得到所述分区结果，包括：

5.根据权利要求1所述的数据抽取方法，其特征在于，基于所述染色分区数据，通过N个数据通道关联的滑动器对所述目标...

【技术特征摘要】

1.一种数据抽取方法，其特征在于，包括：

2.根据权利要求1所述的数据抽取方法，其特征在于，获取目标数据表的染色分区数据，包括：

3.根据权利要求2所述的数据抽取方法，其特征在于，基于所述目标数据和所述数据通道的数量n，对所述目标数据表进行分区，得到分区结果，包括：

4.根据权利要求3所述的数据抽取方法，其特征在于，基于所述数据通道的数量n和所述目标数据表中每行数据的所述第一数值，对所述目标数据表进行分区，得到所述分区结果，包括：

5.根据权利要求1所述的数据抽取方法，其特征在于，基于所述染色分区数据，通过n个数据通道关联的滑动器对所述目标数据表进行数据抽取，包括：

6.根据权利要求5所述的数据抽取方法，其特征在于，每个所述滑...

【专利技术属性】
技术研发人员：金剑峰，朱李悦，刘悦，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：