一种数据提取方法、装置、存储介质及电子设备制造方法及图纸

技术编号:31314195 阅读:13 留言:0更新日期:2021-12-12 22:07
本申请公开了一种数据提取方法、装置、存储介质及电子设备,涉及数据处理领域,能够解决目前数据提取方案成本消耗过高,且效率和准确率也较低的问题,包括:获取待提取数据的数据要素项。根据映射规则和待提取数据的数据要素项,确定待提取数据的位置信息。根据待提取数据的位置信息,生成用于提取待提取数据的位置信息对应的数据的至少一个sql检索脚本。根据至少一个sql检索脚本,从数据库中提取待提取数据。本申请用于从数据库中智能批量地提取数据。数据。数据。

【技术实现步骤摘要】
一种数据提取方法、装置、存储介质及电子设备


[0001]本申请涉及数据处理领域,尤其涉及一种数据提取方法、装置、存储介质及电子设备。

技术介绍

[0002]目前,在进行数据展现测试时,需要从数据库读取相关数据。然而现阶段的技术方案每进行一次数据提取操作,就要针对该数据提取操作进行一次数据提取脚本的编写,并加载入数据库中以获得此次数据提取操作所需要的数据。这样的数据提取方案,成本消耗过高,且效率和准确率也较低。

技术实现思路

[0003]本申请提供一种数据提取方法、装置、存储介质及电子设备,能够从数据库中智能批量地提取数据,提高了数据提取的效率和准确率。
[0004]为达到上述目的,本申请采用如下技术方案:
[0005]第一方面,本申请提供一种数据提取方法,包括:获取待提取数据的数据要素项,待提取数据的数据要素项用于表征待提取数据的至少一个指标名称。根据映射规则和待提取数据的数据要素项,确定待提取数据的位置信息;映射规则用于表征数据要素项与位置信息的对应关系;待提取数据的位置信息用于表征待提取数据在数据库中的位置。根据待提取数据的位置信息,生成用于提取待提取数据的位置信息对应的数据的至少一个结构化查询语言sql检索脚本。根据至少一个sql检索脚本,从数据库中提取待提取数据。
[0006]基于上述技术方案,本申请首先获取待提取数据的数据要素项,并根据该数据要素项及映射规则来获取待提取数据在数据库中的位置信息,之后再生成sql检索脚本,并利用sql检索脚本按照待提取数据在数据库中的位置信息从数据库中批量提取待提取数据。由此使得用户在需要进行待提取数据提取时,能够从数据库中批量获取待提取数据,并且在数据提取过程中是由sql检索脚本来提取的,无需再对每次数据提取操作都进行脚本的人工编写。由此,实现了从数据库中的智能批量地提取数据,降低了成本消耗,提高了数据提取的效率和准确率。
[0007]在一种可能的实现方式中,在根据待提取数据的数据要素项和映射规则,获取待提取数据的数据属性信息之前,上述方法还包括:获取历史数据的数据要素项,历史数据的数据要素项用于表征历史数据的至少一个指标名称。根据历史数据的数据要素项与历史数据在数据库中的位置关系的对应关系,确定映射规则。
[0008]在一种可能的实现方式中,根据待提取数据的位置信息,生成用于提取待提取数据的位置信息对应的数据的至少一个sql检索脚本,具体包括:根据至少一个数据要素项对应的位置信息,确定一个sql检索脚本;其中,一个sql检索脚本用于提取一个sql检索脚本对应的至少一个数据要素项对应的数据。根据一个sql检索脚本,从数据库中提取至少一个数据要素项对应的数据;将提取到的所有数据要素项对应的数据确定为待提取数据。
[0009]在一种可能的实现方式中,上述方法还包括:若待提取数据的数据要素项中存在缺失数据要素项,则确定缺失位置信息;其中,缺失数据要素项为待提取数据的数据要素项中,在映射规则中没有对应的位置信息的数据要素项,缺失位置信息为缺失数据要素项对应的数据在数据库中的位置信息。根据缺失数据要素项与缺失位置信息的对应关系,更新映射规则。
[0010]在一种可能的实现方式中,上述方法还包括:若数据库的结构或内容发生改变,则更新映射规则。
[0011]第二方面,本申请提供一种数据提取装置,包括:获取单元和处理单元。获取单元,用于获取待提取数据的数据要素项,待提取数据的数据要素项用于表征待提取数据的至少一个指标名称。处理单元,用于根据映射规则和待提取数据的数据要素项,确定待提取数据的位置信息;映射规则用于表征数据要素项与位置信息的对应关系;待提取数据的位置信息用于表征待提取数据在数据库中的位置。处理单元,还用于根据待提取数据的位置信息,生成用于提取待提取数据的位置信息对应的数据的至少一个sql 检索脚本。处理单元,还用于根据至少一个sql检索脚本,从数据库中提取待提取数据。
[0012]在一种可能的实现方式中,获取单元,还用于获取历史数据的数据要素项,历史数据的数据要素项用于表征历史数据的至少一个指标名称。处理单元,还用于根据历史数据的数据要素项与历史数据在数据库中的位置关系的对应关系,确定映射规则。
[0013]在一种可能的实现方式中,处理单元,还用于根据至少一个数据要素项对应的位置信息,确定一个sql检索脚本;其中,一个sql检索脚本用于提取一个sql检索脚本对应的至少一个数据要素项对应的数据。处理单元,还用于根据一个sql检索脚本,从数据库中提取至少一个数据要素项对应的数据;将提取到的所有数据要素项对应的数据确定为待提取数据。
[0014]在一种可能的实现方式中,处理单元,还用于在待提取数据的数据要素项中存在缺失数据要素项时,确定缺失位置信息;其中,缺失数据要素项为待提取数据的数据要素项中,在映射规则中没有对应的位置信息的数据要素项,缺失位置信息为缺失数据要素项对应的数据在数据库中的位置信息。处理单元,还用于根据缺失数据要素项与缺失位置信息的对应关系,更新映射规则。
[0015]在一种可能的实现方式中,处理单元,还用于在数据库的结构或内容发生改变时,更新映射规则。
[0016]可选地,第二方面所述的数据提取装置还可以包括存储模块,该存储模块存储有程序或指令。当处理模块执行该程序或指令时,使得数据提取装置可以执行上述第一方面所述的数据提取方法。
[0017]此外,第二方面所述的数据提取装置的技术效果可以参考上述第一方面所述的数据提取方法的技术效果,此处不再赘述。
[0018]第三方面,本申请提供一种存储一个或多个程序的计算机可读存储介质,该一个或多个程序包括指令,上述指令当被本申请的电子设备执行时使电子设备执行如第一方面和第一方面的任一种可能的实现方式中所描述的数据提取方法。
[0019]第四方面,本申请提供一种电子设备,包括:处理器以及存储器;其中,存储器用于存储一个或多个程序,一个或多个程序包括计算机执行指令,当电子设备运行时,处理器执
行存储器存储的计算机执行指令,以使电子设备执行如第一方面和第一方面的任一种可能的实现方式中所描述的数据提取方法。
[0020]第五方面,本申请提供一种包含指令的计算机程序产品,当该指令在计算机上运行时,使得本申请的电子设备执行如第一方面和第一方面的任一种可能的实现方式中所描述的数据提取方法。
[0021]第六方面,本申请提供一种芯片系统,该芯片系统应用于数据提取装置;所述芯片系统包括一个或多个接口电路,以及一个或多个处理器。所述接口电路和所述处理器通过线路互联;所述接口电路用于从所述数据提取装置的存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令。当所述处理器执行所述计算机指令时,所述数据提取装置执行如第一方面及其任一种可能的设计方式所述的数据提取方法。
附图说明
[0022]图1为申请的实施例提供的一种数据提取装置的架构示意图;
[0023]图2为本本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据提取方法,其特征在于,所述方法包括:获取待提取数据的数据要素项,所述待提取数据的数据要素项用于表征所述待提取数据的至少一个指标名称;根据映射规则和所述待提取数据的数据要素项,确定所述待提取数据的位置信息;所述映射规则用于表征所述数据要素项与所述位置信息的对应关系;所述待提取数据的位置信息用于表征所述待提取数据在数据库中的位置;根据所述待提取数据的位置信息,生成用于提取所述待提取数据的位置信息对应的数据的至少一个结构化查询语言sql检索脚本;根据所述至少一个sql检索脚本,从所述数据库中提取所述待提取数据。2.根据权利要求1所述的方法,其特征在于,在所述根据所述待提取数据的数据要素项和映射规则,获取所述待提取数据的数据属性信息之前,所述方法还包括:获取历史数据的数据要素项,所述历史数据的数据要素项用于表征所述历史数据的至少一个指标名称;根据所述历史数据的数据要素项与所述历史数据在数据库中的位置关系的对应关系,确定所述映射规则。3.根据权利要求2所述的方法,其特征在于,所述根据所述待提取数据的位置信息,生成用于提取所述待提取数据的位置信息对应的数据的至少一个sql检索脚本,具体包括:根据至少一个数据要素项对应的所述位置信息,确定一个sql检索脚本;其中,所述一个sql检索脚本用于提取所述一个sql检索脚本对应的所述至少一个数据要素项对应的数据;根据所述一个sql检索脚本,从数据库中提取所述至少一个数据要素项对应的数据;将提取到的所有所述数据要素项对应的数据确定为所述待提取数据。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:若所述待提取数据的数据要素项中存在缺失数据要素项,则确定缺失位置信息;其中,所述缺失数据要素项为所述待提取数据的数据要素项中,在所述映射规则中没有对应的位置信息的数据要素项,所述缺失位置信息为所述缺失数据要素项对应的数据在数据库中的位置信息;根据所述缺失数据要素项与所述缺失位置信息的对应关系,更新所述映射规则。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:若所述数据库的结构或内容发生改变,则更新所述映射规则。6.一种数据提取装置,其特征在于,所述数据提取装置包括:获取单元和处理单元;所述获取单元,用于获取待提取数据的数据要素项,所述待提取数据的数据要素项用于表征所述待提取数据的至少一个指标名称;所述处理单元,用于根据映射规则和所述待提取数据的数据要素项,...

【专利技术属性】
技术研发人员:李佳时闫智勇王明涛张蕊蔡静庭赵越月
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1