本发明专利技术涉及数据处理技术，揭露一种数据抽取方法，包括根据所述数据源优先级对所有数据接口进行排序，得到接口序列；从所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第一接口数据；判断所述第一接口数据中是否存在空白字段；当所述第一接口数据中存在空白字段，从其他接口中抽取数据对第一接口数据中的空白字段进行补充替换直至所述第一接口数据不存在空白字段或所有接口全部被抽取完毕，得到更新后的第一接口数据，并将该数据发送至预设终端。本发明专利技术还涉及一种区块链技术，所述第一接口数据可以存储在区块链节点中。本发明专利技术还提出一种数据抽取装置、设备以及介质。本发明专利技术可以提高数据抽取的效率。效率。效率。
【技术实现步骤摘要】
数据抽取方法、装置、电子设备及存储介质
[0001]本专利技术涉及数据处理技术，尤其涉及一种数据抽取方法、装置、电子设备及存储介质。
技术介绍
[0002]随着大数据时代的到来，当前的数据应用平台往往对接这多个数据数据源，由于不同的数据源存在差异，因此如何从不同的数据源抽取数据成为我们需要研究的问题。
[0003]但是，当前的数据抽取方法需要从所有的数据源中抽取数据进行整合，耗费较多的时间，导致数据抽取的效率较低。
技术实现思路
[0004]本专利技术提供一种数据抽取方法、装置、电子设备及存储介质，其主要目的在于提高了数据抽取的效率。
[0005]获取不同数据源的数据接口及对应的数据源优先级，根据所述数据源优先级对所有数据接口进行排序，得到接口序列；
[0006]从所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第一接口数据；
[0007]判断所述第一接口数据中是否存在空白字段；
[0008]当所述第一接口数据中不存在空白字段，将所述第一接口数据发送至数据抽取人员的预设终端设备；
[0009]当所述第一接口数据中存在空白字段，对所述接口序列进行接口数量更新，判断更新后的所述接口序列中接口数量是否大于零；
[0010]当更新后的所述接口序列中接口数量大于零，从更新后的所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第二接口数据；
[0011]利用所述第二接口数据对所述第一接口数据中的空白字段进行相同字段的数据替换，得到更新后的第一接口数据，并返回所述判断所述第一接口数据中是否存在空白字段步骤；
[0012]当更新后的所述接口序列中接口数量不大于零，将所述第一接口数据发送至所述终端设备。
[0013]可选地，所述从所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第一接口数据，包括：
[0014]获取所述接口序列中第一个数据接口的配置信息及字段映射规则；
[0015]利用所述配置信息对所述第一个数据接口对应的数据源进行数据抽取，得到初始抽取数据；
[0016]将所述初始抽取数据映射至预设的字段，得到所述第一接口数据。
[0017]可选地，所述判断所述第一接口数据中是否存在空白字段，包括：
[0018]查询所述第一接口数据中每个字段对应的值是否为空值；
[0019]当所述第一接口数据中存在字段对应的值为空值，那么将该字段确定为空白字段。
[0020]可选地，所述利用所述第二接口数据对所述第一接口数据中的空白字段进行相同字段的数据替换，得到更新后的第一接口数据，包括：
[0021]将所述空白字段确定为待替换字段；
[0022]提取所述第二接口数据中所述待替换字段对应的值，得到待替换数值；
[0023]将所述待替换数值替换所述第一接口数据中相同字段的值，得到更新后的第一接口数据。
[0024]可选地，所述将所述第一接口数据发送至所述终端设备，包括：
[0025]将所述第一接口数据封装为预设的文件格式的文件，得到目标文件；
[0026]将所述目标文件发送至所述终端设备。
[0027]可选地，所述对所述接口序列进行接口数量更新，包括：
[0028]将所述接口序列中的第一个数据接口删除，得到更新后的接口序列。
[0029]可选地，所述利用所述配置信息对所述第一个数据接口所属的数据源进行数据抽取，得到初始抽取数据，包括：
[0030]从所述配置信息中解析所述第一个数据接口的输入/输出参数；
[0031]将所述配置信息对应的数据源确定为目标数据源；
[0032]将所述输入/输出参数转换成所述目标数据源的数据源可执行语言；
[0033]将所述数据源可执行语言发送至所述目标数据源，接收所述目标数据源根据所述数据源可执行语言返回的数据，得到所述初始抽取数据。
[0034]为了解决上述问题，本专利技术还提供一种数据抽取装置，所述装置包括：
[0035]数据抽取模块，用于获取不同数据源的数据接口及对应的数据源优先级，根据所述数据源优先级对所有数据接口进行排序，得到接口序列；从所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第一接口数据；
[0036]空白字段判断模块，用于判断所述第一接口数据中是否存在空白字段；当所述第一接口数据中不存在空白字段，将所述第一接口数据发送至数据抽取人员的预设终端设备；当所述第一接口数据中存在空白字段，对所述接口序列进行接口数量更新，判断更新后的所述接口序列中接口数量是否大于零；
[0037]接口数量判断模块，用于当更新后的所述接口序列中接口数量大于零，从更新后的所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第二接口数据；利用所述第二接口数据对所述第一接口数据中的空白字段进行相同字段的数据替换，得到更新后的第一接口数据，并返回所述判断所述第一接口数据中是否存在空白字段步骤；当更新后的所述接口序列中接口数量不大于零，将所述第一接口数据发送至所述终端设备。
[0038]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0039]存储器，存储至少一个计算机程序；及
[0040]处理器，执行所述存储器中存储的计算机程序以实现上述所述的数据抽取方法。
[0041]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存
储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据抽取方法。
[0042]本专利技术实施例判断所述第一接口数据中是否存在空白字段；当所述第一接口数据中存在空白字段，对所述接口序列进行接口数量更新，判断更新后的所述接口序列中接口数量是否大于零；当更新后的所述接口序列中接口数量大于零，从更新后的所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第二接口数据；利用所述第二接口数据对所述第一接口数据中的空白字段进行相同字段的数据替换，得到更新后的第一接口数据，有限从优先级高的数据源中抽取数据，若抽取的数据不完整再从其他数据源中抽取缺少的数据进行补充，不需要从所有的数据源中抽取数据进行整合，按需抽取，提高了数据抽取的效率。因此本专利技术实施例提出的数据抽取方法、装置、电子设备及可读存储介质提高了数据抽取的效率。
附图说明
[0043]图1为本专利技术一实施例提供的数据抽取方法的流程示意图；
[0044]图2为本专利技术一实施例提供的数据抽取装置的模块示意图；
[0045]图3为本专利技术一实施例提供的实现数据抽取方法的电子设备的内部结构示意图；
[0046]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0047]应当理解，此处所描述的具体实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据抽取方法，其特征在于，所述方法包括：获取不同数据源的数据接口及对应的数据源优先级，根据所述数据源优先级对所有数据接口进行排序，得到接口序列；从所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第一接口数据；判断所述第一接口数据中是否存在空白字段；当所述第一接口数据中不存在空白字段，将所述第一接口数据发送至数据抽取人员的预设终端设备；当所述第一接口数据中存在空白字段，对所述接口序列进行接口数量更新，判断更新后的所述接口序列中接口数量是否大于零；当更新后的所述接口序列中接口数量大于零，从更新后的所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第二接口数据；利用所述第二接口数据对所述第一接口数据中的空白字段进行相同字段的数据替换，得到更新后的第一接口数据，并返回所述判断所述第一接口数据中是否存在空白字段步骤；当更新后的所述接口序列中接口数量不大于零，将所述第一接口数据发送至所述终端设备。2.如权利要求1所述的数据抽取方法，其特征在于，所述从所述接口序列中的第一个数据接口对应数据源中抽取数据映射至预设的字段，得到第一接口数据，包括：获取所述接口序列中第一个数据接口的配置信息及字段映射规则；利用所述配置信息对所述第一个数据接口对应的的数据源进行数据抽取，得到初始抽取数据；将所述初始抽取数据映射至预设的字段，得到所述第一接口数据。3.如权利要求1所述的数据抽取方法，其特征在于，所述判断所述第一接口数据中是否存在空白字段，包括：查询所述第一接口数据中每个字段对应的值是否为空值；当所述第一接口数据中存在字段对应的值为空值，那么将该字段确定为空白字段。4.如权利要求1所述的数据抽取方法，其特征在于，所述利用所述第二接口数据对所述第一接口数据中的空白字段进行相同字段的数据替换，得到更新后的第一接口数据，包括：将所述空白字段确定为待替换字段；提取所述第二接口数据中所述待替换字段对应的值，得到待替换数值；将所述待替换数值替换所述第一接口数据中相同字段的值，得到更新后的第一接口数据。5.如权利要求1所述的数据抽取方法，其特征在于，所述将所述第一接口数据发送至所述终端设备，包括：将所述第一接口数据封装为预设的文件格式的文件，得到目标文件；将所述目标文件发送至所述终端设备。...
【专利技术属性】
技术研发人员：胡文亮，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。