数据抽取方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了数据抽取方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：利用守护进程，检测目标数据集抽取任务是否完成；响应于检测到该目标数据集抽取任务未完成，确定目标时间戳在第一时长内是否发生变化，其中，该目标时间戳为该目标数据集抽取任务启动或在执行该目标数据集抽取任务过程中从数据库查询目标数据集的时间戳；响应于确定该目标时间戳在该第一时长内未发生变化，再次执行该目标数据集抽取任务，以及对该目标时间戳进行更新。该实施方式可以快捷、高效地实现目标数据集的抽取。高效地实现目标数据集的抽取。高效地实现目标数据集的抽取。

【技术实现步骤摘要】
数据抽取方法、装置、电子设备和计算机可读介质


[0001]本公开的实施例涉及计算机
，具体涉及数据抽取方法、装置、电子设备和计算机可读介质。

技术介绍

[0002]目前，各个公司在执行某种业务时，常常需要获取某一时刻的静态库存数据才能完成上述业务。因此，库存快照的稳定性和准确性对于各个公司来说是至关重要的。对于库存快照的获取，通常采用的方式为：配置一个任务定时去数据库定时采集数据以获取库存快照。
[0003]然而，当采用上述方式来获取库存快照，经常会存在如下技术问题：
[0004]当系统出现宕机或者数据库出现连接超时，不能准确地生成库存快照。即使后续生成库存快照，也存在耗时耗力的问题。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]本公开的一些实施例提出了数据抽取方法、装置、电子设备和计算机可读介质，来解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据抽取方法，包括：利用守护进程，检测目标数据集抽取任务是否完成；响应于检测到所述目标数据集抽取任务未完成，确定目标时间戳在第一时长内是否发生变化，其中，所述目标时间戳为所述目标数据集抽取任务启动或在执行所述目标数据集抽取任务过程中从数据库查询目标数据集的时间戳；响应于确定所述目标时间戳在所述第一时长内未发生变化，再次执行所述目标数据集抽取任务，以及对所述目标时间戳进行更新。2.根据权利要求1所述的方法，其中，所述再次执行所述目标数据集抽取任务，包括：将第一目标数据库确定为所述目标数据集的查询数据源以查询所述目标数据集；响应于确定所述第一目标数据库对应的第一目标数据集查询失败次数达到第一数目，以及各次目标数据集查询的任务版本信息相同，将第二目标数据库确定为所述目标数据集的查询数据源以查询所述目标数据集；响应于确定所述第二目标数据库对应的第二目标数据集查询失败次数小于第二数目，以及各次目标数据集查询的任务版本信息相同，从所述第二目标数据库中抽取所述目标数据集，以及将所述目标数据集发送至目标消息队列。3.根据权利要求2所述的方法，其中，所述方法还包括：对所述目标数据集中的每个数据添加主键信息，得到添加后的数据集；将所述添加后的数据集的数据量确定为第一数据量，以及将所述目标消息队列中目标数据集的数据量确定为第二数据量；响应于所述第一数据量等于所述第二数据量，对所述添加后的数据集进行数据校验。4.根据权利要求3所述的方法，其中，所述方法还包括：响应于确定所述第一目标数据集查询失败次数小于所述第一数目以及各次目标数据集查询的所述任务版本信息相同，继续从所述第一目标数据库中查询所述目标数据集。5.根据权利要求2所述的方法，其中，所述方法还包括：响应于确定所述第一目标数据库对应的各次目标数据集查询的任务版本信息不相同或所述第二目标数据库对应的各次目标数据集查询的任务版本信息不相同，结束再次执行的所述目标数据集抽取任务。...

【专利技术属性】
技术研发人员：孙静，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：