数据提取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及数据分析领域，公开了一种数据提取方法、装置、设备及存储介质。该方法包括：根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。

【技术实现步骤摘要】
数据提取方法、装置、设备及存储介质
本专利技术涉及数据分析领域，尤其涉及一种数据提取方法、装置、设备及存储介质。
技术介绍
随着互联网技术广泛应用，移动智能终端设备数量迅速增大，导致每日传输数据量迅速增加。信息速度变化较大，则直接导致需要使用更多的资源进行不同数据设备和数据系统的信息同步，数据量的迅速增加导致资源的消耗不断增加。目前，在抽取大量数据时，主要采用的是全量抽取的方式，但是全量抽取的缺点十分明显：由于抽取数量没有选择，在抽取数据量大的数据集时耗费大量资源且耗时过长。而只面对数据增加的情况，可以采用消耗资源较小的增量抽取方式，但增量抽取不能获取删除的数据，故需要有一种能消耗资源低且能抽取删除数据的数据提取方法。
技术实现思路
本专利技术的主要目的在于解决抽取删除数据消耗计算资源过大的技术问题。本专利技术第一方面提供了一种数据提取方法，所述数据提取方法包括：根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。可选的，在本专利技术第一方面的第一种实现方式中，在所述读取在所述检测间隔时间之前所述目标数据库的历史数据量之后，在所述计算出所述数据量与历史数据量的差值之前，还包括：判断所述历史数据量是否为空；若所述历史数据量为空，则基于预置目标记录表的数据，设置所述目标数据库的提取范围；若所述历史数据量不为空，则基于所述历史数据量对应的数据，设置所述目标数据库的提取范围。可选的，在本专利技术第一方面的第二种实现方式中，所述基于所述历史数据量对应的数据，设置所述目标数据库的提取范围包括：判断在所述检测间隔时间之前所述目标数据库是否存在历史提取范围；若存在历史提取范围，则将所述提取范围设置为所述历史提取范围，以及基于预置目标记录表的数据，设置所述目标数据库的提取范围；若不存在历史提取范围，则将所述提取范围设置为所述目标数据库的全部数据。可选的，在本专利技术第一方面的第三种实现方式中，所述基于预置目标记录表的数据，设置所述目标数据库的提取范围包括：判断所述目标记录表是否为空；若所述目标记录表为空，则将所述提取范围设置为所述目标数据库的全部数据；若所述目标记录表不为空，则读取所述目标记录表中时间戳的最大上限值，以及基于所述最大上限值，调整预置提取范围，生成调整的提取范围。可选的，在本专利技术第一方面的第四种实现方式中，所述提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中包括：判断预置提取范围是否设置为提取所述目标数据库的全部数据；若是，则提取所述目标数据库中的所有数据，删除预置目标记录表中所述提取范围对应的记录数据，以及将提取的所有数据插入到所述目标记录表中；若否，则解析所述提取范围的上限值和下限值，根据所述上限值和所述下限值，提取所述目标数据库中的同步数据，删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。可选的，在本专利技术第一方面的第五种实现方式中，所述解析所述提取范围的上限值和下限值包括：判断所述提取范围的上限值和下限值是否均存在；若不均存在，则将所述目标数据库的提取状态确认为完成，结束提取过程。若均存在，则抓取所述提取范围中的数据，得到上限值和下限值。可选的，在本专利技术第一方面的第六种实现方式中，在将所述同步数据写入所述目标记录表中之后，还包括：生成所述数据提取方法对应的过程日志。本专利技术第二方面提供了一种数据提取装置，包括：检测读取模块，用于根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；判断模块，用于计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；提取模块，用于若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中，以及清除在所述目标数据库中所述数据的所有记录。本专利技术第三方面提供了一种数据提取设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据提取设备执行上述的数据提取方法。本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据提取方法。附图说明图1为本专利技术实施例中数据提取方法的第一个实施例示意图；图2为本专利技术实施例中数据提取方法的第二个实施例示意图；图3为本专利技术实施例中数据提取方法的第三个实施例示意图；图4为本专利技术实施例中数据提取装置的一个实施例示意图；图5为本专利技术实施例中数据提取装置的另一个实施例示意图；图6为本专利技术实施例中数据提取设备的一个实施例示意图。具体实施方式本专利技术实施例提供了一种数据提取方法、装置、设备及存储介质。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为便于理解，下面对本专利技术实施例的具体流程进行描述，请参阅图1，本专利技术实施例中数据提取方法的第一个实施例包括：101、根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在检测间隔时间之前目标数据库的历史数据量；在本实施例中，检测间隔时间设置为180秒，则每过180秒就会读取一次目标数据库的数据量，并生成时间戳，具体信息可以为{2020.8.714:13:00156MB，2020.8.714:16:00156MB，2020.8.714:19:00159MB}，在2020.8.714:22:00时读取目标数据库的数据量为163MB时,则会进一步读取2020.8.714:19:00时间的历史数据量，当完成检测时，会将2020.8.714:22:00163MB写入到历史数据量记录表中本文档来自技高网...

【技术保护点】
1.一种数据提取方法，其特征在于，包括步骤：/n根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；/n计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；/n若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。/n

【技术特征摘要】
1.一种数据提取方法，其特征在于，包括步骤：
根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；
计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；
若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。


2.根据权利要求1所述的数据提取方法，其特征在于，在所述读取在所述检测间隔时间之前所述目标数据库的历史数据量之后，在所述计算出所述数据量与历史数据量的差值之前，还包括：
判断所述历史数据量是否为空；
若所述历史数据量为空，则基于预置目标记录表的数据，设置所述目标数据库的提取范围；
若所述历史数据量不为空，则基于所述历史数据量对应的数据，设置所述目标数据库的提取范围。


3.根据权利要求2所述的数据提取方法，其特征在于，所述基于所述历史数据量对应的数据，设置所述目标数据库的提取范围包括：
判断在所述检测间隔时间之前所述目标数据库是否存在历史提取范围；
若存在历史提取范围，则将所述提取范围设置为所述历史提取范围，以及基于预置目标记录表的数据，设置所述目标数据库的提取范围；
若不存在历史提取范围，则将所述提取范围设置为所述目标数据库的全部数据。


4.根据权利要求2或3中任一项所述的数据提取方法，其特征在于，所述基于预置目标记录表的数据，设置所述目标数据库的提取范围包括：
判断所述目标记录表是否为空；
若所述目标记录表为空，则将所述提取范围设置为所述目标数据库的全部数据；
若所述目标记录表不为空，则读取所述目标记录表中时间戳的最大上限值，以及基于所述最大上限值，调整预置提取范围，生成调整的提取范围。


5.根据权利要求1所述的数据提取方法，其特征在于，所述提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中包...

【专利技术属性】
技术研发人员：梁骏强，熊志强，
申请(专利权)人：深圳市汉云科技有限公司，
类型：发明
国别省市：广东;44