数据提取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及数据分析领域，公开了一种数据提取方法、装置、设备及存储介质。该方法包括：根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。

【技术实现步骤摘要】
数据提取方法、装置、设备及存储介质
本专利技术涉及数据分析领域，尤其涉及一种数据提取方法、装置、设备及存储介质。
技术介绍
随着互联网技术广泛应用，移动智能终端设备数量迅速增大，导致每日传输数据量迅速增加。信息速度变化较大，则直接导致需要使用更多的资源进行不同数据设备和数据系统的信息同步，数据量的迅速增加导致资源的消耗不断增加。目前，在抽取大量数据时，主要采用的是全量抽取的方式，但是全量抽取的缺点十分明显：由于抽取数量没有选择，在抽取数据量大的数据集时耗费大量资源且耗时过长。而只面对数据增加的情况，可以采用消耗资源较小的增量抽取方式，但增量抽取不能获取删除的数据，故需要有一种能消耗资源低且能抽取删除数据的数据提取方法。
技术实现思路
本专利技术的主要目的在于解决抽取删除数据消耗计算资源过大的技术问题。本专利技术第一方面提供了一种数据提取方法，所述数据提取方法包括：根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；计算出所述数据量与历史本文档来自技高网...

【技术保护点】
1.一种数据提取方法，其特征在于，包括步骤：/n根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；/n计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；/n若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。/n

【技术特征摘要】
1.一种数据提取方法，其特征在于，包括步骤：
根据预置检测间隔时间，检测得到目标数据库中的数据量，以及读取在所述检测间隔时间之前所述目标数据库的历史数据量；
计算出所述数据量与历史数据量的差值，判断所述差值的绝对值是否大于预置数据变化阈值；
若大于，则提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中。


2.根据权利要求1所述的数据提取方法，其特征在于，在所述读取在所述检测间隔时间之前所述目标数据库的历史数据量之后，在所述计算出所述数据量与历史数据量的差值之前，还包括：
判断所述历史数据量是否为空；
若所述历史数据量为空，则基于预置目标记录表的数据，设置所述目标数据库的提取范围；
若所述历史数据量不为空，则基于所述历史数据量对应的数据，设置所述目标数据库的提取范围。


3.根据权利要求2所述的数据提取方法，其特征在于，所述基于所述历史数据量对应的数据，设置所述目标数据库的提取范围包括：
判断在所述检测间隔时间之前所述目标数据库是否存在历史提取范围；
若存在历史提取范围，则将所述提取范围设置为所述历史提取范围，以及基于预置目标记录表的数据，设置所述目标数据库的提取范围；
若不存在历史提取范围，则将所述提取范围设置为所述目标数据库的全部数据。


4.根据权利要求2或3中任一项所述的数据提取方法，其特征在于，所述基于预置目标记录表的数据，设置所述目标数据库的提取范围包括：
判断所述目标记录表是否为空；
若所述目标记录表为空，则将所述提取范围设置为所述目标数据库的全部数据；
若所述目标记录表不为空，则读取所述目标记录表中时间戳的最大上限值，以及基于所述最大上限值，调整预置提取范围，生成调整的提取范围。


5.根据权利要求1所述的数据提取方法，其特征在于，所述提取所述目标数据库中预置提取范围对应的同步数据，并删除预置目标记录表中所述提取范围对应的记录数据，以及将所述同步数据写入所述目标记录表中包...

【专利技术属性】
技术研发人员：梁骏强，熊志强，
申请(专利权)人：深圳市汉云科技有限公司，
类型：发明
国别省市：广东;44