一种无需人工参与的历史数据追溯爬取方法及终端技术

本发明专利技术提供了无需人工参与的历史数据追溯爬取及终端，其方法包括以下步骤：S1：设定历史数据追溯方向，以及每一次爬取历史数据量对应的第一阈值；S2：根据历史数据追溯方向以及第一阈值，获取待多次爬取的历史数据分别对应的多个第一URL；将多个第一URL进行排序，得到第一序列；S3：每隔预设时间依次爬取第一序列中的每一个第一URL对应网页上的数据。本发明专利技术提供了一种无需人工参与的历史数据追溯爬取方法及终端，在追溯爬取历史数据的过程中无需人工参与，能够提高历史数据爬取的效率。能够提高历史数据爬取的效率。能够提高历史数据爬取的效率。

【技术实现步骤摘要】
一种无需人工参与的历史数据追溯爬取方法及终端
[0001]本案是以申请号为201910191973.0，申请日为2019年3月14日，名称为《一种历史数据的追溯爬取方法及终端》的专利申请为母案的分案申请。


[0002]本专利技术涉及数据处理
，尤其涉及一种无需人工参与的历史数据追溯爬取方法及终端。

技术介绍

[0003]历史数据，是跟时间息息相关的一类数据，这类数据在内容上或许没有任何相关性，但它们产生的时间通常是线性的。
[0004]在互联网系统开发过程中，难免会有与海量的历史数据打交道的需求；例如，在爬虫项目中，有时需要获取目标站点近几年的历史数据，如果请求一个历史页面链接后还要进行大量的二级链接请求，或中间处理流程较多，可能需要耗费大量的时间，这样，倘若要让系统从启动后一直运行到任务结束，或许需要持续几天、几周、甚至几个月的时间；在持续如此漫长的过程中，难免会遇到系统主机临时关闭、任务进程意外中断等非预期状况，给任务的持续性和完整性带来很大的困扰；于是，通常需要将这类任务分段执行，分段则要求通过人工介入的方式，根据上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无需人工参与的历史数据追溯爬取方法，其特征在于，包括以下步骤：S1：设定历史数据追溯方向，以及每一次爬取历史数据量对应的第一阈值；S2：根据历史数据追溯方向以及第一阈值，获取待多次爬取的历史数据分别对应的多个第一URL；将多个第一URL进行排序，得到第一序列；在排序过程中，若历史数据追溯方向为正向，按照从远至近的时间顺序对所有的第一URL进行排序，得到第一序列；若历史数据追溯方向为负，按照从近至远的时间顺序对所有的第一URL进行排序，得到第一序列；S3：每隔预设时间依次爬取第一序列中的每一个第一URL对应网页上的数据；所述S3具体为：S31：获取第一序列中排序在最前的第一URL，得到待爬取数据对应的第二URL；预设变量r，所述变量r的初始值为1；S32：爬取第二URL对应网页上的数据；S33：若第二URL对应网页上的数据均获取完毕，则将预设的第r个标识值置为预设第一值，并将第r个标识值以及第二URL存储缓存中，每一个标识值的初始值均为预设第二值；S34：令r＝r+1；S35：在预设第三时间获取缓存中最大的r值，得到第三值；所述预设第三时间＝预设第四时间+预设时间；所述预设第四时间为开始爬取第二URL对应网页上的数据对应的时间点；S36：将第三值加一，得到第四值；S37：根据所述第四值，获取第一序列中排序为第四值对应的第一URL，得到第三URL，将第二URL更新为所述第三URL；S38：重复执行步骤S32
‑
S37，直至接收到爬取数据结束指令或所有的历史数据均爬取完毕为止。2.根据权利要求1所述的一种无需人工参与的历史数据追溯爬取方法，其特征在于，所述S1具体为：获取执行追溯历史数据对应的任务起始时间，得到第一时间；获取所需追溯的历史数据的时间起点值，得到第二时间；获取追溯历史数据的时间方向，得到历史数据追溯方向；获取每一次连续追溯历史数据的天数，即为所述第一阈值。3.根据权利要求2所述的一种无需人工参与的历史数据追溯爬取方法，其特征在于，所述根据历史数据追溯方向以及第一阈值，获取待多次爬取的历史数据分别对应的多个第一URL具体为：根据第二时间、历史数据追溯方向以及第一阈值，获取待多次爬取的历史数据分别对应的多个第一URL；所述第一URL包括多个第一子URL，第一子URL的数量与所述第一阈值相等。4.根据权利要求3所述的一种无需人工参与的历史数据追溯爬取方法，其特征在于，所述S32具体为：根据第二URL，得到多个第二子URL；
根据所述历史数据追溯方向以及每一个第二子URL对应的历史数据的时间，依次爬取...

【专利技术属性】
技术研发人员：刘德建，林琛，
申请(专利权)人：福建省天奕网络科技有限公司，
类型：发明
国别省市：