一种网页数据爬取合并方法及计算机可读存储介质技术

本发明专利技术涉及一种网页数据爬取合并方法，包括如下步骤：为执行抓取数据的任务分配任务ID；该任务抓取网页原件并将其存储在物理存储平台上，存储时每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建该任务ID对应的索引表，所述索引表中包含了该任务ID的任务抓取到的各网页原件的索引标识；解析时，根据任务ID从运行平台的缓存中获取对应的索引表，根据索引表中的索引标识读取对应的所有网页原件进行解析合并。本发明专利技术能够对大批量小文件的数据进行高效率抓取，充分利用机器资源，最大限度地发挥集群效率。

【技术实现步骤摘要】
一种网页数据爬取合并方法及计算机可读存储介质
本专利技术涉及一种网页数据爬取合并方法及计算机可读存储介质，属于网络数据采集领域。
技术介绍
目前业界应用上开源的数据爬虫技术非常多，但是如何将当前的爬虫技术使用好，达到企业的价值期望，很大层面是由爬虫的数据抓取效率决定的。要提高爬虫的抓取效率，则需要在爬虫的控制方面做不少的工作，如采用分布式模式提高并发度，或采用跨平台抓取以降低抓取数据的成本，如图1所示，但是这其中又带来了抓取到的数据分散导致数据集中合并的问题需要解决。短时间持续不断的抓取大量的互联网数据时，同时所要抓取的目标网页存在分页显示的情况下，若采用现有技术中的单任务分页抓取模式，所爬取到的是离散的单页的HTML小文件；若采用现有技术中的多任务分页抓取模式，由于采用不同平台共同抓取，在不同平台上获取到离散的单页的HTML小文件再进行合并整理，离散的单页的HTML小文件数量若过多还会导致计算机合并文件寻址过程拥堵的情况。
技术实现思路
为了解决上述技术问题，本专利技术提供一种网页数据爬取合并方法，其能够对大批量小文件的数据进行有序高效地抓取，充分利用机器资源，最大限度地发挥集群效率。本专利技术的技术方案如下：一种网页数据爬取合并方法，包括如下步骤：数据抓取分析后执行数据抓取任务；为执行抓取数据的任务分配任务ID；该任务抓取至少一个网页原件并将抓取的网页原件存储在物理存储平台，存储时为每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含该任务ID对应的任务抓取到的各网页原件的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有网页原件，并将相同任务ID的解析结果合并。更优地，抓取的目标网页包含多个分页，通过数据抓取分析，采用单任务抓取所有分页模式，执行如下步骤：为所述抓取任务分配任务ID；运行平台执行任务逐页抓取目标网页，并将抓取到每一个分页的网页原件逐个存储在物理存储平台，存储时对每一个分页的网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含了该任务ID对应的任务抓取到的目标网页所包含的所有分页的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有分页的网页原件，并将相同任务ID的解析结果合并。更优地，抓取的目标网页包含多个分页，通过数据抓取分析，采用多任务并发抓取所有分页模式，执行如下步骤：将执行抓取数据的任务分解为多个分任务，配置各分任务需要抓取的分页页数，为各分任务分别分配一唯一的任务ID且为各分任务配置相同的TableID，每个分任务分配在不同的运行平台上运行；每个运行平台执行对应的分任务，抓取到每一个分页的网页原件均存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；在执行所述分任务的各个运行平台的缓存中，创建与该运行平台对应的任务ID的索引表，所述索引表中包含了该任务ID的分任务抓取到的所有分页的网页原件的索引标识；创建该TableID对应的目标表，根据任务ID从运行平台的缓存中获取对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析与该任务ID对应的所有分页的网页原件，再根据所述TableID将解析到的网页原件结果写入对应的目标表中，完成数据合并。更优地，所述将执行抓取数据的任务分解为多个分任务的过程具体为：将任务分解为ROUNDUP（（结束页码-开始页码）/步长）个分任务，所述步长为各分任务需要抓取的页数。更优地，需要同时抓取多个目标网页，通过数据抓取分析，采用多任务并发抓取所有目标网页模式，执行如下步骤：为每个目标网页创建一抓取任务，每个任务创建一任务ID；各任务分配在不同的运行平台上运行；每个运行平台执行各自的任务，并将抓取到每一个网页原件存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；在各个运行平台的缓存中，创建该运行平台对应的任务ID的索引表，所述索引表中包含了该任务ID的任务抓取到的网页原件的索引标识；根据任务ID从对应的运行平台的缓存中获取索引表，根据索引表中的索引标识从所述物理存储平台读取并解析该任务ID对应的所有网页原件，并将相同任务ID的解析结果合并。更优地，所述物理存储平台为Hbase，将Hbase的Rowkey作为索引标识，所述Rowkey的组成规则为：加密后的网址_页码。本专利技术还提供一种计算机可读存储介质。技术方案二如下：一种计算机可读存储介质，其上存储有指令，该指令被处理器加载时执行如下步骤：数据抓取分析后执行数据抓取任务；为执行抓取数据的任务分配任务ID；该任务抓取至少一个网页原件并将抓取的网页原件存储在物理存储平台，存储时为每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含该任务ID对应的任务抓取到的各网页原件的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有网页原件，并将相同任务ID的解析结果合并。更优地，抓取的目标网页包含多个分页，通过数据抓取分析，采用单任务抓取所有分页模式，执行如下步骤：为所述抓取任务分配任务ID；运行平台执行任务逐页抓取目标网页，并将抓取到每一个分页的网页原件逐个存储在物理存储平台，存储时对每一个分页的网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含了该任务ID对应的任务抓取到的目标网页所包含的所有分页的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有分页的网页原件，并将相同任务ID的解析结果合并。更优地，抓取的目标网页包含多个分页，通过数据抓取分析，采用多任务并发抓取所有分页模式，执行如下步骤：将执行抓取数据的任务分解为多个分任务，配置各分任务需要抓取的分页页数，为各分任务分别分配一唯一的任务ID且为各分任务配置相同的TableID，每个分任务分配在不同的运行平台上运行；每个运行平台执行对应的分任务，抓取到每一个分页的网页原件均存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；在执行所述分任务的各个运行平台的缓存中，创建与该运行平台对应的任务ID的索引表，所述索引表中包含了该任务ID的分任务抓取到的所有分页的网页原件的索引标识；创建该TableID对应的目标表，根据任务ID从运行平台的缓存中获取对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析与该任务ID对应的所有分页的网页原件，再根据所述TableID将解析到的网页原件结果写入对应的目标表中，完成数据合并。更优地，需要同时抓取多个目标网页，通过数据抓取分析，采用多任务并发抓取所有目标网页模式，执行如下步骤：为每个目标网页创建一抓取任务，每个任务创建一任务ID；各任务分配在不同的运行平台上运行；每个运行平台执行各自的任务，并将抓取到每一个网页原件存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；在各个本文档来自技高网...

【技术保护点】
1.一种网页数据爬取合并方法，其特征在于，包括如下步骤：数据抓取分析后执行数据抓取任务；为执行抓取数据的任务分配任务ID；该任务抓取至少一个网页原件并将抓取的网页原件存储在物理存储平台，存储时为每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含该任务ID对应的任务抓取到的各网页原件的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有网页原件，并将相同任务ID的解析结果合并。

【技术特征摘要】
1.一种网页数据爬取合并方法，其特征在于，包括如下步骤：数据抓取分析后执行数据抓取任务；为执行抓取数据的任务分配任务ID；该任务抓取至少一个网页原件并将抓取的网页原件存储在物理存储平台，存储时为每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含该任务ID对应的任务抓取到的各网页原件的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有网页原件，并将相同任务ID的解析结果合并。2.根据权利要求1所述的一种网页数据爬取合并方法，其特征在于：抓取的目标网页包含多个分页，通过数据抓取分析，采用单任务抓取所有分页模式，执行如下步骤：为所述抓取任务分配任务ID；运行平台执行任务逐页抓取目标网页，并将抓取到每一个分页的网页原件逐个存储在物理存储平台，存储时对每一个分页的网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含了该任务ID对应的任务抓取到的目标网页所包含的所有分页的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有分页的网页原件，并将相同任务ID的解析结果合并。3.根据权利要求1所述的一种网页数据爬取合并方法，其特征在于：抓取的目标网页包含多个分页，通过数据抓取分析，采用多任务并发抓取所有分页模式，执行如下步骤：将执行抓取数据的任务分解为多个分任务，配置各分任务需要抓取的分页页数，为各分任务分别分配一唯一的任务ID且为各分任务配置相同的TableID，每个分任务分配在不同的运行平台上运行；每个运行平台执行对应的分任务，抓取到每一个分页的网页原件均存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；在执行所述分任务的各个运行平台的缓存中，创建与该运行平台对应的任务ID的索引表，所述索引表中包含了该任务ID的分任务抓...

【专利技术属性】
技术研发人员：邱涛，丘水文，陈成乐，
申请(专利权)人：厦门商集网络科技有限责任公司，
类型：发明
国别省市：福建,35