一种多来源网站的数据自动采集系统及其方法技术方案

本申请公开了一种多来源网站的数据自动采集系统及其方法，涉及计算机网络领域，目的是解决现有网页采集技术开发工作量大，适应范围小，增加修改新功能困难，可迁移性差等缺点，包括原始数据库、特征提取模块、特征数据库、数据获取模块、最终数据库和可视化界面；原始数据库用于存储原始数据；特征提取模块用于从原始数据库提取特征数据；特征数据库用于存储特征数据；数据获取模块用于从特征数据库获取目标数据；最终数据库用于存储目标数据；可视化界面用于展示数据采集和分析结果以及修改和编辑数据采集的中间参数。本发明专利技术能够实现高智能化、访问网页数量、方式多和解析方式灵活、代码量小、爬取迅速，且便于修改增加新功能，维护便捷高效。便捷高效。便捷高效。

【技术实现步骤摘要】
一种多来源网站的数据自动采集系统及其方法


[0001]本专利技术涉及计算机网络领域，具体涉及一种多来源网站的数据自动采集系统及其方法。

技术介绍

[0002]随着大数据时代的到来，大数据服务对数据的获取、解析和展示提出了新的需求和挑战。目前，通用的技术方案多针对单一的网站进行爬取，对固定的数据匹配统一的规则。具有开发工作量大，适应范围小，增加修改新功能困难，可迁移性差的特点，采用一个一个的进行设计的方法，对业务员的专业能力和开发经验要求高，工过量大，开发周期长，增加了公司的运营成本和人力成本，尤其是，在开发过程中增加新功、修改错误和后期运行维护方面更是带来繁重的工作量，花费宝贵的时间。
[0003]对于相似程度高的网站需要人工，编程和匹配规则，缺乏智能化的分析手段和对已有工作成校、经验的沿用。对于统计结果的统计需要人工检查结果，缺乏科学的统计、分析和预测方式，对于结果的展示，和采集过程的干预，多采用代码级别的干预，更改困难，容易引入扰乱。

技术实现思路

[0004]本申请公开了一种多来源网站的数据自动采集系统及其方法，实现了智能化采集，访问网页访问方式多和解析方式灵活、代码量小且爬取迅速。
[0005]为了达到上述目的，本申请采用的技术方案如下：
[0006]一种多来源网站的数据自动采集系统，包括原始数据库、特征提取模块、特征数据库、数据获取模块、最终数据库和可视化界面；原始数据库用于存储原始数据；特征提取模块用于从原始数据库提取特征数据；特征数据库用于存储特征数据；数据获取模块用于从特征数据库获取目标数据；最终数据库用于存储目标数据；可视化界面用于展示数据采集和分析结果以及修改和编辑数据采集的中间参数。
[0007]优选地，原始数据库内存放的数据包括原始特征信息，样板信息，网页翻页信息，url信息和url示例信息。
[0008]优选地，特征数据库存放的数据的数据类型包括post-html,post-json,get-html和get-json。
[0009]本申请还公开了一种多来源网站的数据自动采集方法，应用于上述的一种多来源网站的数据自动采集系统，步骤包括：
[0010](a)将网页信息录入原始数据库；
[0011](b)由特征提取模块自动清洗分析原始数据库的数据，并且将提取的网页的信息和关键特征存入特征数据库；
[0012](c)请求网页：模块自动生成网页请求的url和参数，获取网页内容；
[0013](d)网页解析：解析请求网页步骤以后返回的网页内容，网页解析模块解析项目的
名称、发布时间和该项目的超级链接，并且智能处理超级链接且自动补充残缺部分生成完整的链接；
[0014](e)由数据获取模块筛选目标存入最终数据库；
[0015](f)通过可视化界面展示运行情况、统计分析和数据录入情况。
[0016]优选地，步骤(c)中，请求网页的类型包括get型和post型；网页请求为get型时，通过对比网页连续3页的的链接进行分段处理，对比分析变化信息确定网页的翻页码和规则，动态生成各页的链接；网页请求为post型时，通过对比网页的变化，确定网页的变化规则以及响应得post型参数的变化规则，生成数据每一页的访问规则。
[0017]优选地，步骤(d)中，返回的网页种类包括html和json。
[0018]优选地，步骤(f)中，可视化界面还用于对中间的参数进行编辑和修改。本申请通过构建原始数据库、特征数据库、最终数据库和可视化界面，实现了网站数据采集的智能化，访问网页访问方式多和解析方式灵活，代码量小，爬取迅速，修改增加新功能方便简单，后期维护便捷高效的特点；设置的可视化界面为采集过程的人为干预，为修改配置和引导学习提供便捷，可直观展示统计和分析结果，效果直观，为数据的管理和研究提供方便。
附图说明
[0019]图1为本专利技术的系统结构示意图；
[0020]图2为本专利技术的方法流程图。
具体实施方式
[0021]如图1所示的一种多来源网站的数据自动采集系统，包括原始数据库、特征提取模块、特征数据库、数据获取模块、最终数据库和可视化界面；特征提取模块从原始数据库提取的特征数据储存到特征数据库；数据获取模块从特征数据库获取数据存放至最终数据库；可视化界面用于展示数据采集和分析结果，还用于修改和编辑数据采集的中间参数。
[0022]其中，原始数据库内存放的数据包括原始特征信息，样板信息，网页翻页信息，url信息和url示例信息；特征数据库存放的数据的数据类型包括post-html,post-json,get-html和get-json。
[0023]下面结合图2说明一种多来源网站的数据自动采集方法的工作流程：
[0024](a)录入原始数据库：原始数据库尽可能多的包含各个方面的信息为后期处理需求提供便利，例如包括原始特征信息，样板信息，网页翻页信息，url信息和url示例等信息；按固定的标准和格式统一快速录入，适应于短时间，大批量，快速录入。
[0025](b)由特征提取模块自动清洗分析原始数据库的数据，并且将提取的网页的信息和关键特征存入特征数据库：特征数据库存储的类型包括post-html,post-json,get-html和get-json。
[0026](c)请求网页，模块自动生成网页请求的url和参数，获取网页内容：请求网页的类型分为get型和post型，当网页请求为get型时，通过对比网页连续3页的的链接进行分段处理，对比分析确定网页的翻页码和规则，动态生成各页的链接；当网页请求为post型时，通过对比网页的变化，意见发送的post参数的变化，确定网页的变化规则以及响应得post型参数的变化规则，生成数据每一页的访问规则。
[0027](d)网页解析，网页解析模块需要解析项目的名称，发布时间和该项目的超级链接，由特征提取模块处理超级链接补充残缺部分生成完整的链接：对请求网页以后返回的网页进行解析，返回的网页分为html和json两种类型，当返回的网页为html型时，依据表中录入的项目信息的标题、时间、xpath路径、提取称网页中一条项目标题和发布时间的xpath路径的特征信息，提取该项目的超级链接；当返回的网页为json型时，可以根据特征数据库的存储的特征，直接提取目标信息。
[0028](e)数据获取模块筛选目标存入最终数据库：对于录入信息中的超级链接，自动提取链接的规则，对链接进行拼写和补全，生成正常且完整的连接，通过该链接拿取网页内容或网页截屏快照，结果发送到最终数据库储存。
[0029](f)通过可视化界面展示运行情况、统计分析和数据录入情况：整个进程都可以在可视化界面展示，此外，可视化界面还可以用于用户在过程中对参数进行修改或编辑。
[0030]实施例1
[0031]下面以中标信息为例：
[0032]原始数据库存储的项目包括表头、分类、行业、总内容、标题1、时间1、标题2、时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多来源网站的数据自动采集系统，其特征在于：包括原始数据库、特征提取模块、特征数据库、数据获取模块、最终数据库和可视化界面；原始数据库用于存储原始数据；特征提取模块用于从原始数据库提取特征数据；特征数据库用于存储特征数据；数据获取模块用于从特征数据库获取目标数据；最终数据库用于存储目标数据；可视化界面用于展示数据采集和分析结果以及修改和编辑数据采集的中间参数。2.根据权利要求1所述的一种多来源网站的数据自动采集系统，其特征在于：所述原始数据库内存放的数据包括原始特征信息、样板信息、网页翻页信息、url信息和url示例信息。3.根据权利要求1所述的一种多来源网站的数据自动采集系统，其特征在于：所述特征数据库存放的数据的数据类型包括post-html、post-json、get-html和get-json。4.一种多来源网站的数据自动采集方法，应用于权利要求1-3所述的任意一种多来源网站的数据自动采集系统，其特征在于，包括以下步骤：(a)将网页信息录入原始数据库；(b)由特征提取模块自动清洗分析原始数据库的数据，并且将提取的网页的信息和关键特征存入特征数...

【专利技术属性】
技术研发人员：马笑轩，康艳，
申请(专利权)人：洛阳建企大数据服务有限公司，
类型：发明
国别省市：