一种实现记录网页交互操作的网络信息提取系统技术方案

本发明专利技术涉及一种实现记录网页交互操作的网络信息提取系统，包括浏览器插件和服务端。系统控制模块控制系统的启动关闭。任务管理模块使用户可以根据自己的需求，创建一个或者多个网络信息提取任务，每个网络信息提取任务可以根据用户需求配置不同的功能。交互操作录制模块，记录用户在当前浏览器中的操作，包括访问的网站地址及交互信息。服务端基于负载均衡和无头浏览器实现了网络信息的精确高效获取。

A network information extraction system for interactive operation of recording web pages

【技术实现步骤摘要】
一种实现记录网页交互操作的网络信息提取系统
本专利技术涉及互联网
，为一种使用浏览器插件技术实现记录网页交互操作的网络信息提取系统。
技术介绍
随着互联网时代的到来，互联网信息数据正以极快的速度增长。随着大数据的发展，也迫切的需要一种快速、大量、稳定获取互联网信息的方法，因此网络信息提取系统有着非常广泛的应用前景。传统的网络信息提取方法大多是基于页面的静态分析，提取页面中的链接标签，从而获取其他页面的链接。这些网络信息提取系统主要针对企业级用户，功能单一，且不够灵活易用。基于分布式网络的网络信息提取系统的稳定性也较差，系统工作依赖于主节点，一旦主节点异常，整个网络提取系统就会瘫痪。而且由于每个从节点都要与主节点进行通信，资源分配的方式是按顺序分配，缺乏统一的资源调度，导致系统性能较差。
技术实现思路
有鉴于此，本专利技术提供一种解决或部分解决上述问题的一种使用浏览器插件技术实现记录网页交互操作的网络信息提取系统。为达到上述技术方案的效果，本专利技术的技术方案为：一种使用浏览器插件技术实现记录网页交互操作的网络信息提取系统，包含以下：一种实现记录网页交互操作的网络信息提取系统，其特征本文档来自技高网...

【技术保护点】
1.一种实现记录网页交互操作的网络信息提取系统，其特征在于，包括浏览器插件(A)、服务端(B)、网络模块(C)；所述浏览器插件(A)，包括系统控制模块(1)、任务管理模块(2)、交互操作录制模块(3)，所述服务端(B)，包括服务器模块(4)、数据存储模块(5)；所述浏览器插件(A)与所述服务端(B)通过所述网络模块(C)进行通信，所述浏览器插件(A)将系统自定义的配置信息，包括：网络信息提取系统的开启和终止、信息更新间隔、待提取的种子URL信息、关键字、是否进行智能匹配、智能匹配精度；并通过所述网络模块(C)，发送到所述服务端(B)；所述服务端(B)根据配置信息提取网络信息；当网络信息提取完成...

【技术特征摘要】
1.一种实现记录网页交互操作的网络信息提取系统，其特征在于，包括浏览器插件(A)、服务端(B)、网络模块(C)；所述浏览器插件(A)，包括系统控制模块(1)、任务管理模块(2)、交互操作录制模块(3)，所述服务端(B)，包括服务器模块(4)、数据存储模块(5)；所述浏览器插件(A)与所述服务端(B)通过所述网络模块(C)进行通信，所述浏览器插件(A)将系统自定义的配置信息，包括：网络信息提取系统的开启和终止、信息更新间隔、待提取的种子URL信息、关键字、是否进行智能匹配、智能匹配精度；并通过所述网络模块(C)，发送到所述服务端(B)；所述服务端(B)根据配置信息提取网络信息；当网络信息提取完成时，所述服务端(B)通过所述网络模块(C)通知所述浏览器插件(A)信息提取完成，用户通过所述浏览器插件(A)的所述任务管理模块(2)，查看信息提取结果报告和访问任务所提取的数据；其中信息提取结果报告包括：本次信息提取的原始配置信息、信息提取总数、更新频率、信息提取时间、访问网站列表；访问任务所提取的数据根据文件类型、文件大小、与主题相关度进行排序，并以不同的格式批量导出；用户通过所述系统控制模块(1)，供用户的个人信息及系统级的配置信息，控制网络信息提取系统的开启和关闭，当所述任务管理模块(2)创建的某一任务完成时，所述服务端(B)，通过所述网络模块(C)将结果信息发送至所述系统控制模块(1)配置的邮箱中；查看每个网络信息提取任务的状态及结果；所述任务管理模块(2)，用户根据自己的需求，创建一个或者多个网络信息提取任务，每个网络信息提取任务根据用户需求配置不同的功能；所述任务管理模块(2)包括种子信息配置模块(2-1)、智能匹配设置模块(2-2)、任务目标设置模块(2-3)、抓取结果管理模块(2-4)；所述种子信息配置模块(2-1)通过URL、关键字、网页交互信息录制三种方式指定网络信息提取的种子信息；当用户选择URL时，指定一个或者多个URL地址。当用户选择关键字时，指定一个或者多个关键字，当用户选择网页交互信息录制时，将启动所述交互操作录制模块(3)进行交互操作录制；当所述任务管理模块(2)的任务启动时，将所述种子信息配置模块(2-1)配置的种子信息，通过所述网络模块(C)发送至所述服务端(B)；所述智能匹配设置模块(2-2)基于N-Gram模糊匹配算法；在没有智能匹配的模式下，只严格按照所述种子信息配置模块(2-1)中所配置的内容抓取信息；在智能匹配模式下，将根据所给的种子信息，智能匹配相关信息，实现信息的抓取；通过所述任务目标设置模块(2-3)设置任务执行时间、网络信息更新间隔、抓取网络信息数量；并发送至所述服务端(B)，所述服务端(B)将根据信息执行网络信息抓取任务；所述抓取结果管理模块(2-4)实时显示服务器端(B)返回...

【专利技术属性】
技术研发人员：罗永秀，张华，
申请(专利权)人：上海鸿翼软件技术股份有限公司，
类型：发明
国别省市：上海,31