【技术实现步骤摘要】
本专利技术涉及一种信息抓取方法，尤其涉及一种基于互联网系统的分布式信息抓取方法。
技术介绍
I、什么是信息抓取，网络爬虫及其发展 信息抓取是将需要的信息从其它网站中抓取出来保存到设计的数据库中的过程，又称网络爬虫、网页蜘蛛、网络机器人，是搜索引擎的重要组成部分。它是一个自动抓取网页内容的程序，为搜索引擎从因特上快速批量下载处理网页。传统的网页爬虫是从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件，才结束抓取进程。 2、什么是分布式抓取，及其分类，体系结构 随着互联网信息的数据量成指数级增长，现有网络爬虫信息采集的速度越来越不能满足实际应用的需要。即使大型的信息采集系统对Web的覆盖率也只有30 — 40%，刷新一遍已经采集的页面常常需要数周到一个月的时间。解决这一问题的最好的办法是用分布式方式来进行网页信息采集。分布式网络爬虫可以看成由多个集中式网络爬虫组合而成。分布式系统中的每个节点都可以看作一个集中式网络爬虫。多个网络爬虫共同运行，肯定会涉及到各个节点间相互通信。专利...
【技术保护点】
基于互联网系统的分布式信息抓取方法，将爬虫分布在两台或是两台以上的主机上，按照定制的管理机制同时负责抓取网络上的信息，由中央主机控制各抓取机器的抓取方向，然后将各抓取机器得到的数据进行整理汇总，形成有用的信息或是数据，放到索引库或是数据库中，其特征在于：所述的爬虫在同一个局域网里运行，通过高速网络连接相互通信；所述的爬虫通过同一个网络去访问外部互联网，下载网页；所有的网络负载都集中在爬虫所在的那个局域网的出口上；所述的爬虫工作方式包括主从模式、自治模式与混合模式。
【技术特征摘要】
1.基于互联网系统的分布式信息抓取方法，将爬虫分布在两台或是两台以上的主机上，按照定制的管理机制同时负责抓取网络上的信息，由中央主机控制各抓取机器的抓取方向，然后将各抓取机器得到的数据进行整理汇总，形成有用的信息或是数据，放到索引库或是数据库中，其 特征在于所述的爬虫在同一个局域网里运行，通过高速网络连接相互通信；所述的爬虫通过同一个网络去访问外部互联网，下载网页；所有的网络负载都集中在爬虫所在的那个局域网的出口上；所述的爬虫工作方式包括主从模式、自治模式与混合模式。2.根据权利要求I所述的基于互联网系统的分布式信息抓取方法，其特征在于所述的主从模式是由一台主机作为控制节点负责所有运行爬虫的主机进行管理，爬虫从控制节点接收任务，并把新生成任务提交给控制节点，且不与其他爬虫通信；所述的控制节点与所有爬虫进行通信，采用一个地址列表来保存系统中所有爬虫的信息；当系统中的爬虫数量发生变化时，协调者需要更新地址列表里的数据，这一过程对于系统中的爬虫是透明的。3.根据权利要求I所述的基于互联网系统的分布式信息抓取方法，其特征在于所述的自治模式为，系统中没有协调者，所有的爬虫都必须相互通信，自治模式的通信方式使用全连接通信或环形通信。4.根据权利要求3所述的基于互联网系统的分布式信息抓取方法，其特征在于所述的全连接通信是指所用爬虫都相互发送信息，每个爬虫会维护一个地址列表，表中存储着整个系统...
【专利技术属性】
技术研发人员：吴志祥，张海龙，马和平，王专，吴剑，郭凤林，王晓钟，庞绍进，
申请(专利权)人：同程网络科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。