一种网络蜘蛛的更新控制方法及装置制造方法及图纸

本申请公开了一种网络蜘蛛的更新控制方法及装置，分别应用于多个控制客户端，每个控制客户端均与控制中心相连接且每个控制客户端中设置有网络蜘蛛，控制中心设置有更新数据包，本申请中的方法包括：获取控制中心的更新数据包；依据更新数据包判断网络蜘蛛中的蜘蛛程序是否需要更新，得到更新判断结果；在更新判断结果表明网络蜘蛛中的蜘蛛程序需要更新时，控制蜘蛛程序更新为与更新数据包相对应的程序。本申请通过设置与控制客户端相连接的控制中心形成网络蜘蛛的分布式结构，在每个网络蜘蛛所在的控制客户端通过对控制中心中的更新数据包进行获取，进而实现对每个网络蜘蛛的更新控制，无需手工对每个网络蜘蛛进行更新，提高控制更新的效率。

【技术实现步骤摘要】
一种网络蜘蛛的更新控制方法及装置
本申请涉及计算机网络
，特别涉及一种网络蜘蛛的更新控制方法及装置。
技术介绍
目前，比价购物网站通常采用一个网络蜘蛛系统来进行商品数据的抓取与收录，以便为购物网站提供商品数据。随着电子商务的迅速发展，越来越多的电商网站进行越来越频繁的促销活动，其各自页面改版越来越频繁，导致传统的网络蜘蛛系统需要不断更新各个蜘蛛程序进行数据抓取的任务数据，如抓取目标及抓取时间等，现有技术中，可以通过手动依次更新每个蜘蛛的蜘蛛程序。但由于蜘蛛程序进行处理的电商经营商品数据巨大，蜘蛛程序的分布随之增加，使得蜘蛛程序的更新控制会需要巨大的更新时间及更新工作量，由此使得蜘蛛程序的更新控制效率极低。
技术实现思路
本申请所要解决的技术问题是提供一种网络蜘蛛的控制方法及装置，用以解决现有技术中的蜘蛛程序的更新控制需要消耗巨大的时间及工作量，使得蜘蛛程序的更新控制效率极低的技术问题。为实现以上目的，本申请采用如下技术方案:本申请提供了一种网络蜘蛛的更新控制方法，分别应用于多个控制客户端，每个所述控制客户端分别与控制中心相连接，且每个所述控制客户端中设置有网络蜘蛛，所述控制中心设置有更新数据包，所述方法包括:步骤A:获取所述控制中心内的更新数据包；步骤B:依据所述更新数据包，判断所述网络蜘蛛中的蜘蛛程序是否需要更新，得到更新判断结果；步骤C:在所述更新判断结果表明所述网络蜘蛛中的蜘蛛程序需要更新时，控制所述蜘蛛程序更新为与所述更新数据包相对应的程序。在本申请的方法中，优选的，所述步骤A具体包括:获取预设的时间间隔长；每隔所述时间间隔长，获取所述控制中心内的更新数据包。在本申请的方法中，优选的，所述步骤B具体包括:步骤B1:提取所述更新数据包中的更新数据信息；步骤B2:判断所述网络蜘蛛中蜘蛛程序的当前蜘蛛信息是否与所述更新数据信息相一致，如果是，执行步骤B3，否则，执行步骤B4 ；步骤B3:生成表明所述蜘蛛程序无需被更新的更新判断结果；步骤B4:生成表明所述蜘蛛程序需要被更新的更新判断结果。在本申请的方法中，优选的，所述更新数据信息包括执行代码更新版本及任务信息更新版本；其中，所述步骤B2进一步包括:判断所述当前蜘蛛信息中当前执行代码版本是否与所述更新数据信息中的执行代码更新版本相一致，同时判断所述当前蜘蛛信息中当前任务信息版本是否与所述更新数据信息中的任务信息更新版本相一致。在本申请的方法中，优选的，所述步骤C具体包括:控制所述网络蜘蛛停止当前任务；提取所述更新数据包中的更新内容；依据所述更新内容，对所述网络蜘蛛中的蜘蛛程序进行更新；控制更新后的网络蜘蛛以当前蜘蛛程序执行当前蜘蛛任务。本申请还提供了一种网络蜘蛛的更新控制装置，分别应用于多个控制客户端，每个所述控制客户端分别与控制中心相连接，且每个所述控制客户端中设置有网络蜘蛛，所述控制中心设置有更新数据包，所述装置包括:A包获取单元，用于获取所述控制中心内的更新数据包；B更新判断单元，用于依据所述更新数据包，判断所述网络蜘蛛中的蜘蛛中的蜘蛛程序是否需要更新，得到更新判断结果，在所述更新判断结果表明所述网络蜘蛛中的蜘蛛程序需要更新时，触发更新控制单元C ;C更新控制单元，用于控制所述蜘蛛程序更新为与所述更新数据包相对应的程序。在本申请的装置中，优选的，所述A单元具体包括:间隔获取子单元，用于获取预设的时间间隔长，每隔所述时间间隔长触发包获取子单元；包获取子单元，用于获取控制中心内的更新数据包。在本申请的装置中，优选的，所述B单元具体包括:BI更新数据提取子单元，用于提取所述更新数据包中的更新数据信息；B2—致判断子单元，用于判断所述网络蜘蛛中蜘蛛程序的当前蜘蛛信息是否与所述更新数据信息相一致，如果是，触发B3第一结果生成子单元，否则，触发B4第二结果生成子单元；B3第一结果生成子单元，用于生成表明所述蜘蛛程序无需被更新的更新判断结果;B4第二结果生成子单元，用于生成表明所述蜘蛛程序需要被更新的更新判断结果O在本申请的装置中，优选的，所述更新数据信息包括执行代码更新版本及任务信息更新版本；其中，所述B2单元具体包括:第一判断模块，用于判断所述当前蜘蛛信息中当前执行代码版本是否与所述更新数据信息中的执行代码更新版本相一致；第二判断模块，用于判断所述当前蜘蛛信息中当前任务信息版本是否与所述更新数据信息中的任务信息更新版本相一致；相应的，在所述第一判断模块判断出所述当前蜘蛛信息中当前执行代码版本与所述更新数据信息中的执行代码更新版本相一致，且所述第二判断模块判断所述当前蜘蛛信息中当前任务信息版本与所述更新数据信息中的任务信息更新版本相一致时，触发所述第一结果生成子单元，否则，触发所述第二结果生成子单元。在本申请的装置中，优选的，所述C单元具体包括:当前任务停止子单元，用于控制所述网络蜘蛛停止当前任务；更新内容提取子单元，用于提取所述更新包中的更新内容；内容更新子单元，用于依据所述更新内容，对所述网络蜘蛛中的蜘蛛程序进行更新；任务控制执行子单元，用于控制更新后的网络蜘蛛以当前蜘蛛程序执行当前蜘蛛任务。由上述方案可知，本申请提供的一种网络蜘蛛的更新控制方法及装置，分别应用于设置有网络蜘蛛的多个控制客户端，而每个该控制客户端与设置有更新数据包的控制中心相连接，在每个控制客户端中，本申请通过获取控制中心内的更新数据包，进而在依据该更新数据包判断出网络蜘蛛的蜘蛛程序需要更新时，控制所述蜘蛛程序更新为与该更新数据包相对应的程序，实现对网络蜘蛛的更新控制。本申请通过设置与控制客户端相连接的控制中心，形成网络蜘蛛的分布式结构，即多个分别设置有网络蜘蛛的控制客户端与一个控制中心组成的分布式结构，而在每个网络蜘蛛所在的控制客户端，通过对控制中心中的更新数据包进行获取，进而实现对分布式结构的每个网络蜘蛛的蜘蛛程序的更新控制，无需手工对每个网络蜘蛛进行更新，提高控制更新的效率。【附图说明】图1为本申请提供的一种网络蜘蛛的更新控制方法实施例一的流程图；图2为本申请实施例的应用示例图；图3为本申请提供的一种网络蜘蛛的更新控制方法实施例二的部分流程图；图4为本申请提供的一种网络蜘蛛的更新控制方法实施例三的部分流程图；图5为本申请提供的一种网络蜘蛛的更新控制方法实施例四的部分流程图；图6为本申请实施例四的应用流程图；图7为本申请提供的一种网络蜘蛛的更新控制装置实施例五的结构示意图；图8为本申请提供的一种网络蜘蛛的更新控制装置实施例六的部分结构示意图；图9为本申请提供的一种网络蜘蛛的更新控制装置实施例七的部分结构示意图；图10为本申请提供的一种网络蜘蛛的更新控制装置实施例八的部分结构示意图；图11为本申请提供的一种网络蜘蛛的更新控制装置实施例九的部分结构示意图。【具体实施方式】下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例一:对应权利要求1参考图1，为本申请提供的一种网络蜘蛛的更新控制方法实施例一的流程图，所述方法可以应用于分布式结构的每个控制客本文档来自技高网...

【技术保护点】
一种网络蜘蛛的更新控制方法，其特征在于，分别应用于多个控制客户端，每个所述控制客户端分别与控制中心相连接，且每个所述控制客户端中设置有网络蜘蛛，所述控制中心设置有更新数据包，所述方法包括：步骤A：获取所述控制中心内的更新数据包；步骤B：依据所述更新数据包，判断所述网络蜘蛛中的蜘蛛程序是否需要更新，得到更新判断结果；步骤C：在所述更新判断结果表明所述网络蜘蛛中的蜘蛛程序需要更新时，控制所述蜘蛛程序更新为与所述更新数据包相对应的程序。

【技术特征摘要】
1.一种网络蜘蛛的更新控制方法，其特征在于，分别应用于多个控制客户端，每个所述控制客户端分别与控制中心相连接，且每个所述控制客户端中设置有网络蜘蛛，所述控制中心设置有更新数据包，所述方法包括: 步骤A:获取所述控制中心内的更新数据包； 步骤B:依据所述更新数据包，判断所述网络蜘蛛中的蜘蛛程序是否需要更新，得到更新判断结果； 步骤C:在所述更新判断结果表明所述网络蜘蛛中的蜘蛛程序需要更新时，控制所述蜘蛛程序更新为与所述更新数据包相对应的程序。2.根据权利要求1所述的方法，其特征在于，所述步骤A具体包括: 获取预设的时间间隔长； 每隔所述时间间隔长，获取所述控制中心内的更新数据包。3.根据权利要求1或2所述的方法，其特征在于，所述步骤B具体包括: 步骤B1:提取所述更新数据包中的更新数据信息； 步骤B2:判断所述网络蜘蛛中蜘蛛程序的当前蜘蛛信息是否与所述更新数据信息相一致，如果是，执行步骤B3，否则，执行步骤B4 ； 步骤B3:生成表明所述蜘蛛程序无需被更新的更新判断结果； 步骤B4:生成表明所述蜘蛛程序需要被更新的更新判断结果。4.根据权利要求3所述的方法，其特征在于，所述更新数据信息包括执行代码更新版本及任务信息更新版本； 其中，所述步骤B2进一步包括: 判断所述当前蜘蛛信息中当前执行代码版本是否与所述更新数据信息中的执行代码更新版本相一致，同时判断所述当前蜘蛛信息中当前任务信息版本是否与所述更新数据信息中的任务信息更新版本相一致。5.根据权利要求1、2或4所述的方法，其特征在于，所述步骤C具体包括: 控制所述网络蜘蛛停止当前任务； 提取所述更新数据包中的更新内容； 依据所述更新内容，对所述网络蜘蛛中的蜘蛛程序进行更新； 控制更新后的网络蜘蛛以当前蜘蛛程序执行当前蜘蛛任务。6.一种网络蜘蛛的更新控制装置，其特征在于，分别应用于多个控制客户端，每个所述控制客户端分别与控制中心相连接，且每个所述控制客户端中设置有网络蜘蛛，所述控制中心设置有更新数据包，所述装置包括: A包获取单元，用于获取所述控制中心内的更新数据包； B更新判断单元，用于依据所述更新数据包，判断所述网络蜘蛛...

【专利技术属性】
技术研发人员：张海旭，王旭，王军博，
申请(专利权)人：北京联时空网络通信设备有限公司，
类型：发明
国别省市：北京;11