提高网站漏洞扫描速度的方法及装置制造方法及图纸

本发明专利技术公开了一种提高网站漏洞扫描速度的方法及装置。其中，提高网站漏洞扫描速度的方法包括如下步骤：获取网站链接；确定该网站链接是否为无需爬虫链接；若是，则对该网站链接不进行漏洞扫描；若不是，则对该网站链接进行漏洞扫描。利用本发明专利技术的提高网站漏洞扫描速度方法和装置，当识别出网站的某个链接为无需爬虫链接时，则不再对该链接进行漏洞扫描，这样可以极大地提高爬虫和漏洞扫描的效率，减少用户在漏洞扫描过程中的等待时间。

【技术实现步骤摘要】
提高网站漏洞扫描速度的方法及装置
本专利技术涉及计算机网络
，特别涉及一种提高网站漏洞扫描速度的方法及装置。
技术介绍
目前，绝大多数中小网站都依赖搜索引擎给网站带来流量，为了更好地被搜索引擎收录，一些开源CMS(ContentManagementSystem，内容管理系统)厂商或网站都会大量使用无需爬虫链接技术来增加搜索引擎的抓取量，而实际上对这些无需爬虫链接进行漏洞扫描是多余的，只需对无需爬虫链接进行一次爬取即可。因此，需要在漏洞扫描过程中很好地识别和对无需爬虫链接进行归一性处理，用以提高漏洞扫描过程中爬取链接和漏洞测试的速度。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种提高网站漏洞扫描速度的方法及装置。依据本专利技术的一个方面，提供了一种提高网站漏洞扫描速度的方法，包括：获取网站链接；确定网站链接是否为无需爬虫链接；若是，则对该网站链接不进行漏洞扫描，否则对该网站链接进行漏洞扫描。进一步地，上述提高网站漏洞扫描速度方法中，确定所述网站链接是否为无需爬虫链接的步骤进一步包括：判断网站链接是否符合重写规则，若是，则确定该网站链接为无需爬虫链接。进一步地，上述提高网站漏洞扫描速度方法中，判断网站链接是否为无需爬虫链接的步骤进一步包括：判断网站链接是否为参数链接，若是，则判断该参数链接是否为参数重复的链接，若是，则确定该网站链接为无需爬虫链接。进一步地，上述提高网站漏洞扫描速度方法中，确定所述网站链接是否为无需爬虫链接的步骤进一步包括：判断链接归一性规则库中是否存在链接归一性规则，链接归一性规则是根据网站链接提取的用于判断该网站链接是否为无需爬虫链接的规则；若是，则判断网站链接是否符合链接归一性规则，如果符合，则确定网站链接为无需爬虫链接。进一步地，上述提高网站漏洞扫描速度方法中，如果判断链接归一性规则库中不存在链接归一性规则或网站链接不符合链接归一性规则，则执行如下步骤：根据网站链接生成DOM树；提取DOM树的一个子层；计算DOM树的子层的子节点数；判断子层的子节点数是否大于预设值；若是，则确定网站链接为无需爬虫链接，并根据网站链接而提取链接归一性规则，将该链接归一性规则添加到链接归一性规则库中。进一步地，上述提高网站漏洞扫描速度方法中，根据网站链接提取链接归一性规则是通过对网站链接截取目录符后的内容，根据该内容而提取链接归一性规则。进一步地，上述提高网站漏洞扫描速度方法中，链接归一性规则包括：全数字或全字符规则、数字和字符混合规则、MD5字符串规则、以及特殊形式页面规则。另一方面，本专利技术还提供了一种提高网站漏洞扫描速度的装置，该装置包括：获取模块，适于获取网站链接；判断模块，适于确定网站链接是否为无需爬虫链接；执行模块，适于在判断模块判断所述网站链接为无需爬虫链接时，对该网站链接不进行漏洞扫描，否则对该网站链接进行漏洞扫描。进一步地，上述提高网站漏洞扫描速度装置中，判断模块包括：重写规则判断子模块，适于判断网站链接是否符合重写规则，若符合，则确定该网站链接为无需爬虫链接。进一步地，上述提高网站漏洞扫描速度装置中，判断模块包括：参数链接判断子模块，判断网站链接是否为参数链接，若是，则判断该参数链接是否为参数重复的链接，若是，则确定该网站链接为无需爬虫链接。进一步地，上述提高网站漏洞扫描速度装置中，判断模块包括：链接归一性规则判断子模块，适于判断链接归一性规则库中是否存在链接归一性规则，若是，则判断网站链接是否符合链接归一性规则，如果符合，则确定网站链接为无需爬虫链接；其中，链接归一性规则是根据网站链接提取的用于判断该网站链接是否为无需爬虫链接的规则。进一步地，上述提高网站漏洞扫描速度装置中，链接归一性规则判断子模块包括：第一判断单元，其适于判断链接归一性规则库中是否存在链接归一性规则；链接归一性规则判断单元，其适于在第一判断单元判断存在链接归一性规则时，判断网站链接是否符合链接归一性规则，如果符合，则判断网站链接为无需爬虫链接；链接归一性规则提取单元，其适于在第一判断单元判断链接归一性规则库中不存在链接归一性规则时以及链接归一性规则判断单元判断网站链接不符合链接归一性规则时，根据网站链接提取链接归一性规则。进一步地，上述提高网站漏洞扫描速度装置中，链接归一性规则提取单元通过如下方式提取链接归一性规则：根据网站链接生成DOM树，提取DOM树的一个子层，计算DOM树的子层的子节点数；判断子层的子节点数是否大于预设值，若是，则确定该子层的链接为无需爬虫链接，并根据网站链接而提取链接归一性规则，将该链接归一性规则添加到链接归一性规则库中。进一步地，上述提高网站漏洞扫描速度装置中，链接归一性规则包括：全数字或全字符规则、数字和字符混合规则、MD5字符串规则、以及特殊形式页面规则。利用本专利技术的提高网站漏洞扫描速度方法和装置，当识别出网站的某个链接为无需爬虫链接时，则不再爬虫该链接，这样可以极大地提高爬虫的效率，减少用户在漏洞扫描过程中的等待时间。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术的一种实施方式的提高网站漏洞扫描速度的方法实施例的流程图；图2示出了示出了根据本专利技术的另一实施方式的提高网站漏洞扫描速度的方法的流程图；图3示出了根据本专利技术的另一实施方式的提高网站漏洞扫描速度的方法的流程图；图4A示出了根据本专利技术的又一实施方式的提高网站漏洞扫描速度的方法的流程图；图4B示出了根据网站的DOM树判断该网站链接是否为无需爬虫链接的方法的流程图；图5示出了本专利技术的链接归一性规则提取方法的流程图；图6示出了本专利技术的提高网站漏洞扫描速度方法的一个优选实施例的流程图；图7A示出了根据本专利技术的一种实施方式的提高网站漏洞扫描速度的装置的结构示意图；图7B示出了本专利技术的链接归一性规则判断子模块的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术的一种实施例的提高网站漏洞扫描速度的方法100的流程图。如图1所示，该方法100始于步骤S110，在步骤S110，获取网站链接。这里，主要是获取网站链接地址URL。接下来，在步骤S120，确定该网站链接是否为无需爬虫链接。无需爬虫链接是指无需对其进行爬虫的网站链接。无需爬虫链接的URL地址通常都具有一定的规律性，通过找出网站链接的URL的规律性，可以将某些网站链接列为无需爬虫链接，而不对其进行漏洞扫描，从而提高漏洞扫描速度。如果在步骤S120确定该网站链接为无需爬虫链接，则执行步骤S130，对该网站本文档来自技高网...

【技术保护点】
一种提高网站漏洞扫描速度的方法，包括：获取网站链接；确定所述网站链接是否为无需爬虫链接；若是，则对该网站链接不进行漏洞扫描，否则对该网站链接进行漏洞扫描。

【技术特征摘要】
1.一种提高网站漏洞扫描速度的方法，包括：获取网站链接；确定所述网站链接是否为无需爬虫链接，包括：判断链接归一性规则库中是否存在链接归一性规则，若是，则判断所述网站链接是否符合所述链接归一性规则，如果符合，则确定所述网站链接为无需爬虫链接；其中，所述链接归一性规则是根据网站链接提取的用于判断该网站链接是否为无需爬虫链接的规则，包括：全数字或全字符规则、数字和字符混合规则、MD5字符串规则、以及特殊形式页面规则；若是，则对该网站链接不进行漏洞扫描，否则对该网站链接进行漏洞扫描；如果判断所述链接归一性规则库中不存在所述链接归一性规则或所述网站链接不符合所述链接归一性规则，则执行如下步骤：根据所述网站链接生成DOM树；提取所述DOM树的一个子层；计算所述DOM树的所述子层的子节点数；判断所述子层的子节点数是否大于预设值；若是，则确定所述网站链接为无需爬虫链接，并根据所述网站链接而提取链接归一性规则，将该链接归一性规则添加到所述链接归一性规则库中。2.根据权利要求1所述的方法，其中，所述确定所述网站链接是否为无需爬虫链接的步骤进一步包括：判断所述网站链接是否符合重写规则，若是，则确定该网站链接为无需爬虫链接。3.根据权利要求1所述的方法，其中，所述判断所述网站链接是否为无需爬虫链接的步骤进一步包括：判断所述网站链接是否为参数链接，若是，则判断该参数链接是否为参数重复的链接，若是，则确定该网站链接为无需爬虫链接。4.根据权利要求1所述的方法，其中，所述根据所述网站链接提取链接归一性规则是通过对网站链接截取目录符后的内容，根据该内容而提取链接归一性规则。5.一种提高网站漏洞扫描速度的装置，包括：获取模块，适于获取网站链接；判断模块，适于确定所述网站链接是否为无需爬虫链接；执行模块，适于在判断模块判断所述网站链接为无需爬虫链接时，对该网站链接不进行漏洞扫描，否则对所述网站链接进行漏洞扫描；其中，所述判断模块包...

【专利技术属性】
技术研发人员：赵武，龙专，
申请(专利权)人：北京奇虎科技有限公司， 奇智软件北京有限公司，
类型：发明
国别省市：北京;11