网页识别方法、装置、存储介质和处理器制造方法及图纸

本发明专利技术公开了一种网页识别方法、装置、存储介质和处理器。其中，该方法包括：获取通过访问目标网络资源地址所得到的目标信息；获取与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；基于异常信息确定目标网络资源地址对应的目标网页是否异常。本发明专利技术解决了对网页进行识别的准确性低的技术问题。

Web page recognition method, device, storage medium and processor

【技术实现步骤摘要】
网页识别方法、装置、存储介质和处理器
本专利技术涉及互联网领域，具体而言，涉及一种网页识别方法、装置、存储介质和处理器。
技术介绍
目前，在对网页进行识别时，通常是根据超文本传输协议(HyperTextTransferProtocol，简称为HTTP)状态码，来确定其是否为异常页面，可以获取HTTP响应(HttpResponse)的状态栏，从中提取状态码，直接基于状态码来判断待处理的网页是否为异常页面，比如，在返回的状态码为异常状态码时，直接确定网页异常，而在返回的状态码不为异常状态码时，直接确定网页正常。但是，上述方法对于站点自定义的状态码，而非异常页面的状态码，却无法有效地识别出网页是否异常；另外，如果站点做了容错处理，在访问页面错误的情况下，服务器可能会返回当前页面或默认页面，从而错误地直接将当前网页确定为正常网页，并不能有效地识别出网页为异常网页，存在对网页进行识别的准确性低的技术问题。针对上述的对网页进行识别的准确性低的技术问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种网页识别方法、装置、存储介质和处理器，以至少解决对网页进行识别的准确性低的技术问题。根据本专利技术实施例的一个方面，提供了一种网页识别方法。该方法包括：网页识别方法，其特征在于，包括：获取通过访问目标网络资源地址所得到的目标信息；获取与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；基于异常信息确定目标网络资源地址对应的目标网页是否异常。可选地，异常网络资源地址的格式与目标网络资源地址的格式相同。可选地，该方法还包括：在目标网络资源地址中存在文件名的情况下，对文件名进行修改，并将文件名修改后的目标网络资源地址确定为异常网络资源地址；在目标网络地址中不存在文件名的情况下，随机生成一个目标文件名，并将包括目标文件名的目标网络资源地址确定为异常网络资源地址。可选地，基于异常信息确定目标网络资源地址对应的目标网页是否异常包括：在目标信息不包括与异常网络资源地址对应的异常状态码的情况下，基于异常信息确定目标网页是否异常。可选地，在目标信息不包括异常状态码的情况下，基于异常信息确定目标网页是否异常包括：在目标信息不包括异常状态码的情况下，如果异常信息包括异常状态码，则确定目标网页为非目标异常网页。可选地，该方法还包括：如果异常信息不包括异常状态码，对比目标信息中的第一响应头值和异常信息中的第二响应头值；在第一响应头值和第二响应头值不相同的情况下，确定目标网页为非目标异常网页。可选地，该方法还包括：在的第一响应头值和第二响应头值相同的情况下，获取目标信息与异常信息之间的第一相似度；在第一相似度大于第一阈值的情况下，确定目标网页为目标异常网页；在第一相似度不大于第一阈值的情况下，确定目标网页为非目标异常网页。可选地，基于异常信息确定目标网络资源地址对应的目标网页是否异常包括：将与异常网络资源地址对应的目标异常网页划分为多个第一子网页；从多个第一子网页中识别出包括异常信息的异常子网页；将目标网页划分为多个第二子网页，并从多个第二子网页中确定与异常子网页对应的目标子网页；获取异常子网页和目标子网页之间的第二相似度；在第二相似度大于第二阈值的情况下，确定目标网页为目标异常网页；在第二相似度不大于第二阈值的情况下，确定目标网页为非目标异常网页。根据本专利技术实施例的另一方面，还提供了另一种网页识别方法。该方法可以包括：在交互界面中显示通过访问目标网络资源地址所得到的目标信息；在交互界面中显示与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；输出识别结果，其中，识别结果用于指示目标网络资源地址对应的目标网页是否异常，且通过异常信息得到。根据本专利技术实施例的另一方面，还提供了一种网页识别装置。该装置包括：第一获取单元，用于获取通过访问目标网络资源地址所得到的目标信息；第二获取单元，用于获取与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；第三获取单元，用于基于异常信息确定目标网络资源地址对应的目标网页是否异常。根据本专利技术实施例的另一方面，还提供了另一种网页识别装置。该装置包括：第一显示单元，用于在交互界面中显示通过访问目标网络资源地址所得到的目标信息；第二显示单元，用于在交互界面中显示与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；输出单元，用于输出识别结果，其中，识别结果用于指示目标网络资源地址对应的目标网页是否异常，且通过异常信息得到。根据本专利技术实施例的另一方面，还提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本专利技术实施例的任意一项的网页识别方法。根据本专利技术实施例的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本专利技术实施例的网页识别方法。在本专利技术实施例中，采用获取通过访问目标网络资源地址所得到的目标信息；获取与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；基于异常信息确定目标网络资源地址对应的目标网页是否异常的方式。也就是说，本申请基于目标网络资源地址伪造异常网络资源地址，通过访问异常网络资源地址得到的异常信息来确定目标网络资源地址对应的目标网页是否异常，而避免直接基于返回的状态码来确定目标网页是否异常，从而达到了对目标网页是否异常进行有效识别的目的，从而实现了提高对网页进行识别的准确性的技术效果，进而解决了对网页进行识别的准确性低技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种网页识别方法的流程图；图2是根据本专利技术实施例的另一种网页识别方法的流程图；图3是根据本专利技术实施例的一种真实404响应信息的收集方法的流程图；图4是根据本专利技术实施例的一种真实URL存在文件名时的伪造URL的方法的流程图；图5是根据本专利技术实施例的一种URL不存在文件名时的伪造URL的方法的流程图；图6是根据本专利技术实施例的一种404页面的识别方法的流程图；图7是根据本专利技术实施例的一种404页面的判断装置的流程图；图8是根据本专利技术实施例的一种404相关内容在网页中的位置的示意图；图9是根据本专利技术实施例的一种网页识别装置的示意图；以及图10是根据本专利技术实施例的另一种网页识别装置的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种网页识别方法，其特征在于，包括：/n获取通过访问目标网络资源地址所得到的目标信息；/n获取与所述目标信息对应的异常信息，其中，所述异常信息预先通过访问异常网络资源地址得到，所述异常网络资源地址通过对所述目标网络资源地址进行修改得到；/n基于所述异常信息确定所述目标网络资源地址对应的目标网页是否异常。/n

【技术特征摘要】
1.一种网页识别方法，其特征在于，包括：
获取通过访问目标网络资源地址所得到的目标信息；
获取与所述目标信息对应的异常信息，其中，所述异常信息预先通过访问异常网络资源地址得到，所述异常网络资源地址通过对所述目标网络资源地址进行修改得到；
基于所述异常信息确定所述目标网络资源地址对应的目标网页是否异常。


2.根据权利要求1所述的方法，其特征在于，所述异常网络资源地址的格式与所述目标网络资源地址的格式相同。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述目标网络资源地址中存在文件名的情况下，对所述文件名进行修改，并将所述文件名修改后的所述目标网络资源地址确定为所述异常网络资源地址；
在所述目标网络地址中不存在文件名的情况下，随机生成一个目标文件名，并将包括所述目标文件名的所述目标网络资源地址确定为所述异常网络资源地址。


4.根据权利要求1所述的方法，其特征在于，基于所述异常信息确定所述目标网络资源地址对应的目标网页是否异常包括：
在所述目标信息不包括与所述异常网络资源地址对应的异常状态码的情况下，基于所述异常信息确定所述目标网页是否异常。


5.根据权利要求4所述的方法，其特征在于，在所述目标信息不包括异常状态码的情况下，基于所述异常信息确定所述目标网页是否异常包括：
在所述目标信息不包括所述异常状态码的情况下，如果所述异常信息包括所述异常状态码，则确定所述目标网页为非目标异常网页。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
如果所述异常信息不包括所述异常状态码，对比所述目标信息中的第一响应头值和所述异常信息中的第二响应头值；
在所述第一响应头值和所述第二响应头值不相同的情况下，确定所述目标网页为非目标异常网页。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在所述的第一响应头值和所述第二响应头值相同的情况下，获取所述目标信息与所述异常信息之间的第一相似度；
在所述第一相似度大于第一阈值的情况下，确定所述目标网页为目标异常网页；
在所述第一相似度不大于第一阈值的情况下，确定所述目标网页为所述非目标异常网页。


8.根据权利要求1所述的方法，其特征在于，基于所述异常信息确定所述目标网络资源地址对应...

【专利技术属性】
技术研发人员：蒋自立，贺志强，许勇，
申请(专利权)人：山石网科通信技术股份有限公司，
类型：发明
国别省市：江苏;32