一种动态URL过滤方法及装置制造方法及图纸

本发明专利技术提出了一种动态URL过滤方法及装置，该方法包括：基于URL标注集创建信息字典；针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；对URL特征矩阵进行分类得到特征权重向量和二分类阈值；基于所述信息字段对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL。本发明专利技术可以离线处理，不需要访问网络、减少了存储，比较节省处理时间和计算资源。

【技术实现步骤摘要】
一种动态URL过滤方法及装置
本专利技术涉及URL过滤
，尤其涉及一种动态URL过滤方法及装置。
技术介绍
2014年1月16日，中国互联网络信息中心(CNNIC)在京发布第33次《中国互联网络发展状况统计报告》。《报告》显示，截至2013年12月，中国网民规模达6.18亿，互联网普及率为45.8％。其中，手机网民规模达5亿，继续保持稳定增长。随之而存在的是每天上网活动产生的大量数据，这里面浏览网页占了绝大部分的比重，也就是说http(hypertexttransferprotocol，超文本传送协议)的承载量很大。随之必然会有大规模的URL存在。但是，其中往往有意义的URL只是一部分。有一定数量的URL(UniformResourceLocator，统一资源定位器)已经不能再访问，比例约20％。在能访问的URL集合里面也只是关心静态部分的URL，因为占比约15％的动态URL的内容会发生变化。因此，对动态URL的过滤很有必要性。传统的对动态URL进行过滤的方法是基于对网页内容变化进行判断的，具体是先对URL进行一次访问，判断出它是否能被访问，然后对能访问的URL进行两次访问，对其页面内容进行MD5值转换。然后对两次的MD5值进行比较。如果两次内容的MD5值相同，那么该URL就是静态URL，否则认为该URL是动态URL。但是此种方法的速度比较慢，过程比较长，而且比较耗资源。因此，需要寻找一种更好更快速的方法来进行分类。
技术实现思路
本专利技术要解决的技术问题是，提供一种动态URL过滤方法及装置，在节省资源消耗的同时提高处理的速度。本专利技术采用的技术方案是，所述动态URL过滤方法，包括：基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；基于所述信息字段对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL。进一步的，所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、后缀长度、数字与字符之间的转换频次；所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串，所述设定的停用词包括：“％”、“，”和“；”。进一步的，设定的标点符号出现次数的归一化数值的确定方式是：先计算该设定的标点符号在各URL中出现的次数，找出出现该设定的标点符号的次数最多的URL，然后相对于该最多的出现次数，将所有URL中的出现次数进行归一化后得到每个URL中的该设定的标点符号的统计特征，经过归一化后，任一URL的该设定的标点符号的统计特征的数值均在0～1范围内；后缀长度的归一化数值的确定方式是：先计算各URL的后缀长度，然后找出具备最长后缀长度的URL，再计算出各URL的后缀长度与最长后缀长度的比值即得到归一化后的每个URL中的后缀长度的归一化数值，任一URL的后缀长度的归一化数值均在0～1范围内。进一步的，针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，包括：针对URL标注集中的每一个URL，确定该URL中的字符串特征和统计特征；将该URL中的字符串特征和统计特征组成该URL的特征向量。进一步的，所述分类算法，包括：线性逻辑回归分类算法、朴素贝叶斯算法或者支持向量机算法。本专利技术还提供一种动态URL过滤装置，包括：训练模块，用于基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；预测模块，用于基于所述信息字段对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL。进一步的，所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、后缀长度、数字与字符之间的转换频次；所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串，所述设定的停用词包括：“％”、“，”和“；”。进一步的，所述训练模块，用于按照如下方式确定设定的标点符号出现次数的归一化数值：先计算该设定的标点符号在各URL中出现的次数，找出出现该设定的标点符号的次数最多的URL，然后相对于该最多的出现次数，将所有URL中的出现次数进行归一化后得到每个URL中的该设定的标点符号的统计特征，经过归一化后，任一URL的该设定的标点符号的统计特征的数值均在0～1范围内；所述训练模块，用于按照如下方式确定后缀长度的归一化数值：先计算各URL的后缀长度，然后找出具备最长后缀长度的URL，再计算出各URL的后缀长度与最长后缀长度的比值即得到归一化后的每个URL中的后缀长度的归一化数值，任一URL的后缀长度的归一化数值均在0～1范围内。进一步的，所述训练模块，用于针对URL标注集中的每一个URL，确定该URL中的字符串特征和统计特征；将该URL中的字符串特征和统计特征组成该URL的特征向量。进一步的，所述分类算法，包括：线性逻辑回归分类算法、朴素贝叶斯算法或者支持向量机算法。采用上述技术方案，本专利技术至少具有下列优点：本专利技术所述动态URL过滤方法及装置，相比于传统的方法，可以离线处理，不需要访问网络、减少了存储，比较节省处理时间和计算资源。且在采用线性逻辑回归分类算法时具有更快的处理速度。附图说明图1为本专利技术第一实施例的动态URL过滤方法流程图；图2为本专利技术第二实施例的动态URL过滤装置组成结构示意图；图3为本专利技术第三实施例的分类过程的流程示意图；图4(a)～(h)分别为本专利技术第三实施例的区分动态网页和静态网页的8个新特征的比例分析示意图；图5为本专利技术第三实施例的基于域名和路径中的特征的向量表示示意图；图6为本专利技术第三实施例的三种同分类算法的识别结果比较示意图；图7为本专利技术第三实施例的三种同分类算法的时间性能比较示意图。具体实施方式为更进一步阐述本专利技术为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本专利技术进行详细说明如后。本专利技术第一实施例，一种动态URL过滤方法，如图1所示，包括以下具体步骤：步骤S101，基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征。具体的，本文档来自技高网...

【技术保护点】
一种动态URL过滤方法，其特征在于，包括：基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；基于所述信息字段对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL。

【技术特征摘要】
1.一种动态URL过滤方法，其特征在于，包括：基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；基于所述信息字典对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL；所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、后缀长度、数字与字符之间的转换频次；所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串，所述设定的停用词包括：“％”、“，”和“；”。2.根据权利要求1所述的动态URL过滤方法，其特征在于，设定的标点符号出现次数的归一化数值的确定方式是：先计算该设定的标点符号在各URL中出现的次数，找出出现该设定的标点符号的次数最多的URL，然后相对于最多的出现次数，将所有URL中的出现次数进行归一化后得到每个URL中的该设定的标点符号的统计特征，经过归一化后，任一URL的该设定的标点符号的统计特征的数值均在0～1范围内；后缀长度的归一化数值的确定方式是：先计算各URL的后缀长度，然后找出具备最长后缀长度的URL，再计算出各URL的后缀长度与最长后缀长度的比值即得到归一化后的每个URL中的后缀长度的归一化数值，任一URL的后缀长度的归一化数值均在0～1范围内。3.根据权利要求1所述的动态URL过滤方法，其特征在于，针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，包括：针对URL标注集中的每一个URL，确定该URL中的字符串特征和统计特征；将该URL中的字符串特征和统计特征组成该URL的特征向量。4.根据权利要求1～3中任一项所述的动态URL过滤方法，其特征在于，所述分类算法，包括：线性逻辑回归分类算法、朴素贝叶斯算法或者支持向量机算法。5.一...

【专利技术属性】
技术研发人员：钮艳，易立，段东圣，赵淳璐，鲁睿，刘晓辉，王晶，翟羽佳，潘进，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京;11