报文过滤方法与装置制造方法及图纸

本发明专利技术提供了一种报文过滤方法与装置，其中，报文过滤方法包括：使用第一过滤规则对报文进行过滤，过滤掉所述报文中符合设定格式的报文；判断过滤后的所述报文是否与黑名单或白名单中的报文相匹配；若不匹配，则获取不匹配的报文对应的文本信息和/或网页状态码；根据所述文本信息和/或所述网页状态码对所述不匹配的报文进行报文过滤。通过本发明专利技术，有效提高了报文过滤的准确率。

【技术实现步骤摘要】

本专利技术涉及网络
，特别是涉及一种报文过滤方法与装置。
技术介绍
垃圾报文过滤是互联网技术中一项重要的工作，一般是通过某种规则或遵循某种统计规律，将明显非正常用户访问报文的部分过滤掉，从而减少互联网的传输压力和存储压力，也减少了后期提取、识别用户报文的系统压力。通过垃圾报文过滤，可以有效提高分析用户报文效率，尤其在计算能力成为一种资源的互联网时代，对垃圾报文的过滤比率和质量，影响着下游数据处理的效率和质量。现有的垃圾报文过滤主要采用网页自动分类技术，网页自动分类技术提取网页文本内容和标签信息，并赋予不同的权重因子，其核心是利用自动文本分类技术实现。实现自动文本分类的关键阶段可划分为主要的三个部分:特征选取策略、分类算法和阈值策略，通过这样的自动文本分类过滤掉垃圾报文。但是，目前的自动文本分类技术对文档表示特征稀疏或模糊的文本分类，显得力不从心。尤其是短文本，有效文本特征的提取较少，而且容易产生诸如广告、推荐信息、版权声明等和内容无关的噪声信息，更容易引起误分类。此外，自动文本分类对大文本的处理，特征项空间的文书过高，数量过大的特征项，会导致无法准确提取代表文本的唯一主题有效本文档来自技高网...

【技术保护点】
一种报文过滤方法，其特征在于，包括：使用第一过滤规则对报文进行过滤，过滤掉所述报文中符合设定格式的报文；判断过滤后的所述报文是否与黑名单或白名单中的报文相匹配；若不匹配，则获取不匹配的报文对应的文本信息和/或网页状态码；根据所述文本信息和/或所述网页状态码对所述不匹配的报文进行报文过滤。

【技术特征摘要】
1.一种报文过滤方法,其特征在于,包括: 使用第一过滤规则对报文进行过滤，过滤掉所述报文中符合设定格式的报文； 判断过滤后的所述报文是否与黑名单或白名单中的报文相匹配； 若不匹配，则获取不匹配的报文对应的文本信息和/或网页状态码； 根据所述文本信息和/或所述网页状态码对所述不匹配的报文进行报文过滤。2.根据权利要求1所述的方法，其特征在于，所述判断过滤后的所述报文是否与黑名单或白名单中的报文相匹配的步骤包括: 判断过滤后的所述报文的页面浏览PV量是否大于第一设定阈值； 对过滤后的所述报文中，PV量大于所述第一设定阈值的报文进行所述是否与黑名单或白名单中的报文相匹配的判断。3.根据权利要求1或2所述的方法，其特征在于，所述获取不匹配的报文对应的文本信息和/或网页状态码的步骤包括: 获取所述不匹配的报文的统一资源定位符URL，对其进行去除重复和打乱顺序处理； 对所述处理后的URL进行网页爬取，获得所述处理后的URL对应的网页源码和/或网页状态码； 若获得到所述处理后的URL对应的网页源码，则对所述网页源码进行语法分析，获取所述处理后的URL对应的文本信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述文本信息和/或所述网页状态码对所述不匹配的报文进行报文过滤的步骤包括: 若所述网页状态码为非正常页面返回码，则过滤掉所述网页状态码对应的报文，并将所述报文加入所述黑名单； 若根据所述文本信息确定所述URL对应的网页正文的字符数少于第二设定阈值、和/或所述网页正文无标题、和/或所述网页正文无文档属性信息，则过滤掉所述文本信息对应的报文，并将所述报文加入所述黑名单。5.根据权利要求1所述的方法，其特征在于，还包括: 若判断过滤后的所述报文与所述黑名单中的报文匹配，则过滤掉匹配的所述报文； 若判断过滤后的所述报文与所述白名单中的报文匹配，则对匹配...

【专利技术属性】
技术研发人员：罗峰，黄苏支，李娜，
申请(专利权)人：北京亿赞普网络技术有限公司，
类型：发明
国别省市：