用于网络流量监控的方法和系统技术方案

本发明专利技术的实施例涉及用于网络流量监控的方法和系统。本发明专利技术实施例的方法包括：在预定时间内对统一资源定位符URL的被请求次数进行统计以确定热点URL，主动抓取所述热点URL对应的资源，对主动抓取的所述热点URL对应的资源进行协议重组，及对经协议重组的数据进行内容分析。本发明专利技术实施例还提供一种用于网络流量监控的系统。本发明专利技术的实施例可以有效减少协议重组及后台内容分析和的负担，提高整个系统的效率，降低系统成本；此外，对于分布式P2P资源，可以进行智能重组，支持P2P监控。

【技术实现步骤摘要】

本专利技术涉及互联网(Internet)领域，且更具体而言，涉及互联网中数据流量的监控。
技术介绍
随着Internet的快速发展，互联网成为信息传播承载的主要途径。然而，传统互联网缺乏监管，恶意/黄色/人身攻击的信息泛滥，甚至已经出现恐怖组织利用互联网培养恐怖分子、组织恐怖袭击的案例。为了应对这种不良情态，采用技术手段对互联网进行监管已成为各国政府和运营商的共识。流量监控系统在这样的背景下应运而生。流量监控系统采集流量信息，还原原始信息，并根据原始信息中的特征进行智能分析，从而及时发现网络中存在的漏洞，并力求对网络攻击做到防患于未然。传统的流量监控方法一般分为三个步骤：流量引流、协议重组及后台内容分析。这三个步骤由对应的三种功能单元完成，如图1所示，分别为引流分类单元102、协议重组单元104及后台内容分析单元106。其中，引流分类单元102按照协议类型将收到的数据包分发给不同的协议重组单元104，协议重组单元104还原应用层信息(例如，从简单邮件传输协议(SMTP)报文还原电子邮件(Email)信息、从超文本传输协议(HTTP)报文还原网页的超文本标记语言(HTML)，然后，将还原的应用层信息连同时间标签，链路信息等发送至后台内容分析单元106进行分析。后台内容分析单元106由服务器集群组成，对还原的应用层信息进行热点统计、互联网信息分析等，从而采取一定的措施抑制网络攻击。但是，在上述现有技术中，引流分类单元被动引流，大流量的数据直接被导入到协议重组单元和后台内容分析单元。随着流量的增长，协议重组单元和后台内容分析单元中的服务器集群的处理成本会大幅上升。其次，后台内容分析功能是在协议重组后完成的，从而对大量相同的内容进行重复重组，导致对协议重组单元的性能需求很大。此外，上述传统的流量监控方法由于只能获得部分的对等网络(Peer-To-Peer，英文简称为P2P)文件分片而无法实现智能链接其它的P2P文件分片，从而不能处理对等网络的流量监控。
技术实现思路
有鉴于此，本专利技术的一方面提供一种用于网络流量监控的方法，所述方法包括：在预定时间内对统一资源定位符URL(Uniform/Universal ResourceLocator，URL)的被请求次数进行统计以确定热点URL；主动抓取所述热点URL对应的资源；对主动抓取的所述热点URL对应的资源进行协议重组；及对经协议重组的数据进行内容分析。本专利技术的一方面提供一种用于网络流量监控的系统，所述系统包括：引流分类单元，用于对数据包进行引流分类；热点统计单元，用于在预定时间内对统一资源定位符URL的被请求次数进行统计以确定热点URL；主动抓取单元，用于主动抓取所述热点URL对应的资源；协议重组单元，用于对主动抓取的所述热点URL对应的资源进行协议重组；及后台内容分析单元，用于对经协议重组后的数据进行内容分析。本专利技术实施例的技术方案在预定时间内对统一资源定位符URL的被请求次数进行统计以确定热点URL，然后主动抓取所述热点URL对应的资源进行协议重组和内容分析。因此，可以减少协议重组和后台内容分析的负担。此外，本专利技术实施例的技术方案对于分布式P2P资源，可主动抓取分布在各处的P2P文件分片，以支持对P2P流量的监控。附图说明图1为现有技术中传统的网络流量监控系统的示意图。图2为本专利技术实施例中网络流量监控系统的一个实施例示意图。图3为本专利技术实施例中网络流量监控系统的另一个实施例示意图。图4为本专利技术实施例中网络流量监控方法的一个实施例示意图。结合附图阅读时将更好地了解以上
技术实现思路
以及以下本专利技术的某些实施例的详细描述。出于说明本专利技术的目的，在图中展示某些实施例。然而，应了解，本专利技术不限于附图中所展示的布置和手段。具体实施方式下文结合附图所阐述的详细说明意在说明本专利技术的各种实施例，而非代表本专利技术仅可实施为这些实施例。详细说明包括具体细节，以便达成对本专利技术的透彻了解。然而，所属领域的技术人员应了解，本专利技术的实施也可以不使用这些具体细节。在某些实例中，以方块图的形式显示各众所周知的结构及组件，以免淡化对本专利技术的说明。图2描绘的是根据本专利技术一实施例的网络流量监控系统。该系统包括：引流分类单元202、热点统计单元204、主动抓取单元206、协议重组单元208及后台内容分析单元210。其中，引流分类单元202，用于对数据包进行引流分类；热点统计单元204，用于在预定时间内对统一资源定位符URL的被请求次数进行统计以确定热点URL；主动抓取单元206，用于主动抓取所述热点URL对应的资源；协议重组单元208，用于对主动抓取的所述热点URL对应的资源进行协议重组；后台内容分析单元210，用于对经协议重组后的数据进行内容分析。在该网络流量监控系统中，先获得热点资源，再进行协议重组和后台内容分析，使得对同样的内容仅进行一次处理，从而减少了协议重组单元和后台内容分析单元的负担，提供了整个系统的效率。此外，对于分布式P2P资源，可主动抓取分布在各处的P2P文件分片，以支持对P2P流量的监控。图3描绘的是根据本专利技术的另一实施例的网络流量监控系统。该网络流量监控系统包括：引流分类单元302，用于对数据包进行引流分类；热点统计单元304，用于在预定时间内对统一资源定位符URL的被请求次数进行统计以确定热点URL；主动抓取单元310，用于主动抓取所述热点URL对应的资源；协议重组单元312，用于对主动抓取的所述热点URL对应的资源进行协议重组；以及后台内容分析单元314，用于对经协议重组后的数据进行内容分析。其中，热点统计单元304进一步包括分级统计单元306和判断单元308。其中，分级统计单元306，用于建立资源表对所述URL分级统计被请求次数以确定每级URL是否为热点URL。资源表将存储每级URL在预定时间内被请求的次数和预定的阈值。判断单元308，用于当预定时间内某一URL的被请求次数超过预定的阈值时，确定该URL为热点URL。热点URL对应的资源可以是网页，也可以是P2P文件分片。图4展示了一种用于网络流量监控的方法流程图。这种方法可减少协议重组单元和后台内容分析单元的负担，提高整个系统的效率并降低成本；其次，对于分布式P2P资源，可主动抓取分布在各处的P2P文件分片，支持对P2P流量的监控。图4所示的网络流量监控的方法包括：402：引流分类单元本文档来自技高网...

【技术保护点】
一种用于网络流量监控的方法，其特征在于，所述方法包括：对数据包进行引流分类；在预定时间内对统一资源定位符URL的被请求次数进行统计以确定热点URL；主动抓取所述热点URL对应的资源；对主动抓取的所述热点URL对应的资源进行协议重组；及对经协议重组的数据进行内容分析。

【技术特征摘要】
1.一种用于网络流量监控的方法，其特征在于，所述方法包括：
对数据包进行引流分类；
在预定时间内对统一资源定位符URL的被请求次数进行统计以确定热点
URL；
主动抓取所述热点URL对应的资源；
对主动抓取的所述热点URL对应的资源进行协议重组；及
对经协议重组的数据进行内容分析。
2.根据权利要求1所述的方法，其特征在于，
在预定时间内对URL的被请求次数进行统计以确定热点URL包括：对所
述URL分级统计被请求次数以确定每级URL是否为热点URL。
3.根据权利要求1或2所述的方法，其特征在于，其中，
所述热点URL对应的资源包括：网页或对等网络P2P文件分片。
4.根据权利要求1-3中任一项所述的方法，其特征在于，在预定时间内对
URL的被请求次数进行统计以确定热点URL包括：当某个URL在预定时间内
被请求次数超过预定阈值时，则将该URL确定为所述热点URL。
5.一种用于网络流量监控的系统，其特征在...

【专利技术属性】
技术研发人员：陈旭，宋璇，尹咸阳，张仁卓，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：