一种骨干网链路中用户上网行为数据采集方法和系统技术方案

本发明专利技术公开一种骨干网链路中用户上网行为数据采集方法，该方法包括：捕获骨干网链路中包含ＨＴＴＰ请求报文的数据包，采用并行处理从数据包中根据ＨＴＴＰ协议解析提取用户访问的网站页面ＵＲＬ、以及反映用户上网行为的ＨＴＴＰ字段信息；根据ＵＲＬ模式特征树过网站页面ＵＲＬ进行过滤，获得需要抓取页面内容的网站页面ＵＲＬ；以异步方式抓取所述过滤后的网站页面ＵＲＬ的页面内容。通过本发明专利技术的方法和系统，能够实时截获万兆链路中包含ＨＴＴＰ请求报文的原始数据包；实现了从原始数据包中实时提取用户ＩＰ地址、网站页面ＵＲＬ地址、和其它相关的用户上网信息数据；实现了对海量网站页面ＵＲＬ地实时过滤和对页面内容的准实时抓取。

【技术实现步骤摘要】

【技术保护点】
一种骨干网链路中用户上网行为数据采集方法，其特征在于，包括：捕获骨干网链路中包含超文本传输协议ＨＴＴＰ请求报文的数据包采用并行处理从数据包中根据ＨＴＴＰ协议解析提取用户访问的网站页面统一资源定位符ＵＲＬ、以及反映用户上网行为的ＨＴＴＰ字段信息；根据ＵＲＬ模式特征树过网站页面ＵＲＬ进行过滤，获得需要抓取页面内容的网站页面ＵＲＬ；以异步方式抓取所述过滤后的网站页面ＵＲＬ的页面内容。

【技术特征摘要】

【专利技术属性】
技术研发人员：张雁冰，胡平，刘军，王强，
申请(专利权)人：北京迈朗世讯科技有限公司，
类型：发明
国别省市：11[中国|北京]