基于Referer和模板库匹配的网站质量分析方法、装置和系统制造方法及图纸

本发明专利技术实施例公开了一种基于Referer和模板库匹配的网站质量分析方法、装置和系统。所述方法包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站评分，以供用户对网站质量分析。本发明专利技术实施例利用Referer匹配方法和模板库匹配方法可将全部会话记录关联到网站，从而提高网站会话记录的完整性和准确性。本发明专利技术实施例通过对每个网站进行评分供用户对网站质量分析。

Web site quality analysis method, device and system based on Referer and template library matching

The embodiment of the invention discloses a website quality analysis method, device and system based on Referer and template library matching. The methods described include: the full volume of traffic in the link is parsed, the parsed access request and the response data are matched to get all the session records of all users and all sites; the Referer matching method is used to associate the session records with the Referer field to the corresponding website; the template library formula is used. The method matches the session records without the Referer field with the static resource template library, so that all the session records that do not carry the Referer field are associated to the corresponding website; and each site is scored for each site after all session records are associated to the site for the user to analyze the quality of the site. The embodiment of the invention can use the Referer matching method and the template library matching method to associate all the session records to the website, so as to improve the integrity and accuracy of the site session records. The embodiment of the invention is used to grade each website for users to analyze website quality.

【技术实现步骤摘要】
基于Referer和模板库匹配的网站质量分析方法、装置和系统
本专利技术实施例涉及数据业务的网管
，具体涉及一种基于Referer和模板库匹配的网站质量分析方法、装置和系统。
技术介绍
目前，网站质量分析方案主流技术包括主动拨测技术和被动监测分析。其中，主动拨测分析是通过模拟终端拨测的方式记录各网站的相关数据，然后将上述数据整理出需要的指标；根据每个网站的指标情况可以得到用户的主观感受。被动监测分析是通过采用网络出口的数据报文进行分析即对网站的报文数据进行分析。但在实现本专利技术实施例的过程中，专利技术人发现：主动拨测分析时部分感知指标不具备普遍性，受到拨测内容和拨测环境影响较大，使得这部分感知指标未能准确反映网站质量，导致分析结果仅能从宏观上得到一个网站的好和坏而无法为故障定位提供参考数据。被动监测分析时，由于报文数据是零散的且未直接对应到某个网站，此时只能分析报文数据的统一资源定位符(UniformResourceLocator，URL)，然后通过Referer(HTTPReferer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器该请求是从哪个页面链接过来的，服务器基此可以获得一些信息用于处理)手段将报文关联到对应的网站。可见被动监测分析仅适用于分析各个元素或者各个服务器IP的相关指标(如时延、成功率等)，而无法对整个网站进行整体感知。
技术实现思路
本专利技术实施例的一个目的是解决现有技术由于主动拨测分析无法定位故障或者被动监测分析仅分析各元素而无法对网站进行整体感知的问题。第一方面，本专利技术实施例提供了一种基于Referer和模板库匹配的网站质量分析方法，所述方法包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。可选地，所述利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站的步骤之前，包括：利用模拟浏览器定时向每个网站发送访问请求；利用网络抓包方法获取上述网站的响应数据；根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。可选地，所述在全部会话记录关联到网站后对每个网站进行评分的步骤包括：获取每个网站的所有KQI指标值；根据每个KQI指标值及其预设权重值计算每个网站的评分；其中，所述KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率。可选地，所述在全部会话记录的基础上对每个网站进行评分的步骤还包括：获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站；获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP；其中，所述KPI指标为应答时延、应答成功率或者重传丢包；每个网站包括多个HOST，每个HOST对应多个URL，每个URL对应多个服务器IP。可选地，所述获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站的步骤可以采用以下内容替换：直接从所有网站中选择需要分析的网站及其任意一个KQI指标。第二方面，本专利技术实施例还提供了一种基于Referer和模板库匹配的网站质量分析装置，所述装置包括：会话记录获取模块，用于获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；Referer会话记录关联模块，用于利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；模板库会话记录关联模块，用于利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；评分模块，用于在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。可选地，所述装置还包括静态资源模板库模块，用于执行以下步骤：利用模拟浏览器定时向每个网站发送访问请求；利用网络抓包方法获取上述网站的响应数据；根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。可选地，所述评分模块用于执行以下步骤：获取每个网站的所有KQI指标值；根据每个KQI指标值及其预设权重值计算每个网站的评分；其中，所述KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率。可选地，所述评分模块还用于执行以下步骤：获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站；获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP；其中，所述KPI指标为应答时延、应答成功率或者重传丢包；每个网站包括多个HOST，每个HOST包括多个URL，每个URL包括多个服务器IP。第三方面，本专利技术实施例又提供了一种基于Referer和模板库匹配的网站质量分析系统，所述系统包括：深度包检测设备DPI和如第二方面所述的网站质量分析装置；所述DPI与所述网站质量分析装置通信连接；所述DPI设置通过串接或者镜像方式接入链路中，用于获取所述链路的全量流量发送给所述网站质量分析装置；所述网站质量分析装置用于获取所述链路的全量流量解析、关联网站以及网站评分。由上述技术方案可知，本专利技术实施例通过获取链路中的全量流量可得到该链路中所有用户的访问请求和所有网站的响应数据，从而得到该链路的全部会话记录；然后利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；再利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；最后，对每个网站进行评分供用户进行网站质量分析。与现有技术相比较，本专利技术实施例利用Referer匹配方法和模板库匹配方法可将全部会话记录关联到网站，从而提高网站会话记录的完整性和准确性。并且，本专利技术实施例通过对每个网站进行评分供用户对网站质量分析。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1是本专利技术实施例提供的一种基于Referer和模板库匹配的网站质量分析方法流程示意图；图2是图1所示方法的多个网站评分结果对比示意图；图3是图1所示本文档来自技高网...

【技术保护点】
1.一种基于Referer和模板库匹配的网站质量分析方法，其特征在于，所述方法包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。

【技术特征摘要】
1.一种基于Referer和模板库匹配的网站质量分析方法，其特征在于，所述方法包括：获取链路中的全量流量进行解析，将解析后得到的访问请求与响应数据进行匹配以得到所有用户与所有网站的全部会话记录；利用Referer匹配方法将携带Referer字段的会话记录关联到对应的网站；利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站；在全部会话记录关联到网站后对每个网站进行评分，以供用户对网站质量分析。2.根据权利要求1所述的网站质量分析方法，其特征在于，所述利用模板库匹配方法将未携带Referer字段的会话记录与静态资源模板库进行匹配，使上述未携带Referer字段的会话记录全部关联到对应的网站的步骤之前，包括：利用模拟浏览器定时向每个网站发送访问请求；利用网络抓包方法获取上述网站的响应数据；根据访问请求和相应的响应数据形成每个网站的所有会话记录并保存至该网站的静态资源模板库中。3.根据权利要求1所述的网站质量分析方法，其特征在于，所述在全部会话记录关联到网站后对每个网站进行评分的步骤包括：获取每个网站的所有KQI指标值；根据每个KQI指标值及其预设权重值计算每个网站的评分；其中，所述KQI指标值为网页浏览端对端时延、网页浏览端对端速度、网页浏览端对端成功率或者网页浏览端对端完整率。4.根据权利要求1～3任一项所述的网站质量分析方法，其特征在于，所述在全部会话记录的基础上对每个网站进行评分的步骤还包括：获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站；获取该网站对应的各个HOST的KQI指标值，并获取KQI指标值最大或最小对应的HOST；获取该HOST对应的各个URL的KPI指标值，并获取KPI指标值最大或最小对应的URL；获取该URL对应的各个服务器IP的KPI指标值，并获取KPI指标值最大或最小对应的服务器IP；其中，所述KPI指标为应答时延、应答成功率或者重传丢包；每个网站包括多个HOST，每个HOST对应多个URL，每个URL对应多个服务器IP。5.根据权利要求4所述的网站质量分析方法，其特征在于，所述获取所有网站的任意一个KQI指标，并获取该KQI指标值最大或最小对应的网站的步骤可以采用以下内容替换：直接从所有网站中选择需要分析的网站及其任意一个KQI指标。6.一种基于Referer和模板库匹配...

【专利技术属性】
技术研发人员：郭天晨，程路，王易风，陈建平，潘梁，范东东，
申请(专利权)人：中国移动通信集团浙江有限公司，中国移动通信集团公司，
类型：发明
国别省市：浙江,33