一种互联网缓存调度方法及系统技术方案

本发明专利技术提供一种互联网缓存调度方法及系统，所述方法包括：确定用户所访问网站的类型；获取不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数；根据所述网站类型和所述参数，使用相应的模式进行网络缓存。与现有技术相比，通过等效计算用户的访问速度、下载时间、下载内容大小、下载次数等参数，发现动态内容多、缓存效果不佳的网站，动态配置白名单，从而解决现有技术中等效计算用户的访问速度和提取各项指标存在的问题。

【技术实现步骤摘要】

本专利技术涉及移动通信
，尤其涉及一种互联网缓存调度方法及系统。
技术介绍
互联网技术中，流量缓存系统的基本思想就是以“存储换带宽”。这一设计理念是指在网络“边缘”部署缓存服务器，用以缓存互联网内容，并利用海量存储实现流量的本地化。通过利用缓存内容服务的后续请求，过滤掉重复的网络流量，从而有效缓解互联网出口流量压力，并大幅提升用户体验，帮助运营商从容应对互联网流量的冲击。现有的互联网缓存技术主要通过静态配置域名白名单方式，将用户请求引导至缓存系统。某域名中已经引导至缓存的请求，一部分可以通过缓存中事先存储的内容为用户提供优质的服务。而该域名内剩余的动态内容必须通过缓存服务器去代理用户访问网站。具体来说，在实现本专利技术的过程中，专利技术人发现现有的方案存在如下缺点：由缓存代理用户访问内容由于增加了中间处理环节，反而会比用户直接访问网站慢，会造成缓存系统为用户服务的质量降低，主要体现在以下几方面：动态内容过多的网站，访问速度反而低于缓存前；当缓存内容已经失效时，仍然会将用户请求引导至缓存，造成用户无法访问；缓存服务器需要代理用户下载，消耗服务器资源；缓存网站种类多样，无法同时满足不同网站的需求。现有技术中，尚没有一种可以等效计算用户的访问速度、获提取各项指标的缓存调度方案。
技术实现思路
本专利技术的目的在于克服现有技术的缺点和不足，提供一种互联网缓存调度方法及系统。一种互联网缓存调度方法，所述方法包括：确定用户所访问网站的类型；获取不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数；根据所述网站类型和所述参数，使用相应的模式进行网络缓存。所述确定用户所访问网站的类型，包括：根据所述网站域名的关键字判断域名归属网站类型；和/或根据识别缓存页面中内嵌的文件类型及大小，按照预先设定的识别规则，判断网站类型；和/或根据泛域名分类，识别细域名归属；建立域名类型列表，存储所述网站类型的信息。所述不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数，通过如下方式计算：分别记录x次经过网口M传送内容的大小Smi，并计算总大小Sm=SUM(Smi,i=1,2,...,x)；所述网口M为网络与用户接口；记录x次传送时间Tmi，并计算总时间Tm=SUM(Tmi,i=1,2,...,x)；计算速度Vm=Sm/Tm；同理，计算出网络与网站接口N、网口M到网口N之间的处理过程P的传送内容大小Sn、Sp，时间Tn、Tp和速度Vn、Vp；区别用户直接通过网口M和N访问网站、通过网口M、处理过程P、网口N访问网站两种情况，分别计算对应的不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数。所述不同类型的网站访问耗费时间通过如下方式获取：记录每次用户访问网站的统一资源定位符URL，以及文件保存路径；将所述URL进行压缩，根据哈希值存储；记录每次下载内容为动态内容还是静态内容，同时记录上下行标志；服务器开始响应后记录时间t0；开始建立TCP后记录时间t1；TCP三次握手结束，开始传送内容后记录时间t2；内容传送结束后记录时间t3和传送内容的大小，即S；将所述URL、URL哈希值、文件保存路径、文件类型、动态内容或静态内容、上下行标志、t0、t1、t2、t3、S存入数据库表。根据所述网站类型和所述参数，使用相应的模式进行网络缓存，包括：所述模式分为速度优先模式、内容优先模式、下载次数优先模式和混合模式；所述网站类型分为门户类、视频下载类、论坛交易搜索类和大型网站类。所述方法还包括：对所述门户类网站使用速度优先模式进行网络缓存；对所述视频下载类网站使用内容优先模式进行网络缓存；对所述论坛交易搜索类网站使用下载次数优先模式进行网络缓存；对所述大型网站类网站使用混合模式进行网络缓存。一种互联网缓存调度系统，所述系统包括网站类型确定单元、参数获取单元及缓存单元，其中，所述网站类型确定单元，用于确定用户所访问网站的类型；所述参数获取单元，用于获取不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数；所述缓存单元，用于根据所述网站类型和所述参数，使用相应的模式进行网络缓存。所述系统还包括参数计算单元，用于计算不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数并存储；所述参数获取单元从所述参数计算单元获取所述参数。所述网站类型确定单元进一步包括关键字判断子单元、页面缓冲判断子单元、泛域名判断子单元及域名存储子单元，其中，所述关键字判断子单元，用于根据所述网站域名的关键字判断域名归属网站类型；所述页面缓冲判断子单元，用于根据识别缓存页面中内嵌的文件类型及大小，按照预先设定的识别规则，判断网站类型；所述泛域名判断子单元，用于根据泛域名分类，识别细域名归属；所述域名存储子单元，用于建立域名类型列表，存储所述网站类型的信息。所述缓存单元进一步包括模式确定子单元、对应子单元及缓存计算子单元，其中，所述模式确定子单元，用于确定所述模式的分类；所述对应子单元，用于将根据所述网站类型对应不同的模式；所述缓存计算子单元，用于计算不同所述模式下的缓存。本专利技术通过确定用户所访问网站的类型，根据计算的不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数，结合网站类型和参数，使用相应的模式进行网络缓存。与现有技术相比，本专利技术通过等效计算用户的访问速度、下载时间、下载内容大小、下载次数等参数，发现动态内容多、缓存效果不佳的网站，动态配置白名单，从而解决现有技术中等效计算用户的访问速度和提取各项指标存在的问题。附图说明图1为本专利技术实施例提供的用户访问网站方式示意图；图2为本专利技术实施例1提供的互联网缓存调度方法原理流程图，图3为本专利技术实施例2提供的互联网缓存调度系统结构示意图；图4为本专利技术实施例2提供的网站类型确定单元100结构示意图；图5为本专利技术实施例2提供的缓存单元300结构示意图。具体实施方式下面结合附图对本专利技术的具体实施方式进行详细描述。但本专利技术的实施方式不限于此。本专利技术实施例中，由于缓存调度的最小颗粒度是域名，那么要么对该域名缓存，要么不缓存。用户访问某域名，分别有两种情况：情况A，用户不通过缓存服务器访问某域名，域名内全部内容大小为S；情况B，用户通过缓存服务器访本文档来自技高网...

【技术保护点】
一种互联网缓存调度方法，其特征在于，所述方法包括：确定用户所访问网站的类型；获取不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数；根据所述网站类型和所述参数，使用相应的模式进行网络缓存。

【技术特征摘要】
1.一种互联网缓存调度方法，其特征在于，所述方法包括：
确定用户所访问网站的类型；
获取不同类型的网站访问的速度、耗费时间、内容大小和访问次数参数；
根据所述网站类型和所述参数，使用相应的模式进行网络缓存。
2.如权利要求1所述的方法，其特征在于，所述确定用户所访问网站的
类型，包括：
根据所述网站域名的关键字判断域名归属网站类型；和/或
根据识别缓存页面中内嵌的文件类型及大小，按照预先设定的识别规则，
判断网站类型；和/或
根据泛域名分类，识别细域名归属；
建立域名类型列表，存储所述网站类型的信息。
3.如权利要求1所述的方法，其特征在于，所述不同类型的网站访问的
速度、耗费时间、内容大小和访问次数参数，通过如下方式计算：
分别记录x次经过网口M传送内容的大小Smi，并计算总大小Sm=
SUM(Smi,i=1,2,...,x)；所述网口M为网络与用户接口；
记录x次传送时间Tmi，并计算总时间Tm=SUM(Tmi,i=1,2,...,x)；
计算速度Vm=Sm/Tm；
同理，计算出网络与网站接口N、网口M到网口N之间的处理过程P
的传送内容大小Sn、Sp，时间Tn、Tp和速度Vn、Vp；
区别用户直接通过网口M和N访问网站、通过网口M、处理过程P、
网口N访问网站两种情况，分别计算对应的不同类型的网站访问的速度、耗
费时间、内容大小和访问次数参数。
4.如权利要求1或3所述的方法，其特征在于，所述不同类型的网站访
问耗费时间通过如下方式获取：
记录每次用户访问网站的统一资源定位符URL，以及文件保存路径；
将所述URL进行压缩，根据哈希值存储；
记录每次下载内容为动态内容还是静态内容，同时记录上下行标志；
服务器开始响应后记录时间t0；
开始建立TCP后记录时间t1；
TCP三次握手结束，开始传送内容后记录时间t2；
内容传送结束后记录时间t3和传送内容的大小，即S；
将所述URL、URL哈希值、文件保存路径、文件类型、动态内容或静态
内容、上下行标志、t0、t1、t2、t3、S存入数据库表。
5.如权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：田博涵，吴梦雄，王永涛，魏力峰，王珂，唐景莲，刘楠楠，
申请(专利权)人：中国移动通信集团北京有限公司，
类型：发明
国别省市：北京;11