一种互联网缓存处理方法、内容探测子系统和Cache系统技术方案

本发明专利技术公开了一种互联网缓存处理方法、内容探测子系统和Cache系统，其中，该方法包括：获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；根据质量探测任务列表，对网站的状态及质量进行探测；对探测结果进行统计分析，根据统计分析结果对所述网站进行缓存处理。本发明专利技术的互联网缓存处理方法、内容探测子系统和Cache系统，根据网络质量的实时状态，对业务内容灵活的进行缓存加速处理，减少了网站访问的延迟时间。

Internet cache processing method, content detection subsystem and Cache system

The invention discloses an Internet cache processing method, content detection subsystem and Cache system, wherein, the method includes: obtaining the full amount of information related to Internet content and service system of domain name cache, according to the quality of the current web information generation total detection task list; according to the quality detection task list, status and quality of site detection; statistical analysis of detection results, cache processing on the website according to the results of statistical analysis. The invention of the Internet cache processing method, content detection subsystem and Cache system, according to the real state of the network quality of service content, flexible cache accelerated processing, reduce the delay time of the site visit.

【技术实现步骤摘要】

本专利技术涉及通信领域中数据业务
，具体地，涉及互联网缓存处理方法、内容探测子系统和Cache系统。
技术介绍
互联网内容缓存系统部署于IP承载网络中，存储互联网中的热点或特定内容，并引导用户的访问请求转发到系统中，当请求内容访问命中，内容缓存系统直接将本地缓存的web数据返回给用户，从而降低客户访问互联网的时延，提升用户访问速度和业务质量、解决互联网出口的拥挤问题，从技术上解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题，增强用户的数据业务体验；同时也可以降低因网间流量产生的网间数据流量结算费用。如图1所示，现有的内容缓存系统主要由3部分组成，包括重定向子系统（Redirector）、缓存子系统和管理子系统。重定向子系统：包括深度包解析功能和全局负载均衡功能。深度包解析功能：对链路中用户发出的内容查询报文和内容请求报文进行监测，将符合特定规则的数据报文转发至全局负载均衡功能；全局负载均衡功能：处理由深度包解析功能转发的用户请求数据报文，根据缓存子系统的状态和IP地址配置情况，生成重定向消息并发送至用户终端，对用户的请求进行引导。缓存子系统：包括负载均衡功能和缓存服务功能。负载均衡功能：对互联网流量和内容进行管理分配，提供多种负载均衡算法将数据流量转发到服务器组。缓存服务功能：通过缓存策略存储Internet网络资源，响应用户请求，对<br>于命中的内容直接向用户提供服务。管理子系统：包括网络管理功能和系统管理功能，管理子系统用以提供各节点缓存系统各功能实体的参数配置等功能。具体功能如下：系统配置：对系统的工作模式、参数、策略进行配置管理，可以依据用户、URL等维度实施区分处理，支持对缓存内容的监管配置管理，提供热点管理相关策略等参数的配置。报表日志：对监控产生的各种数据进行记录和分析，自动生成常规报表和个性化报表，支撑各类分析管理需要；告警管理：对系统中产生的告警信息进行统一收集，根据告警级别调用相应的策略进行处理。运营商在网络中广泛部署了内容缓存系统（以下简称Cache系统），对网内用户访问互联网提供内容的缓存、加速服务。Cache系统对于互联网内容通常采用配置域名白名单和黑名单机制提供服务，即对于所有白名单内的域名进行缓存加速服务，对于黑名单内的域名不进行缓存加速服务。白名单和黑名单为管理维护人员根据手工配置维护，根据用户投诉慢、网站访问数量增大等因素判断某个网站应当进行加速时，由管理人员手工将对应的域名配置到Cache系统的白名单中。由于白名单、黑名单均为手工方式配置，带来的运行成本较高，对用户的需求响应速度慢，无法实现网站的自动配合和选择性加速。在部分网站出现访问质量问题，如因网站硬件资源或链路问题导致访问速度慢、可用性低、无法访问等场景下，或者由于用户至源站点之间的网络条件限制导致的访问速度慢，Cache系统不能做到及时发现、及时更新，也无法及时为这类服务提供服务。
技术实现思路
本专利技术是为了克服现有技术中网站出现访问质量问题而内容缓存系统无法及时提供缓存处理造成网站访问延迟的缺陷，根据本专利技术的一个方面，提出一种互联网缓存处理方法。根据本专利技术实施例的互联网缓存处理方法，包括：获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；根据质量探测任务列表，对网站的状态及质量进行探测；对探测结果进行统计分析，根据统计分析结果对所述网站进行缓存处理。本专利技术是为了克服现有技术中网站出现访问质量问题而内容缓存系统无法及时提供缓存处理造成网站访问延迟的缺陷，根据本专利技术的另一个方面，提出一种内容探测子系统。根据本专利技术实施例的内容探测子系统，包括：任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据所述全量信息生成当前网站的质量探测任务列表；状态探测模块，用于根据所述质量探测任务列表，对网站的状态及质量进行探测；统计分析模块，用于对探测结果进行统计分析，根据所述统计分析结果对所述网站进行缓存处理。本专利技术是为了克服现有技术中网站出现访问质量问题而内容缓存系统无法及时提供缓存处理造成网站访问延迟的缺陷，根据本专利技术的另一个方面，提出一种Cache系统。根据本专利技术实施例的Cache系统，包括重定向子系统、缓存子系统、管理子系统和内容探测子系统：重定向子系统，用于深度包解析和全局负载均衡；缓存子系统，用于负载均衡和缓存服务；管理子系统，用于网络管理和系统管理，提供各节点缓存系统各功能实体的参数配置；内容探测子系统包括：任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全量信息，根据全量信息生成当前网站的质量探测任务列表；状态探测模块，用于根据质量探测任务列表，对网站的状态及质量进行探测；统计分析模块，用于对探测结果进行统计分析，根据统计分析结果对网站进行缓存处理。本专利技术的互联网缓存处理方法、内容探测子系统和Cache系统，通过主动获取可缓存的互联网内容及业务系统域名相关的全量信息并生成网站的质量探测任务列表，根据该质量探测任务列表对网站的状态及质量进行探测，如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进行缓存加速处理；如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理；根据网络质量的实时状态，对业务内容灵活的进行缓存加速处理，减少了网站访问的延迟时间。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为现有技术中内容缓存系统的逻辑架构示意图；图2为本专利技术引入内容探测子系统的Cache系统的逻辑架构示意图；图3为本专利技术面向互联网内容的缓存处理方法实施例1的流程图；图4为本专利技术面向互联网内容的缓存处理方法实施例2的流程图；图5为本专利技术面向互联网内容的缓存处理方法实施例3的流程图；图6为本
技术实现思路
探测子系统实施例的结构示本文档来自技高网...

【技术保护点】
一种互联网缓存处理方法，其特征在于，包括：获取可缓存的互联网内容及业务系统域名相关的全量信息，根据所述全量信息生成当前网站的质量探测任务列表；根据所述质量探测任务列表，对网站的状态及质量进行探测；对探测结果进行统计分析，根据所述统计分析结果对所述网站进行缓存处理。

【技术特征摘要】
1.一种互联网缓存处理方法，其特征在于，包括：
获取可缓存的互联网内容及业务系统域名相关的全量信息，根据所述全
量信息生成当前网站的质量探测任务列表；
根据所述质量探测任务列表，对网站的状态及质量进行探测；
对探测结果进行统计分析，根据所述统计分析结果对所述网站进行缓存
处理。
2.根据权利要求1所述的方法，其特征在于，所述根据统计分析结果对
所述网站进行缓存处理的步骤包括：
如果网站的访问质量满足要求或已更新为网内资源，则对所述网站不进
行缓存加速处理；
如果网站的访问质量不满足要求，则对所述网站进行缓存加速处理。
3.根据权利要求1所述的方法，其特征在于，所述根据统计分析结果对
所述网站进行缓存处理的步骤进一步包括：
当满足条件时触发白名单配置，触发向缓存配置数据库的写操作；
所述写操作包括：将白名单内的域名移出白名单，将新域名加入白名单。
4.根据权利要求3所述的方法，其特征在于，所述将白名单内的域名移
出白名单的步骤包括：
如果某个内容为互联网数据中心已引入的内容，当所述内容所处网站的
访问速度快时，将所述内容的域名移出白名单，通过所述内容的域名访问互
联网数据中心引入的内容；
如果某个内容为相邻地区的Cache系统已引入的内容，将所述内容的域
名移出白名单，由相邻地区的Cache系统提供所述内容。
5.根据权利要求3所述的方法，其特征在于，所述将新域名加入白名单
的步骤包括：
如果某个内容为互联网数据中心已引入的内容，所述内容的域名未在白
名单内，当所述内容所处网站的访问速度慢时，将所述内容的域名加入白名
单，由本地的Cache系统进行缓存加速处理。
6.一种内容探测子系统，其特征在于，包括：
任务管理模块，用于获取可缓存的互联网内容及业务系统域名相关的全
量信息，根据所述全量信息生成当前网站的质量探测任务列表；
状态探测模块，用于根据所述质量探测任务列表，对网站的状态及质量
进行探测；
统计分析模块，用于对探测结果进行统计分析，根据所述统计分析结果
对所述网站进行缓存处理。
7.根据权利要求6所述的子系统，其特征在于，所述统计分析模块包括：
质量判断子模块，用于判断网站的访问质量是否满足要求或是否已更新
为网内资源；
缓存处理子模块，用于根据所述质量判...

【专利技术属性】
技术研发人员：倪伟，易秋超，王寓辰，毕娅娜，武威，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：北京;11