进行网页缓存的处理方法、云端装置、本地装置及系统制造方法及图纸

本发明专利技术提供一种进行网页缓存处理方法、云端装置、本地装置及系统。所述系统包括至少一本地装置，用于接收客户端请求，获得缓存或者外部服务器的网页数据，作为客户端回应数据；获取云端装置生成的规则数据，根据所述规则数据调整其缓存刷新机制；云端装置，用于根据本地装置发送的网页监控请求，监控网页数据的变化，并根据所述网页数据的变化产生规则数据，将所述规则数据发送给所述本地装置。本发明专利技术可调整缓存的网页数据的更新周期，节省访问网页的带宽。

【技术实现步骤摘要】

本专利技术涉及互联网
，尤其涉及一种进行网页缓存处理方法、云端装置、本地装置及系统。
技术介绍
网页浏览器是个显示网页服务器或档案系统内的文件，并让用户与此些文件互动的一种软件。它用来显示在万维网或局部局域网络等内的文字、影像及其他资讯。这些文字或影像，可以是连接其他网址的超链接，用户可迅速及轻易地浏览各种资讯。现有的网页缓存系统保存着用户最近请求过的网页数据，当用户再次请求该页面时，即请求命中缓存中的网页数据，网页缓存系统使用本地缓存的网页数据替代请求URL实际的网页数据。当用户请求未保存过的网页数据时，即请求未命中缓存中的网页数据，网页缓存系统代理用户请求获取真实的网页内容，并将其保存在本地缓存内。这样，当用户下一次请求相同的网页数据时，就能加快请求的响应速度。现有的网页缓存系统一般通过四种方式判断是否需要刷新缓存内容，分别是通过HTTP包头的Expire字段、Cache-Control字段的Max-age字段、Last-Modified/If-Modify-since字段和ETag/If-None-Match字段。其定义如下：Expires字段：声明了一个网页或URL地址不再被浏览器缓存的时间，一旦超过了这个时间，浏览器都应该联系外部服务器，其为格林威治时间GMT。Cache-Control字段的Max-age字段：页面最长有效时间。比如，Cache-control:max-age＝5，表示当访问此网页后的5秒内不会再次访问外部服务器。Last-Modified字段：外部服务器端对资源的最后一次修改的时间。客户端第一次请求资源，外部服务器端下发了Last-Modified，客户端保存起来，再次请求同一资源时，将其写入request的If-Modified-Since字段发送给服务端，若服务端发现该资源为更新，则直接返回403(Not Changed),客户端将缓存数据返回给UI。If-Modified-Since字段：客户端存取该资源的最后一次修改的时间，与Last-Modified字段对应。ETag字段：响应客户端存取资源的校验值。客户端第一次请求资源，外部服务器端下发了Etag，客户端保存起来，再次请求同一资源时，将其写入request的If-None-Match字段发送给外部服务器端，若外部服务器端发现该资源为更新，则直接返回403(Not Changed),客户端将缓存数据返回给UI。If-None-Match字段：客户端存取的该资源的检验值，与ETag字段对应。网页缓存系统通过两种方式判断存储的网页数据是否过期，即是否旭曜更新缓存的网页数据。第一种方式是通过Expires字段或者Max-age字段，由服务器告知本地缓存管理装置当前网页的有效时间，在此有效时间内页面内容不会更新。不同的是，Expires字段提供的是绝对时间，而Max-age字段提供的是相对时间。另一种方式是通过Last-Modified/If-Modify-since字段或者ETag/If-None-Match字段，在请求命中缓存中的网页数据时，网页缓存系统会通过HTTP协议中的Last-Modified/If-Modify-since字段和ETag/If-None-Match字段去真实的网页服务器查询请求的URL内容是否有变化。如果没有变化则返回一个很短的报文，而在有变化的时候，返回完整的页面内容数据。对于第一种方式，一般的网站为了保证用户可以尽快的获取新发布的网页数据，会将Expire/Max-age字段的时间会设置的非常短，比如1分钟。但是，实际上，在Expire/Max-age字段标示的网页数据过期时间后，网页数据并不一定会有真正的变化。而网页缓存系统无法获得网页数据的真实变化情况，这就会导致网页缓存系统重新获取的网页数据和保存在缓存中的网页数据相同，浪费了流量带宽。对于第二种方式，支持Last-Modified/If-Modify-since或者ETag/If-None-Match包头的网站，虽然这两种协议可以使网页缓存系统快速的获知网页数据是否变化。但是，网页缓存系统向外部服务器发送的请求本身是基于HTTP报文的，其报文本身的长度需要几百字节，其中包含了大量的冗余信息，增加了数据交互的复杂度。公开日为2014年3月5日的中国专利CN103618799公开了浏览器缓存处理方法、系统及代理其与浏览器缓存策略信息对应缓存代码不需要网站制作人员进行编写，而是由代理生成与所述浏览器缓存策略信息对应的缓存代码。因此，解决了浏览器缓存策略通用性差的问题。但是该技术方案是浏览器和一种特殊的代理之间进行配合，来达到加速网站阅览的目的。其所述的代理通过修改网页代码使浏览器本身的缓存行为出现变化。该方案仍需要通过代理对网页代码进行处理，添加包含缓存策略的缓存代码，其对网页代码进行修改增加了网页显示错误的概率。因此，如何实现网页缓存的管理成为亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术提供一种进行网页缓存处理方法、云端装置、本地装置及系统，其可调整缓存的网页数据的更新周期，节省访问网页的带宽。本专利技术提供一种进行网页缓存处理方法，应用于云端装置，所述方法包括：接收本地装置发送的网页监控请求，所述网页监控请求包括监控网页的URL和摘要信息；如网页数据库中不存在所述监控网页的摘要信息，则增加所述监控网页的URL到监控列表，否则，将所述摘要信息与网页数据库中同一URL对应的网页的摘要信息进行比较，获得比较结果；间隔预设周期从外部服务器下载所述监控列表中的URL对应的网页数据；对所述网页数据进行分析，获取所述网页的摘要信息；将所述摘要信息与网页数据库中同一URL对应的网页的摘要信息进行比较，获得比较结果；若所述比较结果不同或所述网页数据库中不存在同一URL对应的网页的摘要信息，将所述网页的摘要信息更新至所述网页数据库中；根据所述比较结果，产生并发送规则数据至所述本地装置，控制本地装置的缓存刷新机制。在本申请一具体实施例中，所述间隔预设周期从外部服务器下载所述监控列表中的URL对应的网页数据为：获取所述本地装置对各监控网页的URL的请求热度，根据所述请求热度，间隔预设周期从外部服务器下载所述监控网页的URL对应的网页数据。在本申请一具体实施例中，所述URL包括所监控网页的Last-Modi本文档来自技高网...

【技术保护点】
一种进行网页缓存处理方法，应用于云端装置，其特征在于，所述方法包括：接收本地装置发送的网页监控请求，所述网页监控请求包括监控网页的URL和摘要信息；如网页数据库中不存在所述监控网页的摘要信息，则增加所述监控网页的URL到监控列表，否则，将所述摘要信息与网页数据库中同一URL对应的网页的摘要信息进行比较，获得比较结果；间隔预设周期从外部服务器下载所述监控列表中的URL对应的网页数据；对所述网页数据进行分析，获取所述网页的摘要信息；将所述摘要信息与网页数据库中同一URL对应的网页的摘要信息进行比较，获得比较结果；若所述比较结果不同或所述网页数据库中不存在同一URL对应的网页的摘要信息，将所述网页的摘要信息更新至所述网页数据库中；根据所述比较结果，产生并发送规则数据至所述本地装置，控制本地装置的缓存刷新机制。

【技术特征摘要】
1.一种进行网页缓存处理方法，应用于云端装置，其特征在于，所述方
法包括：
接收本地装置发送的网页监控请求，所述网页监控请求包括监控网页的
URL和摘要信息；
如网页数据库中不存在所述监控网页的摘要信息，则增加所述监控网页
的URL到监控列表，否则，将所述摘要信息与网页数据库中同一URL对应
的网页的摘要信息进行比较，获得比较结果；
间隔预设周期从外部服务器下载所述监控列表中的URL对应的网页数
据；
对所述网页数据进行分析，获取所述网页的摘要信息；
将所述摘要信息与网页数据库中同一URL对应的网页的摘要信息进行
比较，获得比较结果；
若所述比较结果不同或所述网页数据库中不存在同一URL对应的网页
的摘要信息，将所述网页的摘要信息更新至所述网页数据库中；
根据所述比较结果，产生并发送规则数据至所述本地装置，控制本地装
置的缓存刷新机制。
2.根据权利要求1所述的方法，其特征在于，所述间隔预设周期从外部
服务器下载所述监控列表中的URL对应的网页数据为：
获取所述本地装置对各监控网页的URL的请求热度，根据所述请求热度，
间隔预设周期从外部服务器下载所述监控网页的URL对应的网页数据。
3.根据权利要求2所述的方法，其特征在于，所述URL包括所监控网
页的Last-Modified或者Etag字段；
所述本地装置发送的网页监控请求为私有协议报文。
4.一种进行网页缓存处理方法，应用于本地装置，其特征在于，所述方
法包括：
接收云端装置发送的规则数据，并发送网页监控请求给云端装置；
根据所述规则数据，更新所保存的缓存刷新机制；
接收客户端请求，判断缓存中是否存在客户端请求的网页数据，若存在，
则根据所述缓存刷新机制判断网页数据是否过期，若网页数据未过期，则缓
存的网页数据为客户端回应数据；
若缓存中不存在客户端请求的网页数据或者缓存的网页数据过期，获取
外部服务器提供的网页数据为客户端回应数据，并更新缓存中的网页数据。
5.根据权利要求4所述的方法，其特征在于，所述根据规则数据，更新
所保存的缓存刷新机制包括：
缓存网页数据包括Cache-Control头部的Max-age字段时，若规则数据表
示网页数据未发生变化，若当前时间在Max-age时间范围内，则保持Max-age
值不变，否则，增大Max-age值为第一调整值；若规则数据表示网页数据发
生变化，修改Max-age值小于或者等于零，或者直接将缓存网页数据从缓存
中删除；
所述根据缓存刷新机制判断网页数据是否过期包括：
缓存的网页数据中存在Cache-Control头部的Max-age字段，如缓存中的
网页数据从写入缓存时间到当前时间的间隔小于Max-age值，则所述网页数
据未过期；否则，所述网页数据过期。
6.根据权利要求4所述的方法，其特征在于，所述根据规则数据，更新
所保存的缓存刷新机制包括：
缓存网页数据包括Expires头部时，若规则数据表示网页数据发生未变
化，若当前时间在Max-age时间范围内，则保持Max-age值不变，否则，增
大Max-age值为第二调整值；若规则数据表示网页数据发生变化，修改Expires
值小于当前时间，或者直接将缓存网页数据从缓存中删除；
所述根据缓存刷新机制判断网页数据是否过期包括：
缓存的网页数据中存在Expires头部，如缓存中的网页数据从写入缓存
时间到当前时间的间隔小于Expires值，则所述网页数据未过期；否则，所

\t述网页数据过期。
7.根据权利要求4-6中任一项所述的方法，其特征在于，所述根据规则
数据，更新所保存的缓存刷新机制包括：
若规则数据表示网页数据发生未变化，修改缓存网页数据的同步标志为
第一标志；
若若规则数据表示网页数据发生变化，修改缓存网页数据的同步标志为
第二标志；
所述根据缓存刷新机制判断网页数据是否过期包括：
缓存的网页数据，如缓存中的网页数据的同步标志为第一标志，则所述
网页数据未过期；否则，所述网页数据过期。
8.一种进行网页缓存处理的云端装置，其特征在于，包括：
网页获取模块，用于间隔预设周期从外部服务器下载所述监控列表中的
URL对应的网页数据；
网页分析模块，用于对所述网页数据进行分析，获取所述网页的摘要信

【专利技术属性】
技术研发人员：王齐，冀涛，黄卓，
申请(专利权)人：北京小渔无限信息技术有限公司，
类型：发明
国别省市：北京;11