解决网络拥挤的缓存方法、系统及URL转发服务器技术方案

本申请公开了一种解决网络拥挤的缓存方法、系统及URL转发服务器，URL转发服务器接收到用户主机发送的请求数据包后，利用请求数据包中包含的URL的哈希值，确定请求数据包中包含的内容是否属于签约内容，并将属于签约内容的请求数据包转发给CDN缓存节点；对于不属于签约内容的请求数据包，再利用哈希值确定是否在当前内容热度描述表中，即确定请求数据包的内容是否为高热度内容，并将为高热度内容的请求数据包转发至缓存代理服务器。本申请将CDN缓存节点和缓存代理服务器进行了融合，使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能，并可以根据高热度内容信息，选择高热度内容进行缓存代理。

【技术实现步骤摘要】
解决网络拥挤的缓存方法、系统及URL转发服务器
本专利技术涉及数据缓存
，更具体的说，涉及一种解决网络拥挤的缓存方法、系统及URL转发服务器。
技术介绍
随着互联网技术与应用的飞速发展，以及互联网用户的快速增长，宽带化、个性化以及内容海量化已成为互联网发展的主旋律。与此同时，随着存储技术的变革与发展，存储容量也在不断提升，因此，大规模部署缓存节点以消除网络中的内容冗余变得可行和有效。通过部署缓存节点可有效节省骨干网带宽并减轻网络中瓶颈链路的压力，从而提高用户体验。目前，常用的缓存方法为：内容分发网络(ContentDeliveryNetwork，CDN)和缓存代理技术。CDN是一种新型网络内容服务体系，通过在现有的互联网中增加一层新的网络架构，然后将网站的内容发布到最接近用户的CDN缓存节点，使用户就近取得所需的内容，从而解决网络拥挤的状态，提高用户访问网站的响应速度。由于CDN只缓存与CDN厂商签约的CP(ContentProvide，内容提供商)内容，即购买了CDN服务的客户，对于非签约CP的内容不做缓存，因此，在网络自治域内会引起出口网关瓶颈链路拥堵，在骨干网中会因为内容冗余浪费大量的带宽。同时，由于CDN不在园区级别部署CDN缓存节点，因此，无法解决园区网络出口瓶颈的问题。缓存代理技术是将多个用户主机与一个缓存代理服务器连接，所有用户主机的所有请求均先经过缓存代理服务器，当缓存代理服务器中没有缓存与请求对应的内容时，缓存代理服务器再将请求通过出口网关转发至源站查找。由于缓存代理服务器可以缓存所有的内容，并不受签约CP的影响，并且，缓存代理服务器一般都部署在园区网络出口处，因此，缓存代理技术可以解决CDN的不足。但是，由于缓存代理服务器缓存的内容比较杂且没有针对性，因此使得对用户主机请求内容的命中率较低，缓存代理效率不高。综上可以看出，如何提供一种解决网络拥挤的缓存方法及系统以提高对用户主机请求内容的命中率和缓存代理效率是本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术提供一种解决网络拥挤的缓存方法、系统及URL转发服务器，以实现将内容从签约CP、非签约CP、高热度和低热度两个维度进行区分，提高用户主机请求内容的命中率和缓存代理效率。一种解决网络拥挤的缓存方法，包括：接收用户主机发送的请求数据包；解析所述请求数据包，得到所述请求数据包中包含的统一资源定位符URL；利用哈希函数计算所述URL的哈希值；从预存储的签约内容描述表中查找是否记录有所述哈希值；若所述签约内容描述表中记录有所述哈希值，则将所述请求数据包转发至内容分发网络CDN缓存节点；若所述签约内容描述表中没有记录所述哈希值，则从预存储的当前内容热度描述表中查找是否记录有所述哈希值；若所述当前内容热度描述表中记录有所述哈希值，则将所述请求数据包转发至缓存代理服务器；若所述当前内容热度描述表中没有记录有所述哈希值，则将所述请求数据包转发至出口网关。优选的，还包括：判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文；若接收到所述第一报文，则将所述当前内容热度描述表更换为所述最新内容热度描述表；若没有接收到所述第一报文，则向所述内容热度分析服务器发送更新请求，以使所述内容热度分析服务器发送所述第一报文。优选的，还包括：接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文；将所述待添加若干条URL条目添加到所述当前内容热度描述表中。优选的，还包括：接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文；从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。优选的，还包括：接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文；将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器；接收所述内容热度分析服务器发送的最新内容热度描述表，所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送；将所述当前内容热度描述表更换为所述最新内容热度描述表。一种解决网络拥挤的缓存系统，包括：第一接收单元，用于接收用户主机发送的请求数据包；解析单元，用于解析所述请求数据包，得到所述请求数据包中包含的统一资源定位符URL；计算单元，用于利用哈希函数计算所述URL的哈希值；第一查找单元，用于从预存储的签约内容描述表中查找是否记录有所述哈希值；第一转发单元，用于若所述签约内容描述表中记录有所述哈希值，则将所述请求数据包转发至内容分发网络CDN缓存节点；第二查找单元，用于若所述签约内容描述表中没有记录所述哈希值，则从预存储的当前内容热度描述表中查找是否记录有所述哈希值；第二转发单元，用于若所述当前内容热度描述表中记录有所述哈希值，则将所述请求数据包转发至缓存代理服务器；第三转发单元，用于若所述当前内容热度描述表中没有记录有所述哈希值，则将所述请求数据包转发至出口网关。优选的，还包括:判断单元，用于判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文；第一更换单元，用于若接收到所述第一报文，则将所述当前内容热度描述表更换为所述最新内容热度描述表；更新请求单元，用于若没有接收到所述第一报文，则向所述内容热度分析服务器发送更新请求，以使所述内容热度分析服务器发送所述第一报文。优选的，还包括:第二接收单元，用于接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文；添加单元，用于将所述待添加若干条URL条目添加到所述当前内容热度描述表中。优选的，还包括:第三接收单元，用于接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文；删除单元，用于从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。优选的，还包括:第四接收单元，用于接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文；发送单元，用于将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器；第五接收单元，用于接收所述内容热度分析服务器发送的最新内容热度描述表，所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送；第二更换单元，用于将所述当前内容热度描述表更换为所述最新内容热度描述表。一种URL转发服务器，所述URL转发服务器包括上述所述的缓存系统。从上述的技术方案可以看出，本专利技术提供了一种解决网络拥挤的缓存方法、系统及URL转发服务器，URL转发服务器接收到用户主机发送的请求数据包后，利用请求数据包中包含的URL的哈希值，确定请求数据包中包含的内容是否属于签约内容，并将属于签约内容的请求数据包转发给CDN缓存节点；对于不属于签约内容的请求数据包，再利用哈希值确定是否在当前内容热度描述表中，即确定请求数据包的内容是否为高热度内容，并将为高热度内容的请求数据包转发至缓存代理服务器。可以看出，本申请将CDN缓存节点和缓存代理服务器进行了融合，使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能，并可以根据当前内容热度描述表即高热度内容信息，选择高热度内容进行缓存代理，从而实现了将内容从签约CP、非签约CP、高热度和低本文档来自技高网...

【技术保护点】
一种解决网络拥挤的缓存方法，其特征在于，包括：接收用户主机发送的请求数据包；解析所述请求数据包，得到所述请求数据包中包含的统一资源定位符URL；利用哈希函数计算所述URL的哈希值；从预存储的签约内容描述表中查找是否记录有所述哈希值；若所述签约内容描述表中记录有所述哈希值，则将所述请求数据包转发至内容分发网络CDN缓存节点；若所述签约内容描述表中没有记录所述哈希值，则从预存储的当前内容热度描述表中查找是否记录有所述哈希值；若所述当前内容热度描述表中记录有所述哈希值，则将所述请求数据包转发至缓存代理服务器；若所述当前内容热度描述表中没有记录有所述哈希值，则将所述请求数据包转发至出口网关。

【技术特征摘要】
1.一种解决网络拥挤的缓存方法，其特征在于，包括：接收用户主机发送的请求数据包；解析所述请求数据包，得到所述请求数据包中包含的统一资源定位符URL；利用哈希函数计算所述URL的哈希值；从预存储的签约内容描述表中查找是否记录有所述哈希值；若所述签约内容描述表中记录有所述哈希值，则将所述请求数据包转发至内容分发网络CDN缓存节点；若所述签约内容描述表中没有记录所述哈希值，则从预存储的当前内容热度描述表中查找是否记录有所述哈希值，其中，所述当前内容热度描述表中记录有当前的高热度内容、当前的低热度内容以及各URL对应的热度权重值，通过所述当前内容热度描述表得到包含所述高热度内容的URL；若所述当前内容热度描述表中记录有所述哈希值，则将所述请求数据包转发至缓存代理服务器；若所述当前内容热度描述表中没有记录有所述哈希值，则将所述请求数据包转发至出口网关。2.根据权利要求1所述的缓存方法，其特征在于，还包括：判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文；若接收到所述第一报文，则将所述当前内容热度描述表更换为所述最新内容热度描述表；若没有接收到所述第一报文，则向所述内容热度分析服务器发送更新请求，以使所述内容热度分析服务器发送所述第一报文。3.根据权利要求1所述的缓存方法，其特征在于，还包括：接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文；将所述待添加若干条URL条目添加到所述当前内容热度描述表中。4.根据权利要求1所述的缓存方法，其特征在于，还包括：接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文；从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。5.根据权利要求1所述的缓存方法，其特征在于，还包括：接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文；将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器；接收所述内容热度分析服务器发送的最新内容热度描述表，所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送；将所述当前内容热度描述表更换为所述最新内容热度描述表。6.一种解决网络拥挤的缓存系统，其特征在于，包括：第一接收单元，用于接收用户主机发送的请求数据包；解析单元，用于解析所述请求数据包，得到所述请求数据包中包含的统一资源定位符URL；计算单元，用于利用哈希函数计算所...

【专利技术属性】
技术研发人员：王一蓉，黄韬，邓伟，邹颖，于波涛，蒋鸿城，王红凯，谢人超，刘江，周隽夫，魏亮，
申请(专利权)人：国家电网公司，北京国电通网络技术有限公司，南京未来网络产业创新有限公司，国网浙江省电力公司信息通信分公司，
类型：发明
国别省市：北京;11