一种基于标识的URL链接失效的恢复处理方法及装置制造方法及图纸

本发明专利技术公开了一种基于标识的URL链接失效的恢复处理方法及装置。所述方法包括：获取按请求频率排名的教育网外排名靠前的预定数量的URL链接；下载所获取的预定数量的URL链接对应的资源；标识所下载的资源中的热门资源后存贮在本地服务器，并在教育网的预定页面上展示给用户供用户下载使用；在下载所获取的预定数量的URL链接对应的资源时，如果所述URL链接失效，则分析所述URL链接失效的原因，并根据所述URL链接失效的原因采用不同的方式进行恢复处理。本发明专利技术就多种造成链接失效的原因进行分析，并采取技术措施解决了失效的URL访问限制问题。

【技术实现步骤摘要】

：本专利技术涉及计算机网络
，提出了一种基于标识的URL链接失效的恢复处理方法。本专利技术结合URL链接失效的不同原因采用不同的技术手段进行了恢复处理，避免标识系统因为URL无效而影响到获取最优资源。
技术介绍
：随着Internet应用的深入，各种信息、资源在网络上可以很轻易地发布，伴随而来的是很多网络资源被盗链，这已危及到许多网站的正常运行，严重损害了被盗链网站的利益。本着为广大访问教育网用户服务的原则，可以将请求频率较高的优良资源整合到本地服务器上，提供有效资源的热点应用下载。有时候输入了一个正确的资源地址，显示出来的网页却是页面无法显示，或者此网站错误等信息，用软件工具找到了资源的真实地址，仍然不能下载，总是出错。如果确认地址没错的话，大多数情况是遇上防盗链系统了。因为盗链现象的存在，内容提供商或者服务提供商也不断采取防盗链技术措施，防止别人通过一些技术手段绕过本站的资源展示页面，盗用本站的资源，让绕开本站资源展示页面的资源链接失效。实施防盗链系统，屏蔽盗链的间接资源请求，大大减轻服务器及宽带的压力。但同时也为正常渠道获取资源带来了很多不便，无法将更优的资源整合后展示给真正需要的用户。
技术实现思路
：有鉴于此，本专利技术提出了一种基于标识的URL链接失效的恢复处理方法。该方法针对不同原因的URL链接失效，采取不同的恢复处理方法。根据本专利技术一方面，其提供了一种基于标识的URL链接失效的恢复处理方法，其包括：获取按请求频率排名的教育网外排名靠前的预定数量的URL链接；下载所获取的预定数量的URL链接对应的资源；标识所下载的资源中的热门资源后后存贮在本地服务器，并在教育网的预定页面上展示给用户供用户下载使用；所述方法还包括：在下载所获取的预定数量的URL链接对应的资源时，如果所述URL链接失效，则分析所述URL链接失效的原因，并根据所述URL链接失效的原因采用不同的方式进行恢复处理，其中，所述恢复处理包括以下几种中的一种或多种：1)采用破解防盗链技术进行恢复处理；2)对URL链接的域名进行检测，获取真正的IP地址；3)分析得到所述URL链接中的资源内容，并获取有效资源后存储在本地；4)将所述URL链接替换成有效的资源链接。根据本专利技术另一方面，其提供了一种基于标识的URL链接失效的恢复处理装置，其包括：获取模块，用于获取按请求频率排名的教育网外排名靠前的预定数量的URL链接；下载模块，用于下载所获取的预定数量的URL链接对应的资源；标识模块，用于标识所下载的资源中的热门资源后后存贮在本地服务器，并在教育网的预定页面上展示给用户供用户下载使用；所述恢复处理装置还包括：恢复处理模块，其在下载所获取的预定数量的URL链接对应的资源时，如果所述URL链接失效，则分析所述URL链接失效的原因，并根据所述URL链接失效的原因采用不同的方式进行恢复处理，其中，所述恢复处理包括以下几种中的一种或多种：1)采用破解防盗链技术进行恢复处理；2)对URL链接的域名进行检测，获取真正的IP地址；3)分析得到所述URL链接中的资源内容，并获取有效资源后存储在本地；4)将所述URL链接替换成有效的资源链接。本专利技术结合URL链接失效的不同原因采用不同的技术手段进行了恢复处理，避免标识系统因为URL无效而影响到获取最优资源。附图说明：图1是本专利技术中基于标识的URL链接失效的恢复处理方法处理流程图。具体实施方式：为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。如图1所示，本专利技术提出了一种基于标识的URL链接失效的恢复处理方法。所述方法包括：步骤101：获取按请求频率排名的教育网外排名靠前的预定数量的URL链接；可选地，本专利技术中的标识管理系统可定时获取按请求频率排名的教育网外预定数量的URL链接，如每天获取top100的URL链接；步骤102：下载所获取的预定数量的URL链接对应的资源；步骤103：标识所下载的最优资源后存贮在本地服务器，并在教育网的预定页面上展示给用户供用户下载使用；其中，可以将所标识的最优资源在教育网的热点风云页面(如http：//top.edu.cn/hot/)上展示，用户通过所述热点风云页面可以搜索所需的网络资源进行下载。可选地，所述最优资源是指时下比较热门的或访问请求频率比较高的软件应用或音乐视频等应用。可选地，本专利技术实施例中将标识系统排名top20的资源都下载下来并标识出，值得推荐的资源都推送到热点风云展示页面。通过上述方法在访问一个URL链接时，经常会遇到网页提示无法打开或报http404错误等信息，这意味着链接指向的网页不存在，也就是原始网页的URL失效，这种情况经常会发生，很难避免，原因可能有以下几种情况：网页已不存在、网站被屏蔽；或者网页URL生成规则改变、网页文件更名或移动位置、导入链接拼写错误等；还有的原因是服务提供商做了防盗链措施，防盗链在图片、音视频、软件等相关的资源上使用比较广泛；另外有的服务提供商会为防黑客攻击，定期更换资源网站的IP地址，导致url失效无法访问。因此，所述方法还包括：在下载所获取的预定数量的URL链接对应的资源时，如果所述URL链接失效，则分析所述URL链接失效的原因，并根据所述URL链接失效的原因采用不同的方式处理。可选地，造成所述URL链接失效的原因可能包括如下几种：1)所述URL链接对应的网页采取了防盗链措施；2)所述URL链接对应的网页为防黑客入侵，采用了定期更换URL地址的措施；3)所述URL链接为无效的资源链接；4)所述URL链接失效的原因无法得知。本专利技术中针对以上几种URL失效的原因，分别采取了如下的几种措施：1)针对采取了防盗链措施的URL链接，作为合理访问用户则采用破解防盗链技术，而对于文件资源所设置的防止下载的防盗链，则通过使用“引用页”的方法避开防盗链对referer的判断，即能正常下载资源；防盗链的原理：通过HTTP协议中的一个表头字段referer来检测目标网页访问的来源网站。如果检测到来源为本站资源，则允许正常访问，来源为其他网站，则阻止访问，提示链接失效。2)针对采取了防黑客入侵的改变了IP地址的URL链接，使用工具对其域名进行检测，获取本文档来自技高网...

【技术保护点】
一种基于标识的URL链接失效的恢复处理方法，其包括：获取按请求频率排名的教育网外排名靠前的预定数量的URL链接；下载所获取的预定数量的URL链接对应的资源；标识所下载的资源中的热门资源后后存贮在本地服务器，并在教育网的预定页面上展示给用户供用户下载使用；所述方法还包括：在下载所获取的预定数量的URL链接对应的资源时，如果所述URL链接失效，则分析所述URL链接失效的原因，并根据所述URL链接失效的原因采用不同的方式进行恢复处理，其中，所述恢复处理包括以下几种中的一种或多种：1)采用破解防盗链技术进行恢复处理；2)对URL链接的域名进行检测，获取真正的IP地址；3)分析得到所述URL链接中的资源内容，并获取有效资源后存储在本地；4)将所述URL链接替换成有效的资源链接。

【技术特征摘要】
1.一种基于标识的URL链接失效的恢复处理方法，其包括：
获取按请求频率排名的教育网外排名靠前的预定数量的URL链接；
下载所获取的预定数量的URL链接对应的资源；
标识所下载的资源中的热门资源后后存贮在本地服务器，并在教育网
的预定页面上展示给用户供用户下载使用；
所述方法还包括：
在下载所获取的预定数量的URL链接对应的资源时，如果所述URL
链接失效，则分析所述URL链接失效的原因，并根据所述URL链接失效
的原因采用不同的方式进行恢复处理，其中，所述恢复处理包括以下几种
中的一种或多种：
1)采用破解防盗链技术进行恢复处理；
2)对URL链接的域名进行检测，获取真正的IP地址；
3)分析得到所述URL链接中的资源内容，并获取有效资源后存储在
本地；
4)将所述URL链接替换成有效的资源链接。
2.如权利要求1所述的方法，其中，分析所述URL链接失效的原因
包括分析得到所述URL链接失效的原因为以下几种中的哪种：
1)所述URL链接对应的网页采取了防盗链措施；
2)所述URL链接对应的网页为防黑客入侵，采用了定期更换URL
地址的措施；
3)所述URL链接为无效的资源链接；
4)所述URL链接失效的原因无法得知。
3.如权利要求2所述的方法，其中，针对所述URL链接失效的不同
原因采取不同的恢复处理方式：
1)针对采取了防盗链措施的URL链接，则采用破解防盗链技术；
2)针对采取了防黑客入侵的改变了IP地址的URL链接，；对其域名
进行检测，获取真正的IP地址；
3)针对无效的资源连接，；分析其无效资源链接中的资源内容，将与
资源内容对应的有效资源存储在本地；
4)针对URL链接失效原因未知的链接资源，且无法分析出资源内容
的，定期扫描URL链接判断其是否无效，若是则替换成有效的资源链接。
4.如权利要求3所述的方法，其中，针对采取了防盗链措施的URL
链接，如果作为合理访问用户，则采用破解防盗链技术，而对于稳健资源
所设置的防止下载的防盗链技术，则通过使用引用页的方法避开防盗链技
术对来源网站的检测。
5.一种基于标识的URL链接失效的恢复处理装...

【专利技术属性】
技术研发人员：黄友俊，李星，吴建平，马艺，李威，
申请(专利权)人：赛尔网络有限公司，
类型：发明
国别省市：北京;11