一种远程文件识别方法、装置、服务器及可读存储介质制造方法及图纸

本申请涉及互联网技术领域的领域，尤其是涉及一种远程文件识别方法、装置、服务器及可读存储介质，其包括获取本运营商用户建立的外网回源任务中的URL；确定解除模块URL对应的文件的第一标识，对于每个文件，文件的第一标识是基于该文件的长度信息和预设位置的内容信息得到的；判断内网缓存服务器中是否存在第一标识与解除模块URL对应的文件的第一标识相同的文件；若存在，则确定解除模块内网中第一标识与解除模块URL对应的文件的第一标识相同的文件为等效文件；将内网缓存服务器中解除模块等效文件返回至用户；将解除模块URL与解除模块等效文件的第一标识关联。本申请能够降低运营商的流量成本。营商的流量成本。营商的流量成本。

【技术实现步骤摘要】
一种远程文件识别方法、装置、服务器及可读存储介质


[0001]本申请涉及互联网
的领域，尤其是涉及一种远程文件识别方法、装置、服务器及可读存储介质。

技术介绍

[0002]互联网上存在很多文件，被放在不同运营商的网站内，对于运营商来说，其他运营商的网站就叫外网，而本运营商下属的网站就叫内网。由于不同运营商之间带宽出口需要支付费用，因此对于一个运营商来说，用户下载相同的文件，选择内网的成本要低于选择外网的成本。
[0003]在互联网上，有些文件的实际内容一致，但是使用了不同而且完全无联系的URI，使用常用的URL聚合技术是无法将其识别定义为相同文件的，因此只有将外网服务器的完整文件下载到本地（内网缓存服务器）后，对比文件全部内容才能识别外网服务器的文件与本地服务器的文件是否为相同文件。在下载外网服务器文件的过程中，存在外网的文件被本运营商用户多次下载的情况，增加了运营商的进口其他运营商带宽的成本。

技术实现思路

[0004]为了降低运营商的流量成本，本申请提供一种远程文件识别方法、装置、服务器及可读存储介质。
...

【技术保护点】

【技术特征摘要】
1.一种远程文件识别方法，其特征在于：包括获取本运营商用户建立的外网回源任务中的URL；确定所述URL对应的文件的第一标识，对于任一文件，文件的第一标识是基于该文件的长度信息和预设位置的内容信息得到的；判断内网缓存服务器中是否存在第一标识与所述URL对应的文件的第一标识相同的文件；若存在，则确定所述内网中第一标识与所述URL对应的文件的第一标识相同的文件为等效文件；将内网缓存服务器中所述等效文件返回至用户；将所述URL与所述等效文件的第一标识关联。2.根据权利要求1所述的一种远程文件识别方法，其特征在于，所述确定所述URL对应的唯一标识的方法，包括：基于预设规则获取所述URL的关键字；基于所述URL的关键字进行SHA
‑
1算法，确定所述URL的唯一标识。3.根据权利要求1所述的一种远程文件识别方法，其特征在于：在判断内网缓存服务器中是否存在第一标识与所述URL对应的文件的第一标识相同的文件，之前还包括：确定所述URL的唯一标识；判断内网缓存服务器中是否存在第一标识与所述URL的唯一标识相对应的文件；若存在，则确定所述内网缓存服务器中第一标识与所述URL的唯一标识相对应的文件为预备文件；将内网缓存服务器中所述预备文件返回至用户；将所述URL与所述预备文件的第一标识关联；若不存在，则判断内网缓存服务器中是否有文件的第一标识与所述URL对应的文件的第一标识相同。4.根据权利要求1所述的一种远程文件识别方法，其特征在于，若内网缓存服务器中不存在第一标识与所述URL对应的文件的第一标识相同的文件，则：下载所述URL对应的文件至内网缓存服务器；将所述URL与所述URL对应的文件的第一标识进行关联。5.根据权利要求1所述的一种远程文件识别方法，其特征在于，所述确定所述URL对应的文件的第一标识，包括：确定所述URL的类型；判断所述URL的类型是否符合预设规则；若符合，基于所述URL对应的文件的长度信息和预设...

【专利技术属性】
技术研发人员：谢正强，朱文杰，
申请(专利权)人：北京东方网信科技股份有限公司，
类型：发明
国别省市：