一种预缓存文件处理方法、装置及文件预缓存系统制造方法及图纸

本发明专利技术公开了一种文件预缓存处理方法、装置及文件预缓存系统，属于文件预缓存领域；预缓存时，在获取需要预缓存的文件后，根据预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件；然后将打包文件分别发送到P2P和CDN，以供客户端优先从P2P下载后解包缓存，如果无法从P2P下载，则从CDN下载。本申请方案中通过将预缓存文件打包后发送给P2P，客户端能够从P2P下载打包文件后解包并缓存；使得可以通过P2P实现下载，减少使用HTTP方式下载的次数，有效降低下载文件所需要的CDN带宽，降低了带宽成本；同时由于将文件大小不大于预设值的目标文件打包为打包文件，使得文件的数量变少，更加适用于P2P传输方式，占用空间小，消息交互少，传输速率高。传输速率高。传输速率高。

【技术实现步骤摘要】
一种预缓存文件处理方法、装置及文件预缓存系统


[0001]本专利技术涉及文件预缓存领域，特别地，涉及一种预缓存文件处理方法、装置及文件预缓存系统。

技术介绍

[0002]现有客户端在更新时，待更新的文件较大时如果从服务器直接下载，更新速度非常慢。因此现有客户端一般会将待更新的文件预缓存在本地，以便更新时直接从本地获取更新文件，而不用从服务器直接下载。
[0003]而在预缓存时，由于预缓存的文件并不需要立即使用，而是下载后等待更新时才使用。因此客户端从服务器下载预缓存文件时，都是在不影响客户端与服务器的正常数据交互的情况下进行。
[0004]客户端从服务器下载预缓存文件时一般采用HTTP的下载方式，即服务器将文件发送到内容分发网络(Content Delivery Network,CDN)；用户通过发起HTTP请求从CDN下载文件使用。
[0005]然而，若预缓存文件较多，客户端下载文件时，会向CDN发起多个并行的HTTP请求，会占用服务器的传输控制协议(TCP，Transmission Control Protocol)连接文件，消耗大量CDN带宽，增加带宽成本，影响客户端与服务器正常交互。

技术实现思路

[0006]为了克服现有技术的不足，本专利技术提供一种预缓存文件处理方法、装置及文件预缓存系统，以解决在预缓存文件较多时，客户端通过HTTP的下载方式下载预缓存文件，会占用服务器的TCP连接文件，消耗大量CDN带宽，影响客户端与服务器正常交互的问题。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]第一方面，提供一种预缓存文件处理方法，包括以下步骤：
[0009]当接收到预缓存的指令时，获取需要预缓存的文件；
[0010]根据所述文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；
[0011]将所述打包文件发送到点对点网络，并生成所述打包文件的任务清单后，将所述任务清单发送给客户端，以便所述客户端根据所述任务清单，从所述点对点网络下载所述打包文件；所述任务清单包括下载所述打包文件的下载任务以及完成所述下载任务的下载路径。
[0012]进一步地，所述方法还包括：
[0013]在得到所述打包文件之后，将所述打包文件发送到内容分发网络，以便所述客户端在无法从所述点对点网络下载所述打包文件时，根据所述任务清单从所述内容分发网络下载并解包后进行缓存。
[0014]进一步地，所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件
进行打包得到打包文件，包括：
[0015]获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；
[0016]将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。
[0017]进一步地，所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：
[0018]获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；
[0019]将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。
[0020]进一步地，所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：
[0021]获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；
[0022]将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。
[0023]进一步地，所述方法还包括：
[0024]当接收到文件改动请求时，确定待改动文件所属的目标打包文件；
[0025]判断所述待改动文件的文件大小与所述目标打包文件的文件大小的比值是否大于预设比值；
[0026]若大于，则利用所述待改动文件更新所述目标打包文件并重新分发到点对点网络和内容分发网络；若不大于，则将所述待改动文件发送到内容分发网络，并向所述客户端发送通知以便客户端从所述内容分发网络单独下载所述待改动文件。
[0027]进一步地，所述打包文件为无压缩的打包文件。
[0028]第二方面，提供一种预缓存文件处理装置，包括：
[0029]文件获取模块，用于当接收到预缓存的指令时，获取需要预缓存的文件；
[0030]文件打包模块，用于根据所述文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；
[0031]文件发送模块，用于将所述打包文件发送到点对点网络，并生成所述打包文件的任务清单后，将所述任务清单发送给客户端，以便所述客户端根据所述任务清单，从所述点对点网络下载所述打包文件；所述任务清单包括下载所述打包文件的下载任务以及完成所述下载任务的下载路径。
[0032]第三方面，提供一种预缓存文件处理方法，包括以下步骤：
[0033]接收服务器发送的所述打包文件的任务清单，所述任务清单包括下载所述打包文件的下载任务和完成所述下载任务的下载路径；
[0034]根据所述下载任务和下载路径从点对点网络下载所述下载任务对应的打包文件，所述打包文件为：所述服务器根据需要预缓存的文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包后得到，并发送给所述点对点网络；
[0035]对已下载的打包文件进行解包，得到预缓存文件并保存所述预缓存文件。
[0036]进一步地，所述方法还包括：
[0037]获取所述点对点网络的传输端口的通讯情况；
[0038]当所述传输端口可通讯时，根据所述校验码从点对点网络下载所述校验码对应的打包文件；当所述传输端口无法通讯时，从内容分发网络下载需要下载的打包文件，所述内容分发网络包含所述服务器发送的所述打包文件。
[0039]进一步地，所述方法还包括：
[0040]接收所述服务器发送的待改动文件的更新清单，所述待改动文件的文件大小与待改动文件所属的目标打包文件的文件大小的比值不大于预设比值；
[0041]根据所述更新清单从所述内容分发网络下载所述待改动文件并保存。
[0042]进一步地，所述方法还包括：
[0043]当接收到文件查找指令后，在已保存的预缓存文件中查找待查找的文件并发送给所述文件查找指令的发送方；若未查找到，则从内容分发网络下载所述待查找的文件，并保存后发送给所述发送方。
[0044]进一步地，所述方法还包括：
[0045]获取已保存的预缓存文件的保存时长；
[0046]删除保存时长大于预设时长的已保存的预缓存文件。
[0047]第四方面，提供一种预缓存文件处理装置，包括：
[0048]清单接收模块，用于接收服务器发送的所述打包文件的任务清单，所述任务清单包括下载所述打包文件的下载任务和完成所述下载任务的下载路径；
[0049]文件下载模块，用于根据所述校验码从点对点网络下载所述校验码对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预缓存文件处理方法，其特征在于，包括以下步骤：当接收到预缓存的指令时，获取需要预缓存的文件；根据所述文件的预缓存信息，将文件大小不大于预设值的目标文件进行打包得到打包文件；将所述打包文件发送到点对点网络，并生成所述打包文件的任务清单后，将所述任务清单发送给客户端，以便所述客户端根据所述任务清单，从所述点对点网络下载所述打包文件；所述任务清单包括下载所述打包文件的下载任务以及完成所述下载任务的下载路径。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在得到所述打包文件之后，将所述打包文件发送到内容分发网络，以便所述客户端在无法从所述点对点网络下载所述打包文件时，根据所述任务清单从所述内容分发网络下载并解包后进行缓存。3.根据权利要求1所述的方法，其特征在于：所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：获取所述目标文件的预缓存信息，所述预缓存信息包括所述目标文件的预估更新频率；将所述预估更新频率在同一预设范围内的目标文件进行打包，得到所述打包文件。4.根据权利要求3所述的方法，其特征在于：所述预缓存信息还包括所述目标文件的所属业务；所述根据所述文件的预缓存信息将文件大小不大于预设值的目标文件进行打包得到打包文件，包括：将所述目标文件按照所述所属业务进行分类得到每类业务的目标文件集合；将所述每类业务的目标文件集合中，预估更新频率在同一预设范围内的目标文件进行打包，得到打包文件。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：当接收到文件改动请求时，确定待改动文件所属的目标打包文件；判断所述待改动文件的文件大小与所述目标打包文件的文件大小的比值是否大于预设比值；若大于，则利用所述待改动文件更新所述目标打包文件并重新分发到点对点网络和内容分发网络；若不大于，则将所述待改动文件发送到内容分发网络，并向所述客户端发送通知以便客户端从所述内容分发网络单独下载所述待改动文件。6.一种预缓存文件处理装置，其特征在于，包括：文件获取模块，用于当接收到预缓存的指令时，获取需要预缓存的...

【专利技术属性】
技术研发人员：谭俊良，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：