减少回源请求的方法、装置及计算机可读存储介质制造方法及图纸

技术编号:24683234 阅读:35 留言:0更新日期:2020-06-27 07:56
本发明专利技术涉及一种大数据技术,揭露了一种减少回源请求的方法,包括:通过内容分发网络缓存向客户源服务器发送目标文件的读取请求,并接收所述客户源服务器回复的所述目标文件的内存大小,根据所述目标文件的内存大小生成缓存单元;对所述缓存单元进行区域划分,得到分片缓存区域;根据所述分片缓存区域对所述目标文件进行结构化拆分,形成目标子文件集,并将所述目标子文件集通过所述缓存单元加载至客户终端中,得到独立临时文件集,将所述独立临时文件集进行合并操作后还原成所述目标文件,从而完成减少回源的请求。本发明专利技术还提出一种减少回源请求装置以及一种计算机可读存储介质。本发明专利技术能够减少分片存储中的回源请求。

Methods, devices and computer-readable storage media for reducing requests back to source

【技术实现步骤摘要】
减少回源请求的方法、装置及计算机可读存储介质
本专利技术涉及大数据
,尤其涉及一种基于内容分发网络的减少回源请求的方法、装置及计算机可读存储介质。
技术介绍
内容分发网络(简称CDN)顾名思义就是用于内容分发,其必然需要内容缓存。对于较大目标文件的分发,分片存储有效地增加了目标文件请求的命中率,可以减少回源请求流量的消耗。其中,对于分片存储大小的定义,行业没有标准。不同的企业一般根据自己业务情况定义全局的分片存储大小,比如阿里云512k,七牛云1M,这样对于业务稳定或波动不大的情况没有问题。但有些情况是有问题的,如一些客户通过CDN融合厂商分发,而CDN融合厂商和CDN边缘厂家的分片存储大小不同,首次拉取资源会造成CDN边缘厂家到CDN融合厂商的不命中,进而导致增大回源,给客户带来不必要的损失。如:A厂家需要回源融合分发的是B厂家512k的分片,在缓存丢失后由于B厂家是1M的分片,所以B厂家用1M分片回源到客户源站,这样就放大2倍了,如果有请求洪峰1G,瞬间造成2倍的回源放大达到2G,这种情况下客户源站会负载过大。r>专利技术本文档来自技高网...

【技术保护点】
1.一种减少回源请求的方法,其特征在于,所述方法包括:/n通过内容分发网络缓存向客户源服务器发送目标文件的读取请求,并接收所述客户源服务器基于所述读取请求反馈的所述目标文件的内存大小,根据所述目标文件的内存大小,在客户终端中生成对应的内存单元并与所述内容分发网络缓存组合形成缓存单元;/n基于所述目标文件的内存大小对所述缓存单元进行区域划分,得到分片缓存区域;/n根据所述分片缓存区域对所述目标文件进行结构化拆分,形成目标子文件集,并将所述目标子文件集通过所述缓存单元加载至所述客户终端中,得到独立临时文件集,将所述独立临时文件集进行合并操作后还原成所述目标文件,从而完成减少回源的请求。/n

【技术特征摘要】
1.一种减少回源请求的方法,其特征在于,所述方法包括:
通过内容分发网络缓存向客户源服务器发送目标文件的读取请求,并接收所述客户源服务器基于所述读取请求反馈的所述目标文件的内存大小,根据所述目标文件的内存大小,在客户终端中生成对应的内存单元并与所述内容分发网络缓存组合形成缓存单元;
基于所述目标文件的内存大小对所述缓存单元进行区域划分,得到分片缓存区域;
根据所述分片缓存区域对所述目标文件进行结构化拆分,形成目标子文件集,并将所述目标子文件集通过所述缓存单元加载至所述客户终端中,得到独立临时文件集,将所述独立临时文件集进行合并操作后还原成所述目标文件,从而完成减少回源的请求。


2.如权利要求1所述的减少回源请求的方法,其特征在于,所述通过内容分发网络缓存向客户源服务器发送目标文件的读取请求,包括:
获取所述目标文件访问所述客户源服务器的请求地址,将所述请求地址加载至预设的请求语句中,通过所述内容分发网络缓存接收所述请求语句,根据所述请求语句查找所述目标文件在所述客户源服务器中的地址,完成所述目标文件的读取请求。


3.如权利要求1所述的减少回源请求的方法,其特征在于,所述根据所述目标文件的内存大小,在客户终端中生成一定比例大小的内存单元并与所述内容分发网络缓存组合形成缓存单元,包括;
当所述目标文件的内存大小≤第一数值时,将所述内存单元的第一比例和所述内容分发网络缓存进行组合作为所述缓存单元;
当所述第一数值<所述目标文件的内存大小≤第二数值时,将所述内存单元的第二比例和所述内容分发网络缓存进行组合作为所述缓存单元;
当所述第二数值<所述目标文件的内存大小时,将所述内存单元的第三比例和所述内容分发网络缓存进行组合作为所述缓存单元。


4.如权利要求3所述的减少回源请求的方法,其特征在于,所述第一数值为500M,所述第二数值为1G,所述第一比例为20%,所述第二比例为40%,以及所述第三比例为60%。


5.如权利要求1所述的减少回源请求的方法,其特征在于,所述分片缓存区域包括基本分片缓存区域和补充分片缓存区域,其中,所述基本分片缓存区域的空间大于所述补充分片缓存区域的空间;...

【专利技术属性】
技术研发人员:魏海通张毅
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1