文件分发方法、源服务器、节点服务器及文件分发系统技术方案

技术编号:23514891 阅读:43 留言:0更新日期:2020-03-18 01:25
本申请提供了一种文件分发方法、源服务器、节点服务器及文件分发系统,涉及互联网技术领域。通过本申请提供的技术方案,在需要对大规模服务器进行文件分发时,可以根据源服务器记录维护的各节点服务器的下载情况,由已下载某些文件数据的节点服务器再向其他节点服务器去传输文件,从而在大规模服务器中实现待分发文件的一传二,二传四,使节点服务器均能够参与传输流程,随着时间的增加,分发节点成指数级增加,突破了单机分发时网卡速率的瓶颈限制,充分利用了网络的带宽资源,文件分发效率得到有效提升。

File distribution method, source server, node server and file distribution system

【技术实现步骤摘要】
文件分发方法、源服务器、节点服务器及文件分发系统
本申请涉及互联网
,具体而言,本申请涉及一种文件分发方法、源服务器、节点服务器及文件分发系统。
技术介绍
随着互联网的迅猛发展与用户访问量的日益增加,越来越多的应用项目需要部署在具有一定规模的服务器集群上协同工作,才能够为用户提供更稳定、优质的互联网服务,因此通常的大型互联网公司都拥有较大规模、结构复杂的服务器集群。而针对大规模服务器集群的文件分发和部署,决定了应用项目的服务能力,甚至可以影响到上层业务的可靠性。现有技术方案中,在需要将文件分发到大规模服务器的时候,如图1所示,通常是将文件上传到一个中心分发服务器,让所有服务器批量去中心分发服务器上下载这个文件包;或者是通过一台中控机将文件批量地推送到所有服务器上。现有技术方案的局限性十分明显,无论通过是中心分发服务器还是中控机的传输方式,都是通过单机进行一对多的传输方式,那么单机的网卡速率必然会成为文件传输的瓶颈,导致大规模服务器文件分发的效率非常低下。
技术实现思路
>本申请为克服上述技本文档来自技高网...

【技术保护点】
1.一种文件分发方法,其特征在于,包括:/n向作为数据接收者的节点服务器发送数据提供者列表,所述数据提供者列表中包括源服务器以及已下载待分发文件对应的至少一个数据分片的节点服务器,以使得所述数据接收者与所述数据提供者列表中的数据提供者进行通信,并下载待分发文件对应的数据分片;/n接收作为数据接收者的节点服务器反馈的对数据分片的下载状态信息,并将所述数据接收者添加至所述数据提供者列表中。/n

【技术特征摘要】
1.一种文件分发方法,其特征在于,包括:
向作为数据接收者的节点服务器发送数据提供者列表,所述数据提供者列表中包括源服务器以及已下载待分发文件对应的至少一个数据分片的节点服务器,以使得所述数据接收者与所述数据提供者列表中的数据提供者进行通信,并下载待分发文件对应的数据分片;
接收作为数据接收者的节点服务器反馈的对数据分片的下载状态信息,并将所述数据接收者添加至所述数据提供者列表中。


2.根据权利要求1所述的文件分发方法,其特征在于,所述向作为数据接收者的节点服务器发送数据提供者列表之前,还包括:
获取需要接收待分发文件的节点服务器列表;
向所述节点服务器列表中的节点服务器发送代理脚本,以使得所述节点服务器能够基于所述代理脚本启动数据接收者的功能和/或数据提供者的功能。


3.根据权利要求2所述的文件分发方法,其特征在于,所述向作为数据接收者的节点服务器发送数据提供者列表之前,还包括:
获取待分发文件,并根据所述待分发文件生成数据分片及对应的分片信息;
向所述节点服务器列表中的节点服务器发送所述分片信息,以使得所述节点服务器列表中的节点服务器根据所述分片信息从数据提供者处下载数据分片。


4.根据权利要求2或3所述的文件分发方法,其特征在于,还包括:
当确定出所述节点服务器列表中的节点服务器均下载完所述待分发文件对应的各数据分片时,结束所述待分发文件的传输。


5.一种文件分发方法,其特征在于,包括:
接收源服务器发送的数据提供者列表,所述数据提供者列表中包括源服务器以及已下载待分发文件对应的至少一个数据分片的节点服务器;
与所述数据提供者列表中的数据提供者进行通信,并下载待分发文件对应的数据分片;
将对数据分片的下载...

【专利技术属性】
技术研发人员:马明辰
申请(专利权)人:北京奇虎科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1