一种基于P2P网络技术的计算机集群快速扩容方法技术

技术编号:9383518 阅读:169 留言:0更新日期:2013-11-28 01:31
一种基于P2P网络技术的计算机集群快速扩容方法,包括控制系统和P2P分发网络两部分,控制系统包括直接跟用户交互的前端计算机和包含在所有的待部署的目标计算机中的控制系统客户端,P2P分发网络是基于P2P网络技术,由所有的待部署的目标计算机的P2P客户端和一个Tracker服务器组成,基于BT传输的协议,计算机集群中的各个结点之间基于该协议交换信息,实现数据的快速分发。本方法能够解决大规模集群运维场景中集群扩容的实现问题,可以避免通过人工操作的复杂性及可能带来的误操作、可以大幅度提高集群扩容的速度,达到在集群中快速部署新计算机的目的。

【技术实现步骤摘要】

【技术保护点】
一种基于P2P网络技术的计算机集群快速扩容方法,其特征在于:设置控制系统和P2P分发网络,控制系统包括发起命令的前端计算机,P2P分发网络基于BT传输协议的标准架构,包括所有待部署的目标计算机和一个Tracker服务器,所有待部署的目标计算机均设有控制系统客户端和P2P客户端Peer,P2P分发网络中的所有待部署的目标计算机定义为待扩容的集群中的“结点”,每个结点与Tracker服务器通信连接,各结点Peer端之间双向通信连接,控制系统的前端计算机向待部署的目标计算机发送指令,令其完成结点配置和数据传输,集群中的各个结点之间基于BT传输协议交换信息,实现数据的快速分发;?控制系统的操作流程如下:?步骤1:配置描述文件,描述需要扩容的、所有待部署的目标计算机的信息、待部署的目标计算机中集群客户端数据包的信息以及待部署的目标计算机的统一资源定位符;?步骤2:编写前置脚本,该脚本将在待部署的目标计算机中集群客户端数据包分发及解数据包之前被执行,包括kill掉过时的服务进程;步骤3:编写后置脚本,该脚本将在待部署的目标计算机中集群客户端数据包分发完成之后执行,该脚本中包含集群的配置和启动命令以及相关的自动化测试命令;步骤4:按照下面所述的控制系统的工作流程执行控制系统,根据所述的配置描述文件、前置脚本和后置脚本,完成计算机集群的扩容;步骤4:执行控制系统,根据所述的配置描述文件、前置脚本和后置脚本,完成计算机集群的扩容;1)读取并解析描述文件;2)向目标机器发送前置脚本,并命令其执行脚本;3)为待部署的集群中结点的数据包做种,即P2P分发系统中用到的种子文件;4)向集群中结点数据包所在计算机发送指令,令其启动Peer端,准备上传;5)向所有目标计算机发送指令,令其启动Peer端,开始P2P传输;6)传输结束,解数据包,向目标计算机发送后置脚本,并令其执行;P2P分发系统的工作流程如下:步骤1::Tracker服务器制作种子文件,种子文件描述了包括待分发的所有文件及其分片的hash、Tracker服务的URL关键信息;步骤2:创建“种子”结点make?seed,即在源机器上启动Peer端,告知Tracker这里有完整的文件,拥有待分发的完整文件的计算机定义为源计算机;步骤3:待部署的目标计算机启动Peer端,载入种子文件;步骤4:待部署的目标计算机向Tracker请求可供下载的Peer端列表;步骤5:目标计算机下载I个分片以及上传I个分片,其中I=整个下载文件的总大小除以下载文件的分片数目,整个下载文件的总大小和下载文件的分片数目在前端计算机发起扩容任务时指定,上传I个分片和下载I个分片是对应的操作,整个下载文件的总大小等于整个上传文件的总大小,下载文件的分片数目等于上传文件的分片数目,整个上传文件的总大小和上传文件的分片数目同样是在前端计算机发起扩容任务时指定的;步骤6:若一台待部署的目标计算机尚未完成下载,返回步骤4;否则下载完成;步骤7:下载完成的计算机,保留种子K个时间单位,以提供给其他未完成下载的结点下载,其中K在前端计算机发起扩容任务时指定;步骤8:若文件的某个分片仅存在于一台计算机上并且该计算机发生系统故障或网络故障,这种故障会导致整个P2P网络中已经没有整份文件存在,则对源计算机或者已经下载完成但未保留种子的计算机进行重新做种reseed。...

【技术特征摘要】

【专利技术属性】
技术研发人员:鞠林邹志强瞿天善熊栋文王忠民王凯慈
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1