一种文件分布式部署方法、装置、电子设备及存储介质制造方法及图纸

技术编号:20431159 阅读:40 留言:0更新日期:2019-02-23 10:53
本申请公开了一种文件分布式部署方法,调度中心仅需将子部署任务按共享节点的身份信息分配给对应的已登录的共享节点,得到与每个共享节点对应的待部署任务,之后则是由每个共享节点主动通过调度中心的固定IP地址在调度中心查找是否有与自身身份信息对应的待部署任务,以根据取回的待部署任务获取相应的文件分片。相比于由调度中心主动向共享节点进行任务推送的现有技术,本申请所提供的技术方案是由各共享节点主动进行任务查询,因此调度中心无需再维护IP地址与节点间的对应关系,减少了调度中心的工作量、降低了负载。本申请还同时公开了一种调度装置、电子设备及计算机可读存储介质,具有上述有益效果。

A Distributed File Deployment Method, Device, Electronic Equipment and Storage Media

This application discloses a file distributed deployment method. The dispatching center only needs to assign the sub-deployment tasks to the corresponding logged-in shared nodes according to the identity information of the shared nodes, and get the tasks to be deployed corresponding to each shared node. Then, each shared node actively searches the dispatching center through the fixed IP address of the dispatching center to find out whether there is a pair of identity information with itself. The tasks to be deployed should be used to obtain the corresponding file fragments according to the retrieved tasks to be deployed. Compared with the existing technology of active task push from dispatching center to shared node, the technical scheme provided in this application is that each shared node actively queries tasks. Therefore, dispatching center no longer needs to maintain the corresponding relationship between IP address and node, which reduces the workload of dispatching center and reduces the load. The application also discloses a dispatching device, an electronic device and a computer readable storage medium, which have the above beneficial effects.

【技术实现步骤摘要】
一种文件分布式部署方法、装置、电子设备及存储介质
本申请涉及分布式存储
,特别涉及一种文件分布式部署方法、装置、电子设备及计算机可读存储介质。
技术介绍
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。现有分布式存储系统往往将拥有较强数据存储能力的服务器作为节点分布在各地,总体来说节点数量较少,且由于作为节点的服务器会存储极大量的数据,通常会保持24小时在线,因此每个此类节点都会拥有固定的公网IP,也就是说调度重点只需要保存一次这些节点的公网IP即可通过保存的IP地址与每个节点进行文件的分布式部署。由于分布式存储系统的发展,出现了小型化的存储节点(后文将统一称为共享节点),相较于传统拥有较强数据存储能力的服务器,其存储能力较弱,且极度分散,但同时由于其小型化的特性,能够轻易的被普通用户本文档来自技高网...

【技术保护点】
1.一种文件分布式部署方法,其特征在于,包括:接收文件部署任务,并将所述文件部署任务分解成多个子部署任务;将与预设冗余规则对应数量的各子部署任务分配给已登陆的各共享节点,得到与每个所述共享节点对应的待部署任务;接收各所述共享节点发来的任务查询请求,根据所述任务查询请求中包含的共享节点的身份信息向对应的共享节点返回相应的待部署任务,以使接收到待部署任务的共享节点根据所述待部署任务获取对应的文件分片。

【技术特征摘要】
1.一种文件分布式部署方法,其特征在于,包括:接收文件部署任务,并将所述文件部署任务分解成多个子部署任务;将与预设冗余规则对应数量的各子部署任务分配给已登陆的各共享节点,得到与每个所述共享节点对应的待部署任务;接收各所述共享节点发来的任务查询请求,根据所述任务查询请求中包含的共享节点的身份信息向对应的共享节点返回相应的待部署任务,以使接收到待部署任务的共享节点根据所述待部署任务获取对应的文件分片。2.根据权利要求1所述的文件分布式部署方法,其特征在于,在将与预设冗余规则对应数量的各子部署任务分配给已登陆的各共享节点前,还包括:接收通过预设路径发来的心跳连接请求,并根据包含于所述心跳连接请求中的身份信息将对应的共享节点的连接状态记录为已登陆。3.根据权利要求1所述的文件分布式部署方法,其特征在于,将与预设冗余规则对应数量的各子部署任务分配给已登陆的各共享节点,包括:根据所述预设冗余规则确定每个所述子部署任务的目标部署数量;为不同属性的各共享节点均分配第一数量的相同子部署任务;其中,所述共享节点的属性包括所述共享节点的所属区域和/或所属运营商,属性种类数×第一数量=所述目标部署数量。4.根据权利要求3所述的文件分布式部署方法,其特征在于,还包括:根据相同属性的各共享节点的状态参数挑选数量与所述第一数量一致的目标同属性共享节点;其中,所述状态参数包括网络带宽、网络质量、剩余存储空间中的至少一项;将各所述子部署任务分配给各所述目标同属性共享节点。5.根据权利要求1至4任一项所述的文件分布式部署方法,其特征在于,还包括:当分布在当前的已登录的共享节点中的相同文件分片的数量小于与所述预设冗余规则对应的数量时,增发与相应文件分片对应的待部署任务。6.一种调度装置,其特征在于,包括:部署任务分解单元,...

【专利技术属性】
技术研发人员:刘德峰
申请(专利权)人:深圳市网心科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1