一种分布式系统中文件下载管理方法及系统技术方案

技术编号:40327209 阅读:32 留言:0更新日期:2024-02-09 14:20
本发明专利技术提供了分布式系统中文件下载管理方法及系统,主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果;工作节点根据所述文件标识下载对应的目标分片文件,每下载一个目标分片文件,则将目标分片文件的文件标识与前一目标分片文件的文件标识进行异或计算;若不存在前一目标分片文件,则与0进行异或计算;直至文件下载任务中所有文件标识对应的目标分片文件均下载完毕,得到第二异或结果,并将下载的目标分片文件以及所述第二异或结果返回主节点;所述主节点判断第一异或结果与第二异或结果的异或值是否为0,若是则确认目标分片文件下载完毕;本发明专利技术利用异或特性,第一异或结果与第二异或结果相同说明文件下载完毕。

【技术实现步骤摘要】

本专利技术涉及文件传输领域,尤其涉及一种分布式系统中文件下载管理方法及系统


技术介绍

1、在分布式文件系统的下载系统中,其角色包含主节点以及工作节点;文件下载包括三个阶段:第一阶段:主节点收到下载请求,获取到文件信息列表;第二阶段:主节点向工作节点分发对应文件下载任务;第三阶段:工作节点下载完成后,向主节点发送确认信息,主节点从文件信息列表中修改对应的文件状态。

2、综上所述,总结总流程为:收到文件下载请求的主节点需要获取到所有的文件信息(如文件id),并分配到对应的工作节点中进行下载,下载成功后需要向工作节点反馈某文件已下载完成;待到所有的文件都在对应的工作节点进行下载至对应目录下并向主节点进行确认后结束文件下载请求对应的下载过程,并反馈下载结果;此过程中还需要协调节点对应的文件信息存放位置为内存或持久化。

3、以上方式存在的缺点为:第一,需要进行多次io,一次获取文件信息,一次确认下载完成后需要修改状态,最后确认所有文件是否下载完成,主节点的文件信息使用数据库持久化的方式进行会浪费多次的磁盘io及性能;第二,因要确认文件的下载本文档来自技高网...

【技术保护点】

1.一种分布式系统中文件下载管理方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果包括:

3.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果之前包括:

4.根据权利要求3所述的一种分布式系统中文件下载管理方法,其特征在于,还包括:

5.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,还包括下载状态标识码,所述下载...

【技术特征摘要】

1.一种分布式系统中文件下载管理方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果包括:

3.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果之前包括:

4.根据权利要求3所述的一种分布式系统中文件下载管理方法,其特征在于,还包括:

5.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,还包括下载状态标识码,所述下载状态标识码包括任务标识、状态码以及第一异或结果;其中状态码通过0和1分别标识未全部下发和已全部下发的状态。

6.一种分布式系统中文件下载管理系统,包括主节点以及工作节点,所述主节点包括第一存储器、第一处理器及存储在所述第一存储器...

【专利技术属性】
技术研发人员:李迪柯长洲黄传烯
申请(专利权)人:福建慧政通信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1