【技术实现步骤摘要】
本专利技术涉及文件传输领域,尤其涉及一种分布式系统中文件下载管理方法及系统。
技术介绍
1、在分布式文件系统的下载系统中,其角色包含主节点以及工作节点;文件下载包括三个阶段:第一阶段:主节点收到下载请求,获取到文件信息列表;第二阶段:主节点向工作节点分发对应文件下载任务;第三阶段:工作节点下载完成后,向主节点发送确认信息,主节点从文件信息列表中修改对应的文件状态。
2、综上所述,总结总流程为:收到文件下载请求的主节点需要获取到所有的文件信息(如文件id),并分配到对应的工作节点中进行下载,下载成功后需要向工作节点反馈某文件已下载完成;待到所有的文件都在对应的工作节点进行下载至对应目录下并向主节点进行确认后结束文件下载请求对应的下载过程,并反馈下载结果;此过程中还需要协调节点对应的文件信息存放位置为内存或持久化。
3、以上方式存在的缺点为:第一,需要进行多次io,一次获取文件信息,一次确认下载完成后需要修改状态,最后确认所有文件是否下载完成,主节点的文件信息使用数据库持久化的方式进行会浪费多次的磁盘io及性能;第二
...【技术保护点】
1.一种分布式系统中文件下载管理方法,其特征在于,包括步骤:
2.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果包括:
3.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果之前包括:
4.根据权利要求3所述的一种分布式系统中文件下载管理方法,其特征在于,还包括:
5.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,还包括下载
...【技术特征摘要】
1.一种分布式系统中文件下载管理方法,其特征在于,包括步骤:
2.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果包括:
3.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,所述主节点根据每一目标分片文件对应的文件标识进行异或计算得到第一异或结果之前包括:
4.根据权利要求3所述的一种分布式系统中文件下载管理方法,其特征在于,还包括:
5.根据权利要求1所述的一种分布式系统中文件下载管理方法,其特征在于,还包括下载状态标识码,所述下载状态标识码包括任务标识、状态码以及第一异或结果;其中状态码通过0和1分别标识未全部下发和已全部下发的状态。
6.一种分布式系统中文件下载管理系统,包括主节点以及工作节点,所述主节点包括第一存储器、第一处理器及存储在所述第一存储器...
【专利技术属性】
技术研发人员:李迪,柯长洲,黄传烯,
申请(专利权)人:福建慧政通信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。