一种分布式文件系统提升上载文件速度的方法技术方案

技术编号:37259088 阅读:26 留言:0更新日期:2023-04-20 23:34
本发明专利技术涉及文件上传技术领域,且公开了一种分布式文件系统提升上载文件速度的方法,包括以下步骤:第一步:检查网络协议是否支持多线程;第二步:对文件进行分块;第三步:开始上传线程;第四步:打开本地输入以及网络中的输入流,用DEFLATE算法对输出流进程封装;第五步:进行传输,中断则保留分段信息;第六步:完成上传,该分布式文件系统提升上载文件速度的方法,通过多线程和文件分段的方式,可充分利用网络和CPU资源,减小本地存储设备的读写限制对传输速度的影响。制对传输速度的影响。制对传输速度的影响。

【技术实现步骤摘要】
一种分布式文件系统提升上载文件速度的方法


[0001]本专利技术涉及文件上传
,具体为一种分布式文件系统提升上载文件速度的方法。

技术介绍

[0002]随着技术的发展,视频、图片等各种文件的格式也在不断进步,消费者也倾向于选择更大存储空间的设备。更清晰的画质、音质,更详细的数据,使得文件的体积也在不断的膨胀。导致文件在网络中传输也需要更多的计算和更多的带宽占用。
[0003]常见使用一些分段工具,进行上传后,再对云端文件使用不同的算法进行校验,校验完整则上传完毕,如中国专利CN113938269B一种文件分片上传校验方法,其中,该方法包括:接收终端上传的目标文件的初始MD5值和文件大小值;接收终端生成的分片数据及其前置MD5中间对象和当前MD5中间对象;将本地接收到的分片数据和前置MD5中间对象在数据层合并,并判断合并的结果与终端生成的当前MD5中间对象是否一致,若是,输出分片数据的校验正确信息;在所有分片数据上传及校验完成之后,根据最后一个分片数据的当前MD5中间对象确定目标文件的接收MD5值,判断接收MD5值与初始MD5值是否本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统提升上载文件速度的方法,其特征在于,包括以下步骤:第一步:检查网络协议是否支持多线程;第二步:对文件进行分块;第三步:开始上传线程;第四步:打开本地输入流以及网络中的输出流,用DEFLATE算法对输出流进行封装;第五步:进行传输,中断则保留分段信息;第六步:完成上传。2.根据权利要求1所述的一种分布式文件系统提升上载文件速度的方法,其特征在于:第一步的具体内容为:检查是否支持随机打开文件的某个位置,支持随机写入则支持多线程。3.根据权利要求1所述的一种分布式文件系统提升上载文件速度的方法,其特征在于:第二步中的具体内容为:文件长度为x,分块后三段文件的地址范围为[0,x/3)、[x/3,2*x/3)、[2*x/3,x)。4.根据权利要求1所...

【专利技术属性】
技术研发人员:赵祥孙伟峰
申请(专利权)人:北京小熊博望科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1