文件并发分块上传方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种文件并发分块上传方法、装置、电子设备及存储介质，所述方法包括：接收客户端发送的待上传文件的元信息；根据元信息中的文件标识获取待上传文件的待上传文件块信息；待上传文件块信息包括待上传文件块的起始偏移量以及未完全传输的文件块的已传输字节数；计算允许并发的上传线程数，并将待上传文件块信息及允许并发的上传线程数发送给客户端；接收客户端的上传线程根据待上传文件块信息发送的文件块数据，根据文件块数据更新历史上传记录；重复执行上述过程，直至待上传文件块全部上传。本发明专利技术实施例提供的文件并发分块上传方法、装置、电子设备及存储介质，通过对文件上传线程的实时合理分配，实现了文件的并发高效上传。高效上传。高效上传。

【技术实现步骤摘要】
文件并发分块上传方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据传输
，尤其涉及一种文件并发分块上传方法、装置、电子设备及存储介质。

技术介绍

[0002]随着近年来计算机软硬件技术的高速发展，各行各业信息化水平都大大提高，诞生了大量的数据文件，而且每个文件都存储了大量的数据，因此如何将分散在各个终端上的数据高效传输到服务器上成为了一个值得探讨的问题。由于目前对于文件传输的需求量较大，经常会遇到在有限带宽情况下多个客户端并发传输大文件的场景。
[0003]现在行业内通用的方法主要是将大文件分块并发传输，然而这一方法在传输带宽较小、传输带宽抖动情况下不能很好的工作，经常会出现有些文件的传输线程抢占了大部分的服务器带宽资源导致其他文件传输速度特别慢甚至网络超时传输失败的场景，并且现有的传输方法在传输过程中一旦因为故障出现传输中断，就需要重新传输整个文件。

技术实现思路

[0004]为解决现有技术中的问题，本专利技术提供了一种文件并发分块上传方法、装置、电子设备及存储介质。
[0005]本专利技术提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件并发分块上传方法，所述方法应用于服务器，其特征在于，包括：上传请求接收流程：接收客户端发送的待上传文件的元信息；其中，所述元信息包括文件标识；待上传文件块信息获取流程：根据所述文件标识获取所述待上传文件的待上传文件块信息；其中，所述待上传文件块信息包括待上传文件块的起始偏移量以及未完全传输的文件块的已传输字节数；上传线程分配流程：计算允许并发的上传线程数，并将所述待上传文件块信息及所述允许并发的上传线程数发送给所述客户端；上传数据处理流程：接收所述客户端的上传线程根据所述待上传文件块信息发送的文件块数据，根据所述文件块数据更新历史上传记录；第一循环执行流程：重复执行上述过程，直至所述待上传文件块全部上传。2.根据权利要求1所述的文件并发分块上传方法，其特征在于，所述根据所述文件块数据更新历史上传记录，包括：通过循环冗余校验码校验已完全上传的文件块；若校验成功，则记录相应文件块已经完成上传的信息；若校验不成功，则丢弃相应的文件块；和/或，在发生文件块的上传中断时，保存已部分上传的数据信息，并记录已经上传的字节数。3.根据权利要求1所述的文件并发分块上传方法，其特征在于，所述计算允许并发的上传线程数，包括：获取系统最大并发数和所述客户端允许的最大并发线程数；使用所述系统最大并发数减去其他客户端正在并发的线程数之和，得到当前可用线程数；计算预设第一比例与所述系统最大并发数的第一乘积，将所述第一乘积与正在上传和下载文件数的比值作为所述客户端的所述允许并发的上传线程数；如果所述允许并发的上传线程数大于所述客户端允许的最大并发线程数，则将所述允许并发的上传线程数调整为所述客户端允许的最大并发线程数；如果所述允许并发的上传线程数大于当前可用线程数，则将所述允许并发的上传线程数调整为所述当前可用线程数；如果所述允许并发的上传线程数小于1，则将所述允许并发的上传线程数调整为1。4.根据权利要求1所述的文件并发分块上传方法，其特征在于，所述方法还包括...

【专利技术属性】
技术研发人员：唐华云，王建民，赵曦滨，朱妤晴，訾源，封禹，王蒙，
申请(专利权)人：清华大学，
类型：发明
国别省市：