文件传输方法、装置、电子设备和存储介质制造方法及图纸

提供了一种文件传输方法、装置、电子设备及存储介质。文件传输方法包括：接收来自客户端的目标文件的流式数据；对流式数据进行切片处理，以得到目标文件的文件分片数据；存储目标文件的文件分片数据；其中，流式数据基于客户端对目标文件进行切片处理所得到的目标文件的第一文件分片数据生成；目标文件的流式数据包括两个以上目标数据块，每个目标数据块包含一个第一文件分片数据及其对应的分片序号；分片序号用于表示对应的第一文件分片数据在目标文件中相对于其他第一文件分片数据的顺序。序。序。

【技术实现步骤摘要】
文件传输方法、装置、电子设备和存储介质


[0001]本公开涉及计算机
，具体涉及一种文件传输方法、装置、电子设备和存储介质。

技术介绍

[0002]文件传输
目前大多使用并发分片上传技术。在该技术中，每传输一个分片需要向服务端发送一次请求，只有在当前正在传输的分片传输完成后(例如收到文件服务的回复后)，才会开始传输下一分片。从分片发送完成到实际收到服务端的回复，中间的等待时间(即网络链路的闲置时间)往往有上百或上千毫秒，当分片数量较高时，则会导致整体的闲置时间较高。
[0003]流式上传技术是解决分片上传技术所存在的网络链路闲置时间高的问题的有效方法，其不需要成千上百次的向服务端发送请求，而是可以通过固定数量的1次或少数次网络请求即可完成文件上传，从而可以减少闲置时间。然而，传统的流式上传技术需要在服务器使用磁盘来存储传输过程中的大文件数据，这是因为内存空间无法满足大文件处理的需要，容易出现服务器的内存写入放大问题。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]第一方面，根据本公开的一个或多个实施例，提供了一种文件传输方法，应用于服务端，包括：
[0006]接收来自客户端的目标文件的流式数据；
[0007]对所述流式数据进行切片处理，以得到所述目标文件的文件分片数据；
[0008]存储所述目标文件的文件分片数据；
[0009]其中，所述流式数据基于所述客户端对所述目标文件进行切片处理所得到的目标文件的第一文件分片数据生成；所述目标文件的流式数据包括两个以上目标数据块，每个所述目标数据块包含一个第一文件分片数据及其对应的分片序号；所述分片序号用于表示对应的第一文件分片数据在所述目标文件中相对于其他第一文件分片数据的顺序。
[0010]第二方面，根据本公开的一个或多个实施例，提供了一种文件传输方法，应用于客户端，包括：
[0011]对待传输的目标文件进行切片处理，以得到所述目标文件的第一文件分片数据；
[0012]向服务端发送包含所述第一文件分片数据的流式数据，以使服务端执行如下步骤：接收所述流式数据；对所述流式数据进行切片处理，以得到所述目标文件的文件分片数据；存储所述目标文件的文件分片数据；
[0013]其中，所述流式数据包括两个以上目标数据块，每个所述目标数据块包含一个第
一文件分片数据及其对应的分片序号；所述分片序号用于表示对应的第一文件分片数据在所述目标文件中相对于其他第一文件分片数据的顺序。
[0014]第三方面，根据本公开的一个或多个实施例，提供了一种文件传输装置，包括：
[0015]接收单元，用于接收来自客户端的目标文件的流式数据；
[0016]切片单元，用于对所述流式数据进行切片处理，以得到所述目标文件的文件分片数据；
[0017]存储单元，用于存储所述目标文件的文件分片数据；
[0018]其中，所述流式数据基于所述客户端对所述目标文件进行切片处理所得到的目标文件的第一文件分片数据生成；所述目标文件的流式数据包括两个以上目标数据块，每个所述目标数据块包含一个第一文件分片数据及其对应的分片序号；所述分片序号用于表示对应的第一文件分片数据在所述目标文件中相对于其他第一文件分片数据的顺序。
[0019]第四方面，根据本公开的一个或多个实施例，提供了一种文件传输装置，包括：
[0020]切片单元，用于对待传输的目标文件进行切片处理，以得到所述目标文件的第一文件分片数据；
[0021]发送单元，用于向服务端发送包含所述第一文件分片数据的流式数据，以使服务端执行如下步骤：接收所述流式数据；对所述流式数据进行切片处理，以得到所述目标文件的文件分片数据；存储所述目标文件的文件分片数据；
[0022]其中，所述流式数据包括两个以上目标数据块，每个所述目标数据块包含一个第一文件分片数据及其对应的分片序号；所述分片序号用于表示对应的第一文件分片数据在所述目标文件中相对于其他第一文件分片数据的顺序。
[0023]第五方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个存储器和至少一个处理器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以使所述电子设备执行根据本公开的一个或多个实施例提供的文件传输方法。
[0024]第六方面，根据本公开的一个或多个实施例，提供了一种非暂态计算机存储介质，所述非暂态计算机存储介质存储有程序代码，所述程序代码被计算机设备执行时，使得所述计算机设备执行根据本公开的一个或多个实施例提供的文件传输方法。
[0025]根据本公开的一个或多个实施例，通过接收来自客户端的目标文件的流式数据，对流式数据进行切片处理以得到目标文件的文件分片数据，并存储目标文件的文件分片数据，既可以通过流式传输减少在传输目标文件过程中产生的网络链路闲置时间，又通过在服务端对接收到的流式数据进行切片处理，使得目标文件的文件分片数据能够被快速存储和内存回收，从而减少了在服务端存储目标文件时的内存占用率，避免产生内存写入放大问题。并且，通过使客户端先在本地对待传输的目标文件进行切片处理，目标文件的流式数据包含多个目标数据块，每个目标数据块包含目标文件的文件序号及相应的分片序号，从而为实现文件分片的断点续传和并发式无序传输提供基础。
附图说明
[0026]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理
解附图是示意性的，原件和元素不一定按照比例绘制。
[0027]图1为根据本公开一实施例提供的文件传输方法的流程图；
[0028]图2为根据本公开一实施例提供的文件传输系统的结构示意图
[0029]图3为根据本公开一实施例提供的文件传输系统的信号流图；
[0030]图4为根据本公开另一实施例提供的文件传输方法的流程图；
[0031]图5为根据本公开一实施例提供的文件传输装置的结构示意图；
[0032]图6为根据本公开另一实施例提供的文件传输装置的结构示意图；
[0033]图7为根据本公开一实施例提供的电子设备的结构示意图。
具体实施方式
[0034]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0035]应当理解，本公开的实施方式中记载的步骤可以按照不同的顺序执行，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件传输方法，应用于服务端，其特征在于，包括：接收来自客户端的目标文件的流式数据；对所述流式数据进行切片处理，以得到所述目标文件的文件分片数据；存储所述目标文件的文件分片数据；其中，所述流式数据基于所述客户端对所述目标文件进行切片处理所得到的目标文件的第一文件分片数据生成；所述目标文件的流式数据包括两个以上目标数据块，每个所述目标数据块包含一个第一文件分片数据及其对应的分片序号；所述分片序号用于表示对应的第一文件分片数据在所述目标文件中相对于其他第一文件分片数据的顺序。2.根据权利要求1所述的方法，其特征在于，还包括：所述流式数据采用两个以上链路并发传输，每个链路分别流式传输至少一个第一文件分片数据形成的流式数据。3.根据权利要求1所述的方法，其特征在于，所述目标文件的文件分片数据包括所述第一文件分片数据；所述方法还包括：基于所述服务端得到的第一文件分片数据所对应的分片序号和所述目标文件所包含的第一文件分片数据的总分片数，确定未成功传输至所述服务端的第一文件分片数据；向客户端发送预设的错误信息，所述错误信息用于指示所述未成功传输至所述服务端的第一文件分片数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于所述总分片数构建具有标识的标识集合，所述标识的数量与所述总分片数相同；所述标识与所述第一文件分片数据一一对应，所述标识用于标识所对应的第一文件分片数据是否上传成功；所述基于所述服务端得到的第一文件分片数据所对应的分片序号和所述目标文件所包含的第一文件分片数据的总分片数，确定未成功传输至所述服务端的第一文件分片数据，包括：基于所述服务端得到的文件分片数据所对应的分片序号，更新所述标识集合；基于所述标识集合确定所述未成功传输的文件分片数据。5.根据权利要求4所述的方法，其特征在于，所述标识集合包括位图。6.根据权利要求4所述的方法，其特征在于，所述基于所述总分片数构建具有标识的标识集合，包括：在所述接收来自客户端的目标文件的流式数据之前，响应于来自所述客户端的针对所述目标文件的第一上传请求，基于所述总分片数构建所述标识集合；其中，所述总分片数携带于所述第一上传请求中，或者所述总分片数基于预先确定的文件分片大小和所述第一上传请求携带的所述目标文件的大小确定。7.根据权利要求1所述的方法，其特征在于，在接收来自客户端的目标文件的流式数据之前，该方法还包括：响应于来自所述客户端的针对所述目标文件的第一上传请求，生成与所述目标文件唯一对应的文件上传标识；向所述客户端发送所述目标文件的文件上传标识，以使所述文件上传标识能够被携带于客户端后续针对所述目标文件发送的上传和/或续传请求中。8.根据权利要求1所述的方法，其特征在于，所述目标数据块还包括与所述文件分片数
据对应的目标校验信息；所述方法还包括：基于服务端通过切片处理得到的所述目标文件的文件分片数据，计算目标校验信息；将计算得到的目标校验信息与目标数据块内的目标校验信息进行比对，以确定所述目标数据块内的文件分片数据是否准确。9.一种文件传输方法，应用于客户端，其特征在于，包括：对待传输的目标文件进...

【专利技术属性】
技术研发人员：陈星潼，李明健，陈如东，李承杰，王祥庆，郝拯华，宋祥伍，徐之刚，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：