【技术实现步骤摘要】
一种基于数据处理的大文件分片传输方法、系统和介质
[0001]本申请涉及文件分片处理
,具体而言,涉及一种基于数据处理的大文件分片传输方法、系统和介质。
技术介绍
[0002]在项目管理系统中,有涉及到项目的每个阶段的文档管理需求包括大量的视频文件以及项目过程件,需要从前端向后端传输大型文件,而单次的请求不能满足传输大文件的需要,对于大文件的处理,无论是用户端化还是服务端,如果一次性读取发送、接收容易造成内存问题,因此对于大文件上传需采取切块分段上传,而对于各类大文件的分片上传,需要设计前后端的优化配合,并且存在如何分片和如何对应无误的识别处理和验证,以获得分片的合并,同时大文件分片上传易出现中断和不完全弊端,而这些问题都需要优化合理设计。
[0003]针对上述问题,目前亟待有效的技术解决方案。
技术实现思路
[0004]本申请实施例的目的在于提供一种基于数据处理的大文件分片传输方法、系统和介质,可以通过对大文件进行功能模块化分片和标识获得分片符号信息,再结合分片信息进行处理获得散列值的对比结果,后进行分片合并,实现对大文件的优化分片管理以及断点检验和中断上传技术,以及实现前端、服务端以及存储端的分片处理以及关联信息交互的模块分片关联设计功能。
[0005]本申请实施例还提供了一种基于数据处理的大文件分片传输方法,包括以下步骤:前端单元对待传输大文件进行分片处理获得分片信息,并结合对应分片传递给文件服务单元,文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元;前端单元根 ...
【技术保护点】
【技术特征摘要】
1.一种基于数据处理的大文件分片传输方法,包括以下步骤:前端单元对待传输大文件进行分片处理获得分片信息,并结合对应分片传递给文件服务单元,文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元;前端单元根据接收的签名和标识信息对分片进行关联,并结合分片的序列号信息进行信息捆绑,生成分片符号信息;前端单元将所述分片符号信息发送至文件服务单元,并将对应分片上传至存储集群单元,同时对上传进度进行同步显示;存储集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元,以调取分片符号信息;文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权,获得第一修正散列值,并与所述待传输大文件的第二散列值进行对比,判断分片上传完整度;若分片上传完整度符合要求,则文件服务单元从存储集群单元调取对应分片,并进行分片合并获得合并文件;文件服务单元将合并文件的结果反馈至前端单元。2.根据权利要求1所述的基于数据处理的大文件分片传输方法,其特征在于,所述前端单元对待传输大文件进行分片处理获得分片信息,并结合对应分片传递给文件服务单元,文件服务单元对各分片进行签名和标识并将处理信息返回至前端单元,包括:前端单元对待传输大文件根据大文件属性通过预设分片模型进行分片处理,获得分片信息,包括分片类型特征信息、分片属性特征信息、分片功用信息;前端单元将全部分片以及对应所述分片信息传递给文件服务单元,文件服务单元根据所述分片信息对各分片进行签名并链接,生成标识ID信息和上传链接信息;所述文件服务单元将接收的所述全部分片对应的所述标识ID信息和上传链接信息返回至前端单元。3.根据权利要求2所述的基于数据处理的大文件分片传输方法,其特征在于,所述前端单元根据接收的签名和标识信息对分片进行关联,并结合分片的序列号信息进行信息捆绑,生成分片符号信息,包括:前端单元根据接收的所述标识ID信息与对应分片进行标识关联,并获取所述分片对应的序列号信息;将所述序列号信息结合分片大小以及所述标识ID信息进行信息捆绑,生成分片符号信息。4.根据权利要求3所述的基于数据处理的大文件分片传输方法,其特征在于,所述前端单元将所述分片符号信息发送至文件服务单元,并将对应分片上传至存储集群单元,同时对上传进度进行同步显示,包括:前端单元根据所述分片符号信息生成分片发送信息;通过对应的所述上传链接信息将所述分片发送信息发送至文件服务单元;将对应所述分片上传至存储集群单元生成目标分片;前端单元同时对上传进度进行同步显示。5.根据权利要求4所述的基于数据处理的大文件分片传输方法,其特征在于,所述存储
集群单元根据接收的分片获取对应关联信息并反馈至文件服务单元,以调取分片符号信息,包括:存储集群单元根据接收到的所述目标分片获取对应关联的标识ID信息;将所述标识ID信息反馈至所述文件服务单元;文件服务单元根据所述标识ID信息调取所述目标分片的分片符号信息。6.根据权利要求5所述的基于数据处理的大文件分片传输方法,其特征在于,所述文件服务单元根据所述分片符号信息提取序列号信息并结合分片信息进行聚合和加权,获得第一修正散列值,并与所述待传输大文件的第二散列值进行对比,判断分片上传完整度,包括:当前端单元的分片上传进度完成后,文件服务...
【专利技术属性】
技术研发人员:袁石安,王毅,李大利,
申请(专利权)人:深圳普菲特信息科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。