一种文件处理方法、设备及介质技术

技术编号:45905676 阅读:20 留言:0更新日期:2025-07-22 21:30
本申请公开了一种文件处理方法、设备及介质,涉及计算机技术领域,应用于服务端,包括:利用可动态扩展的微服务集群,考虑其资源分配利用情况,生成针对上传文件的分片方案,同时,从并发角度利用微服务集群提升客户端上传分片数据的速度,不仅有效利用服务端的资源,而且还大大提高文件上传的速度和文件上传的容错率;进一步的,基于构建的动态字典建立并行压缩方案,并且针对动态构造的字典进行持久化,能够在提高压缩/解压缩速度的同时,保证良好的压缩率以减少存储资源的占用;总体而言,本发明专利技术能够大大提高文件传输和压缩任务的效率。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种文件处理方法、设备及介质


技术介绍

1、在当今数字化时代,数据交互和存储需求不断增长,文件上传功能成为众多应用程序不可或缺的一部分。传统的大文件分片通常为直接上传,或者分片串行上传,涉及到对上传文件的压缩存储,通常为使用一定的压缩算法对文件整体进行压缩,然后存储到指定文件服务器。然而该方式有几个缺点:一是上传速度较慢,且直接上传失败后需要重新上传整个文件,功能体验很差;二是压缩速度和压缩率一般,存在优化的空间。


技术实现思路

1、本申请提供了一种文件处理方法、设备及介质,以至少解决相关技术中文件传输和压缩任务效率低下的问题。

2、第一方面,本申请提供了一种文件处理方法,应用于服务端,包括:

3、当客户端通过分片上传的执行方式执行文件上传任务时,检测微服务集群的资源分配利用情况,并根据资源分配利用情况为文件上传任务生成相应的分片方案;微服务集群为动态可扩展的集群;

4、获取客户端基于分片方案确定并一次性并发传输的分片数据,并基于预设路由规则将分本文档来自技高网...

【技术保护点】

1.一种文件处理方法,其特征在于,应用于服务端,包括:

2.根据权利要求1所述的文件处理方法,其特征在于,还包括:

3.根据权利要求2所述的文件处理方法,其特征在于,还包括:

4.根据权利要求2所述的文件处理方法,其特征在于,还包括:

5.根据权利要求1所述的文件处理方法,其特征在于,所述检测微服务集群的资源分配利用情况,并根据所述资源分配利用情况为所述文件上传任务生成相应的分片方案,包括:

6.根据权利要求5所述的文件处理方法,其特征在于,获取所述客户端基于所述分片方案确定并一次性并发传输的分片数据,并基于预设路由规则将所述分...

【技术特征摘要】

1.一种文件处理方法,其特征在于,应用于服务端,包括:

2.根据权利要求1所述的文件处理方法,其特征在于,还包括:

3.根据权利要求2所述的文件处理方法,其特征在于,还包括:

4.根据权利要求2所述的文件处理方法,其特征在于,还包括:

5.根据权利要求1所述的文件处理方法,其特征在于,所述检测微服务集群的资源分配利用情况,并根据所述资源分配利用情况为所述文件上传任务生成相应的分片方案,包括:

6.根据权利要求5所述的文件处理方法,其特征在于,获取所述客户端基于所述分片方案确定并一次性并发传输的分片数据,并基于预设路由规则将所述分片数据分发至所述微服务集群,包括:

7.根据权利要求6所述的文件处理方法,其特征在于,所述根据所述分片路由标识和所述任务编号将所述分片数据分发至所述微服务集群的过程中,还包括:

8.根据权利要求1所述的文件处理方法,其特征在于,所述利用所述微服务集群启动多线程对所述分片数据进行并发压缩,包括:

9.根据权利要求1所述的文...

【专利技术属性】
技术研发人员:王志豪王晓通陈春风
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1