一种数据处理方法及相关设备技术

本申请实施例公开了一种数据处理方法及相关设备，用于文件的导出，提升压缩效率。本申请实施例方法包括：获取N个原始文件，通过多线程拆分N个原始文件，得到M个第一文件，M小于N；通过多线程分别压缩M个第一文件，得到M个第二文件；合并M个第二文件，得到一个目标文件。通过多线程分别压缩M个第一文件，得到M个第二文件。合并M个第二文件，得到一个目标文件。一方面，通过多线程分别压缩的方式，可以提升压缩效率，从而提高文件的导出效率。另一方面，不会产生或记录额外的文件分片信息文件头。产生或记录额外的文件分片信息文件头。产生或记录额外的文件分片信息文件头。

【技术实现步骤摘要】
一种数据处理方法及相关设备


[0001]本申请实施例涉及通信领域，尤其涉及一种数据处理方法及相关设备。

技术介绍

[0002]在互联网技术(internet technology，IT)离线运维场景下，往往需要将运维工具或数据通过导入导出方式与外部进行交互。
[0003]目前，在导入导出过程中，压缩时使用压缩技术将目标文件压缩成一个包，需要遍历所有文件，并逐一打开、读取文件流、关闭文件流，IO效率低下。
[0004]然而，一方面，只能单线程操作，无法充分发挥多核CPU性能。另一方面，当目标文件存在十万级别及以上的小文件情况下压缩效率非常低，从而导致导出时间过长。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法及相关设备。可以用于文件的导出，提升压缩效率。
[0006]本申请实施例第一方面提供了一种数据处理方法，该方法包括：获取N个原始文件，N为大于1的正整数；通过多线程拆分N个原始文件，得到M个第一文件，M为大于1的正整数，且M小于N；通过多线程分别压缩M个第一文件，得到M个第二文件，多线程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取N个原始文件，所述N为大于1的正整数；通过多线程拆分所述N个原始文件，得到M个第一文件，所述M为大于1的正整数，且所述M小于所述N；通过所述多线程分别压缩所述M个第一文件，得到M个第二文件，所述多线程与所述M个第二文件一一对应，所述M个第一文件与所述M个第二文件一一对应；合并所述M个第二文件，得到一个目标文件。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述一个目标文件；拆分所述目标文件，得到所述M个第二文件；通过所述多线程分别解压所述M个第二文件，得到所述M个第一文件；拆分所述M个第一文件，得到所述N个原始文件。3.根据权利要求1所述的方法，其特征在于，所述通过所述多线程拆分所述N个原始文件，得到M个第一文件，包括：通过所述多线程根据预设的字节大小拆分所述N个原始文件，得到所述M个第一文件。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一文件为tar文件，所述第二文件为zip文件，所述目标文件为tar文件。5.一种数据处理装置，其特征在于，包括：获取单元，用于获取N个原始文件，所述N为大于1的正整数；归档单元，用于通过多线程拆分所述N个原始文件，得到M个第一文件，所述M为大于1的正整数，且所述M小于所述N；压缩单元，用于通过所述多线程分别压缩所述M个第一文件，得到M个第二文件，所述多线程与所述M个第...

【专利技术属性】
技术研发人员：刘俊杰，江锦毅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：