一种数据压缩方法技术

本公开提供了一种数据压缩方法

【技术实现步骤摘要】
一种数据压缩方法、装置、设备及存储介质


[0001]本公开涉及数据处理领域，尤其涉及一种数据压缩方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着大数据时代的到来，数据量快速增长，映射归约
MapReduce
技术得到了广泛的应用和发展
。
[0003]在
MapReduce
的
Map
阶段，通过对
Map
阶段输出的中间数据进行压缩可以提高网络传输效率
。
[0004]然而，针对
Map
阶段输出的中间数据进行压缩的方式较单一，已不能满足用户的使用需求，因此，如何丰富
Map
阶段输出的中间数据的压缩方式，以提升用户的使用体验，是目前亟需解决的技术问题
。

技术实现思路

[0005]为了解决上述技术问题，本公开实施例提供了一种数据压缩方法
。
[0006]第一方面，本公开提供了一种数据压缩方法，所述方法包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据压缩方法，其特征在于，所述方法包括：响应于针对映射
Map
阶段输出的目标中间数据的压缩请求，从预先配置的文件中获取所述目标中间数据对应的压缩参数，并将所述目标中间数据对应的压缩参数作为第一压缩参数；其中，所述第一压缩参数中配置多种
Map
输出压缩格式；从所述第一压缩参数中配置的多种
Map
输出压缩格式中，确定目标
Map
输出压缩格式；基于所述目标
Map
输出压缩格式对所述目标中间数据进行压缩，得到压缩后目标中间数据；其中，所述压缩后目标中间数据用于传输至归约
Reduce
阶段
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述目标
Map
输出压缩格式对所述目标中间数据进行压缩，得到压缩后目标中间数据之后，还包括：响应于针对所述
Reduce
阶段输出的目标结果数据的压缩请求，从所述预先配置的文件中获取所述目标结果数据对应的压缩参数，并将所述目标结果数据对应的压缩参数作为第二压缩参数；其中，所述目标结果数据为所述
Reduce
阶段对所述压缩后目标中间数据进行处理得到，所述第二压缩参数中配置多种
Reduce
输出压缩格式；从所述第二压缩参数中配置的多种
Reduce
输出压缩格式中，确定目标
Reduce
输出压缩格式；基于所述目标
Reduce
输出压缩格式对所述目标结果数据进行压缩，得到压缩后目标处理结果数据；其中，所述目标处理结果数据用于传输至存储系统
。3.
根据权利要求1所述的方法，其特征在于，所述从所述第一压缩参数中配置的多种
Map
输出压缩格式中，确定目标
Map
输出压缩格式之前，还包括：显示所述第一压缩参数中配置的多种
Map
输出压缩格式；相应地，所述从所述第一压缩参数中配置的多种
Map
输出压缩格式中，确定目标
Map
输出压缩格式，包括：响应于针对所述第一压缩参数中配置的多种
Map
输出压缩格式的选中操作，将所述选中操作对应的
Map
输出压缩格式作为目标
Map
输出压缩格式
。4.
根据权利要求1所述的方法，其特征在于，所述从所述第一压缩...

【专利技术属性】
技术研发人员：贾晓露，孙璐，张旭，杨文凯，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：