一种基于大数据的数据信息处理方法及系统技术方案

技术编号:45753301 阅读:12 留言:0更新日期:2025-07-08 21:46
本发明专利技术属于数据处理技术领域,具体涉及一种基于大数据的数据信息处理方法及系统,其方法包括:根据数据信息中所有数据的频率统计结果构建霍夫曼树;获得通过将根节点到分支节点的路径编码替换为分支节点在所在层的序号的定长编码时,数据量的增加量小于数据量的减少量的特殊层;后续通过霍夫曼树以及特殊层对所有数据进行编码时,对于特殊层对应的目标数据:将目标数据对应的叶子节点在特殊层中的分支节点作为引导节点,将引导节点在特殊层的定长编码与引导节点到目标数据对应的叶子节点的路径编码拼接,得到目标数据的编码结果。本发明专利技术提高了数据信息的压缩结果的压缩率。

【技术实现步骤摘要】

本专利技术涉及数据处理。更具体地,本专利技术涉及一种基于大数据的数据信息处理方法及系统


技术介绍

1、随着数字化转型的加速,企业和服务提供商面临着前所未有的数据洪流;从互联网、物联网到企业内部系统,数据的生成速度和规模呈指数级增长;这种急剧增长的数字化信息不仅需要更强大的数据中心来处理和分析这些数据,还要求企业和服务提供商具备更大的存储容量。

2、大数据的“4v”模型——数据量大(volume)、数据类型多样(variety)、处理速度快(velocity)、数据真实性(veracity)——以及数据价值(value),共同构成了大数据的核心特点。

3、这些特点使得大数据在各个领域具有广泛的应用前景,但也带来了数据存储、处理和分析方面的挑战。

4、霍夫曼编码(huffman coding)因其简单高效的特点,在数据压缩领域得到了广泛应用;通过为出现频率较高的数据分配较短的编码,为出现频率较低的数据分配较长的编码,从而实现数据的无损压缩。

5、通过合理利用数据的频率信息,霍夫曼编码能够在保证数据完整性的前提下本文档来自技高网...

【技术保护点】

1.一种基于大数据的数据信息处理方法,其特征在于,包括:

2.根据权利要求1所述的一种基于大数据的数据信息处理方法,其特征在于,所述根据目标层中所有分支节点的数量,确定目标层的分支节点的定长编码的长度,包括:

3.根据权利要求1所述的一种基于大数据的数据信息处理方法,其特征在于,所述根据根节点到目标层的分支节点的路径编码的长度以及目标层的分支节点的定长编码的长度,确定缩减量,包括:

4.根据权利要求1所述的一种基于大数据的数据信息处理方法,其特征在于,所述通过霍夫曼树以及特殊层对所有数据进行编码,还包括:

5.根据权利要求1所述的一种基于大...

【技术特征摘要】

1.一种基于大数据的数据信息处理方法,其特征在于,包括:

2.根据权利要求1所述的一种基于大数据的数据信息处理方法,其特征在于,所述根据目标层中所有分支节点的数量,确定目标层的分支节点的定长编码的长度,包括:

3.根据权利要求1所述的一种基于大数据的数据信息处理方法,其特征在于,所述根据根节点到目标层的分支节点的路径编码的长度以及目标层的分支节点的定长编码的长度,确定缩减量,包括:

4.根据权利要求1所述的一种基于大数据的数据信息处理方法,其特征在于,所述通过霍夫曼树以及特殊层对所有数据进行编码,还包括:

5.根据权利要求1所述的一种基于大数据的数据信息处理方法,其特征在于,所述通过霍夫曼树以及特殊层对所有数据进行编码,还包括:

6.根据权利...

【专利技术属性】
技术研发人员:张飞张宇豪
申请(专利权)人:广州大一互联网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1