一种流数据的高效检索、压缩系统及压缩方法技术方案

本发明专利技术公开了一种流数据的高效检索、压缩系统及方法，属于物联网数据技术领域，包括：流数据读取模块，用于读取流数据；数据解构模块，对流数据进行解构；数据压缩模块，将数据解构模块传来的数据根据数据类型进行压缩，并将压缩后的数据存储到数据存储模块；数据存储模块，用于存储压缩后的数据。本发明专利技术的有益效果是，根据ChunkSize选择的数值不同，节省流数据存储空间50％

【技术实现步骤摘要】
一种流数据的高效检索、压缩系统及压缩方法


[0001]本专利技术涉及物联网数据
，具体为一种流数据的高效检索、压缩系统及压缩方法。

技术介绍

[0002]随着科技的发展，特别是物联网行业的蓬勃发展，世界上涌现出越来越多的物联网设备，大到一辆汽车，一台生产设备，小到一个手机，一个手环，这些数以亿记的物联网设备每时每刻都产生大量的实时流数据，这些数据通过4G，5G网络上传到云端后，会产生海量的存储需求，同时对这些数据的访问以及分析也会产生大量的数据查询需求。面对海量的数据存储与数据查询需求，流数据(一组顺序、大量、快速、连续到达的数据序列。例如车联网数据，网络监控数据，传感器网络数据，气象测控数据等等，一条典型的流数据通常包含数据产生的时间戳，产生数据的设备id，以及设备上的传感器数据)需要在压缩存储空间与提高查询速度之间作出一个平衡。
[0003]面向行的数据存储是结构化数据存储最常见的形式。如关系型数据库，CSV格式，电子表格等都默认采用面向行的数据存储，它具有如下特点：一、对于一条数据，它的各个字段连续存储；二、数据多条数据，他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流数据的高效检索、压缩系统，其特征在于，包括：流数据读取模块，用于读取流数据；数据解构模块，对流数据进行解构；数据压缩模块，将数据解构模块传来的数据根据数据类型进行压缩，并将压缩后的数据存储到数据存储模块；数据存储模块，用于存储压缩后的数据。2.根据权利要求1所述的一种流数据的高效检索、压缩系统，其特征在于，数据解构模块包括：配置模块：配置执行数据解构与数据压缩的数据量，确定多少行数据执行一次数据解构以及数据压缩，该数据量成为ChunkSize；数据收集模块：读取流数据，并将流数据放入到队列中；数据解构模块：从队列读取流数据解构为字段名与字段值构成的键值对，为后续基于列数据类型的数据压缩以及面向列的流数据存储作准备。3.根据权利要求1所述的一种流数据的高效检索、压缩系统，其特征在于，数据压缩模块判断字段的数据类型，并根据数据类型分别采用Gorilla算法或LZ算法压缩该字段数据。4.根据权利要求1所述的一种流数据的高效检索、压缩系统的压缩方法，其特征在于：包括以下步骤：S1：读取流数据；S2：对流数据进行解构；S3：对解构后的数据进行压缩；S4：对压缩后的数据进行存储。5.根据权利要求4所述的一种流数据...

【专利技术属性】
技术研发人员：张立华，焦健，张沛轩，林野，
申请(专利权)人：博立科技南京有限公司，
类型：发明
国别省市：