一种基于时空双重压缩的分布式大数据日志汇聚方法技术

一种基于时空双重压缩的分布式大数据日志汇聚方法，属于大数据日志采集和数据压缩处理技术领域，本发明专利技术引入了以时间和空间维度分别进行数据压缩的思想，在进行压缩时，充分的将日志数据中的天然信息加以识别，在进行真实的去重算法之前就将数据进行一定程度的优化，将时间字段在算法运行之前就进行归并，同一时间段的数据一块计算，“时间”字段就不会参与到耗费巨大的去重算法中，以此类推，“空间”字段也可以据此优化。这样也改善了去重算法中最关键的“如何确定切分快长度”的问题，整体上提高数压缩的准确率和效率，提升数据压缩的效果，数据经过有效的压缩之后，在传输到汇聚端存储，节约了大量的带宽和存储资源。

【技术实现步骤摘要】
一种基于时空双重压缩的分布式大数据日志汇聚方法
本专利技术属于大数据日志采集和数据压缩处理
，特别是涉及到一种基于时空双重压缩的分布式大数据日志汇聚方法。
技术介绍
大数据时代的分布式日志汇聚过程中，来源于多个采集客户端的海量日志数据，并发的源源不断的向目标端汇聚传输，带来了带宽上的巨大压力，同时也向汇聚端的存储空间带来了严峻挑战，甚至会引起生产系统的运行不稳定。目前，针对于分布式大数据日志汇聚的方法主要为以下三种：(1)多采集客户端→汇聚端存储使用ELK等日志采集和索引组件实现分布式日志汇聚：Logstash安装在采集处，作为client，进行日志的搜集、过滤，client端安装在需要收集日志的主机上，Logstash的server端负责将收到的各节点日志一并发往Elasticsearch上。Elasticsearch进行数据的分布式搜索引擎建模，提供搜集、存储功能。Kibana完成日志展示和检索的Web界面，即所有的数据传输和存储，以及优化都是在开源组件ELK内部实现的。(2)多采集客户端→汇聚端存储→汇聚端本地压缩在数据从多分布式的采集客户端采集之后传输到汇聚存储端，而后本文档来自技高网...

【技术保护点】
1.一种基于时空双重压缩的分布式大数据日志汇聚方法，其特征是：包括以下步骤，步骤一、建立基于时空双重压缩的分布式大数据日志汇聚系统，包括一个以上的分布式采集客户端、压缩池模块以及汇聚存储端；所述压缩池包括一级去重池和二级去重池；步骤二、分布式采集客户端将全量数据日志Data发送到压缩池模块并标记时间标签和位置标签；步骤三、全量数据日志Data进入一级去重池内，按照时间维度进行分组划分，在同一秒内，将来自不同客户端的Data提取出时间字段，进行分组处理后取值相同，同时也保留设备ID字段在原始文本中，对其余字段进行去重，得到的元数据存储在位置元数据PlaceMetadata表中，获得全量去重后时间...

【技术特征摘要】
1.一种基于时空双重压缩的分布式大数据日志汇聚方法，其特征是：包括以下步骤，步骤一、建立基于时空双重压缩的分布式大数据日志汇聚系统，包括一个以上的分布式采集客户端、压缩池模块以及汇聚存储端；所述压缩池包括一级去重池和二级去重池；步骤二、分布式采集客户端将全量数据日志Data发送到压缩池模块并标记时间标签和位置标签；步骤三、全量数据日志Data进入一级去重池内，按照时间维度进行分组划分，在同一秒内，将来自不同客户端的Data提取出时间字段，进行分组处理后取值相同，同时也保留设备ID字段在原始文本中，对其余字段进行去重，得到的元数据存储在位置元数据PlaceMetadata表中，获得全量去重后时间序列数据TS-Data；步骤四、将步骤三获得...

【专利技术属性】
技术研发人员：于富东，匙凯，杨林，
申请(专利权)人：吉林吉大通信设计院股份有限公司，
类型：发明
国别省市：吉林,22