日志数据分层存储方法、装置及存储介质制造方法及图纸

本发明专利技术实施例公开了一种日志数据分层存储方法、装置及存储介质，涉及网络技术领域。本发明专利技术的方法包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。本发明专利技术能够降低存储日志数据时的存储空间占有，并提高日志查询效率。

Hierarchical Storage Method, Device and Storage Media of Log Data

【技术实现步骤摘要】
日志数据分层存储方法、装置及存储介质
本专利技术涉及网络
，尤其涉及一种日志数据分层存储方法、装置及存储介质。
技术介绍
随着网络技术的不断发展，产生的日志种类和数量也不断增多，对于日志存储空间的需求也迅速增长。在传统日志存储方案中采用文本文件的方式进行存储，直接将日志源产生的日志数据写入本地日志文件。日志服务器定时检测并收集各个日志文件，并将收集的文件进行压缩存储。在查询日志文件时，需要首先对压缩包进行解压，然后对解压文件进行检索，以获取需要的日志文件。面对海量日志数据，这种方式无法满足存储需求和查询效率。
技术实现思路
本专利技术的实施例提供一种日志数据分层存储方法、装置及存储介质，能够降低对海量日志数据进行存储的空间占用。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面，本专利技术的实施例提供一种日志数据分层存储方法，包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到本文档来自技高网...

【技术保护点】
1.一种日志数据分层存储方法，其特征在于，包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。

【技术特征摘要】
1.一种日志数据分层存储方法，其特征在于，包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。2.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述对所述多个拆分字段分别进行编码处理，得到多个字段编码数据，包括：按照key-value形式，对所述多个拆分字段分别进行编码处理，得到多个字段编码数据，所述key-value为数据型-字段数据，所述字段编码数据包括数据型信息及字段数据信息；所述将所述多个字段编码数据存储在字段空间中，包括：按照key-value形式，将所述多个字段编码数据存储在字段空间中。3.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段之前，还包括：获取所述日志源数据的日志类型；确定所述字段空间中是否存在所述日志类型；若所述字段空间中不存在所述日志类型，则在所述字段空间中创建所述日志类型；所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段包括：若所述字段空间中存在所述日志类型，则所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段。4.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述对所述多个拆分字段分别进行编码处理，得到多个字段编码数据之后，还包括：对所述多个字段编码数据进行格式处理，格式处理后的所述多个字段编码数据中携带的数据型信息为有序数值串。5.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述方法还包括：响应于接收到日志查询请求，确定所述日志查询请求对应的数据型查询信息；按照所述数据型查询信息在所述字段空间中查询对应的日志数据；对所述数据型查询信息对应的日志数据进行解码处理，并发送至发起所述日志查询请求的客户端。6.一种日志数据分层存储装置...

【专利技术属性】
技术研发人员：龙春，万巍，申罕骥，秦亚魁，付豫豪，杨帆，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：北京,11