日志数据分层存储方法、装置及存储介质制造方法及图纸

本发明专利技术实施例公开了一种日志数据分层存储方法、装置及存储介质，涉及网络技术领域。本发明专利技术的方法包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。本发明专利技术能够降低存储日志数据时的存储空间占有，并提高日志查询效率。

Hierarchical Storage Method, Device and Storage Media of Log Data

【技术实现步骤摘要】
日志数据分层存储方法、装置及存储介质
本专利技术涉及网络
，尤其涉及一种日志数据分层存储方法、装置及存储介质。
技术介绍
随着网络技术的不断发展，产生的日志种类和数量也不断增多，对于日志存储空间的需求也迅速增长。在传统日志存储方案中采用文本文件的方式进行存储，直接将日志源产生的日志数据写入本地日志文件。日志服务器定时检测并收集各个日志文件，并将收集的文件进行压缩存储。在查询日志文件时，需要首先对压缩包进行解压，然后对解压文件进行检索，以获取需要的日志文件。面对海量日志数据，这种方式无法满足存储需求和查询效率。
技术实现思路
本专利技术的实施例提供一种日志数据分层存储方法、装置及存储介质，能够降低对海量日志数据进行存储的空间占用。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面，本专利技术的实施例提供一种日志数据分层存储方法，包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。结合第一方面，在第一方面的第一种可能的实现方式中，所述对所述多个拆分字段分别进行编码处理，得到多个字段编码数据，包括：按照key-value形式，对所述多个拆分字段分别进行编码处理，得到多个字段编码数据，所述key-value为数据型-字段数据，所述字段编码数据包括数据型信息及字段数据信息；所述将所述多个字段编码数据存储在字段空间中，包括：按照key-value形式，将所述多个字段编码数据存储在字段空间中。结合第一方面，在第一方面的第二种可能的实现方式中，所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段之前，还包括：获取所述日志源数据的日志类型；确定所述字段空间中是否存在所述日志类型；若所述字段空间中不存在所述日志类型，则在所述字段空间中创建所述日志类型；所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段包括：若所述字段空间中存在所述日志类型，则所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段。结合第一方面，在第一方面的第三种可能的实现方式中，所述对所述多个拆分字段分别进行编码处理，得到多个字段编码数据之后，还包括：对所述多个字段编码数据进行格式处理，格式处理后的所述多个字段编码数据中携带的数据型信息为有序数值串。结合第一方面，在第一方面的第四种可能的实现方式中，所述方法还包括：响应于接收到日志查询请求，确定所述日志查询请求对应的数据型查询信息；按照所述数据型查询信息在所述字段空间中查询对应的日志数据；对所述数据型查询信息对应的日志数据进行解码处理，并发送至发起所述日志查询请求的客户端。第二方面，本专利技术的实施例提供一种日志数据分层存储装置，包括：获取模块，用于响应于接收到日志存储请求，获取待存储的日志源数据；预处理模块，用于对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；拆分模块，用于基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；编码模块，用于对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；存储模块，用于将所述多个字段编码数据存储在字段空间中。结合第二方面，在第二方面的第一种可能的实现方式中，所述编码模块，还用于按照key-value形式，对所述多个拆分字段分别进行编码处理，得到多个字段编码数据，所述key-value为数据型-字段数据，所述字段编码数据包括数据型信息及字段数据信息；所述存储模块，还用于按照key-value形式，将所述多个字段编码数据存储在字段空间中。结合第二方面，在第二方面的第二种可能的实现方式中，所述装置还包括：所述获取模块，还用于获取所述日志源数据的日志类型；确定模块，用于确定所述字段空间中是否存在所述日志类型；创建模块，用于当所述字段空间中不存在所述日志类型时，则在所述字段空间中创建所述日志类型；所述拆分模块，还用于当所述字段空间中存在所述日志类型时，则所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段。结合第二方面，在第二方面的第三种可能的实现方式中，所述装置还包括：格式处理模块，用于对所述多个字段编码数据进行格式处理，格式处理后的所述多个字段编码数据中携带的数据型信息为有序数值串。结合第二方面，在第二方面的第四种可能的实现方式中，所述装置还包括：所述确定模块，还用于响应于接收到日志查询请求，确定所述日志查询请求对应的数据型查询信息；查询模块，用于按照所述数据型查询信息在所述字段空间中查询对应的日志数据；解码模块，用于对所述数据型查询信息对应的日志数据进行解码处理，并发送至发起所述日志查询请求的客户端。第三方面，本专利技术的实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现第一方面提供的方法的步骤。本专利技术实施例提供的日志数据分层存储方法、装置及存储介质，通过响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。能够过滤掉冗余数据及一些无关数据，即可以在保证关键数据完整性的前提下降低存储日志数据时的存储空间占有；并且，对数据格式进行标准化处理、字段拆分编码并存储，能够在日志查询时，通过查询条件快速查找到对应的日志数据字段，从而可以有效提高日志查询的效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术实施例的日志数据分层存储方法的流程示意图；图2是本专利技术实施例的日志数据分层存储方法的另一流程示意图；图3是本专利技术实施例的日志数据分层存储方法的系统架构图；图4是本专利技术实施例的日志数据分层存储装置结构示意图；图5是本专利技术实施例的日志数据分层存储装置的另一结构示意图；图6是本专利技术实施例的日志数据分层存储装置600的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本专利技术一实施例提供一种日志数据分层存储方法，如图1所示，所述方法包括：101、响应于接收到日志存储请求，获取待存储的日志源数据。102、对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理。其中，数据冗余过滤处理包括对日之源数据中重复信息的过滤及无用信息的过滤。在本专利技术实施例中，通过对预先对日志源数据信本文档来自技高网...

【技术保护点】
1.一种日志数据分层存储方法，其特征在于，包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。

【技术特征摘要】
1.一种日志数据分层存储方法，其特征在于，包括：响应于接收到日志存储请求，获取待存储的日志源数据；对所述日志源数据进行数据预处理，所述数据预处理包括数据冗余过滤处理及数据格式标准化处理；基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段；对所述多个拆分字段分别进行编码处理，得到多个字段编码数据；将所述多个字段编码数据存储在字段空间中。2.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述对所述多个拆分字段分别进行编码处理，得到多个字段编码数据，包括：按照key-value形式，对所述多个拆分字段分别进行编码处理，得到多个字段编码数据，所述key-value为数据型-字段数据，所述字段编码数据包括数据型信息及字段数据信息；所述将所述多个字段编码数据存储在字段空间中，包括：按照key-value形式，将所述多个字段编码数据存储在字段空间中。3.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段之前，还包括：获取所述日志源数据的日志类型；确定所述字段空间中是否存在所述日志类型；若所述字段空间中不存在所述日志类型，则在所述字段空间中创建所述日志类型；所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段包括：若所述字段空间中存在所述日志类型，则所述基于数据拆分算法，对预处理后的数据进行字段拆分，得到多个拆分字段。4.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述对所述多个拆分字段分别进行编码处理，得到多个字段编码数据之后，还包括：对所述多个字段编码数据进行格式处理，格式处理后的所述多个字段编码数据中携带的数据型信息为有序数值串。5.根据权利要求1所述的日志数据分层存储方法，其特征在于，所述方法还包括：响应于接收到日志查询请求，确定所述日志查询请求对应的数据型查询信息；按照所述数据型查询信息在所述字段空间中查询对应的日志数据；对所述数据型查询信息对应的日志数据进行解码处理，并发送至发起所述日志查询请求的客户端。6.一种日志数据分层存储装置...

【专利技术属性】
技术研发人员：龙春，万巍，申罕骥，秦亚魁，付豫豪，杨帆，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：北京,11