可扩展的日志数据存储方法及装置制造方法及图纸

本发明专利技术提供了可扩展的日志数据存储方法及装置，涉及计算机技术领域，其中，该可扩展的日志数据存储方法包括：首先，比较日志数据中每个字段的变化率与预先设定的标准变化率的大小，之后，当变化率小于标准变化率时，将字段放入字段字典中存储，并由字段ID存储各个字段中不同的键值，字段内容存储各个字段中不同的数值，当变化率大于或者等于标准变化率时，将字段放入模式字典存储，并由模式ID存储各个字段中不同的键值，模式ID存储各个字段中不同的键值，模式内容存储各个字段中不同的数值，即将日志数据分为变化率小的部分和变化率大的部分，能够将字段中的键值以字典的形式进行存放，从而避免了存储过程中存在大量信息冗余的问题。

【技术实现步骤摘要】
可扩展的日志数据存储方法及装置
本专利技术涉及计算机
，尤其涉及可扩展的日志数据存储方法及装置。
技术介绍
日志数据(英文全称为logdata)就是一条日志的内在含义，即日志数据就是一条日志里用来表明为什么生成日志的信息。一般的日志数据包括时间、客户端IP、服务端IP、客户端主机名、服务端主机名、用户、操作等信息，日志保存设备收到日志数据后将数据进行分条，或者整体存储为磁盘文件，其具体存储结构如图1所示。但是，日志数据中有大部分重复的数据，如IP、端口、主机名、操作类型等，在操作过程中逐条存储这些日志数据会导致这部分日志数据重复记录，从而占用大量磁盘空间。综上，目前关于日志数据在存储过程中存在大量的信息冗余的问题，尚无有效的解决办法。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供了可扩展的日志数据存储方法及装置，通过设置字段字典和模式字典等，有效解决了日志数据在存储过程中信息大量冗余的问题。第一方面，本专利技术实施例提供了可扩展的日志数据存储方法，包括：比较日志数据中每个字段的变化率与预先设定的标准变化率的大小；当变化率小于标准变化率时，将字段放入字段字典中进行存储，其中，字段字典中数据的存储格式包括字段ID和字段内容，字段ID用来存储各个字段中不同的键值，字段内容用来存储各个字段中不同的数值；当变化率大于或者等于标准变化率时，将字段放入模式字典进行存储，其中，模式字典中数据的存储格式包括模式ID和模式内容，模式ID用来存储各个字段中不同的键值，模式ID用来存储各个字段中不同的键值，模式内容用来存储各个字段中不同的数值。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，方法还包括：字段字典中数据的存储格式还包括字段计数器，当变化率小于标准变化率时，字段计数器用来存储每个字段出现的次数；当统计各个字段出现的次数时，在字段计数器中提取与统计字段相应的次数。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，方法还包括：模式字典中数据的存储格式还包括模式计数器，当变化率大于或者等于标准变化率时，模式计数器用来存储每个字段出现的次数；当统计各个字段出现的次数时，在模式计数器中提取与统计字段相应的次数。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，方法还包括：按照先验值分别建立字段字典和模式字典。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，方法还包括：根据字段动态建立字段字典和模式字典。结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，方法还包括：当日志数据来自不同的应用程序或者不同的设备时，按照开放式架构和统一的接口进行字段字典和模式字典的建立。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，字段ID和模式ID均以二进制码来表示。第二方面，本专利技术实施例提供了可扩展的日志数据存储装置，包括：变化率比较模块，用于比较日志数据中每个字段的变化率与预先设定的标准变化率的大小；字段存储模块，用于当变化率小于标准变化率时，将字段放入字段字典中进行存储，其中，字段字典中数据的存储格式包括字段ID和字段内容，字段ID用来存储各个字段中不同的键值，字段内容用来存储各个字段中不同的数值；模式存储模块，用于当变化率大于或者等于标准变化率时，将字段放入模式字典进行存储，其中，模式字典中数据的存储格式包括模式ID和模式内容，模式ID用来存储各个字段中不同的键值，模式ID用来存储各个字段中不同的键值，模式内容用来存储各个字段中不同的数值。第三方面，本专利技术实施例还提供一种终端，包括存储器以及处理器，存储器用于存储支持处理器执行上述方面提供的可扩展的日志数据存储方法的程序，处理器被配置为用于执行存储器中存储的程序。第四方面，本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述任一项的方法的步骤。本专利技术实施例提供的可扩展的日志数据存储方法及装置，其中，该可扩展的日志数据存储方法包括：首先是比较日志数据中每个字段的变化率与预先设定的标准变化率的大小，需要进行说明的是，预先设定的标准变化率为一个参考值，并且其数值大小可根据实际使用场景进行灵活设定，经上述比较过程之后，当变化率小于标准变化率时，将字段放入字段字典中进行存储，其中，字段字典中数据的存储格式包括字段ID和字段内容，字段ID用来存储各个字段中不同的键值，相应的，相同的键值在字段字典中用同一个字段ID来表示，从而能够节省字段字典中逐个存储键值所造成的空间浪费，字段内容用来存储各个字段中不同的数值，之后，当变化率大于或者等于标准变化率时，将字段放入模式字典进行存储，在本申请中，模式字典中数据的存储格式包括模式ID和模式内容，并且，模式ID用来存储各个字段中不同的键值，相应的，相同的键值在模式字典中用同一个模式ID来表示，从而能够节省模式字典中逐个存储键值所造成的空间浪费，模式ID用来存储各个字段中不同的键值，模式内容用来存储各个字段中不同的数值，本申请中采用上述键值-数值的存储形式对日志数据进行存储，与现有技术中，每个日志数据都逐一进行存储的模式相比，减少了日志数据大量重复记录的过程，有效节省了日志数据存储所占用的磁盘空间的大小，进而避免了日志数据在存储过程中信息的大量冗余现象。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了现有技术中日志数据存储的结构示意图；图2示出了本专利技术实施例所提供的可扩展的日志数据存储方法的第一流程图；图3示出了本专利技术实施例所提供的可扩展的日志数据存储方法的第二流程图；图4示出了本专利技术实施例所提供的可扩展的日志数据存储装置的结构连接图。图标：11-变化率比较模块；12-字段存储模块；13-模式存储模块。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前，在日志数据存储过程中，需要将日志数据的时间、客户端IP、服务端IP、客户端主机名、服务端主机名、用户、操作等信息一一放入存储空间中进行存储，即日志保存设备收到日志数据后将数据进行分条，或者整体本文档来自技高网...

【技术保护点】
可扩展的日志数据存储方法，其特征在于，包括：比较日志数据中每个字段的变化率与预先设定的标准变化率的大小；当所述变化率小于所述标准变化率时，将所述字段放入字段字典中进行存储，其中，所述字段字典中数据的存储格式包括字段ID和字段内容，所述字段ID用来存储各个字段中不同的键值，所述字段内容用来存储各个字段中不同的数值；当所述变化率大于或者等于所述标准变化率时，将所述字段放入模式字典进行存储，其中，所述模式字典中数据的存储格式包括模式ID和模式内容，所述模式ID用来存储各个字段中不同的键值，所述模式ID用来存储各个字段中不同的键值，所述模式内容用来存储各个字段中不同的数值。

【技术特征摘要】
1.可扩展的日志数据存储方法，其特征在于，包括：比较日志数据中每个字段的变化率与预先设定的标准变化率的大小；当所述变化率小于所述标准变化率时，将所述字段放入字段字典中进行存储，其中，所述字段字典中数据的存储格式包括字段ID和字段内容，所述字段ID用来存储各个字段中不同的键值，所述字段内容用来存储各个字段中不同的数值；当所述变化率大于或者等于所述标准变化率时，将所述字段放入模式字典进行存储，其中，所述模式字典中数据的存储格式包括模式ID和模式内容，所述模式ID用来存储各个字段中不同的键值，所述模式ID用来存储各个字段中不同的键值，所述模式内容用来存储各个字段中不同的数值。2.根据权利要求1所述的可扩展的日志数据存储方法，其特征在于，所述方法还包括：所述字段字典中数据的存储格式还包括字段计数器，当所述变化率小于所述标准变化率时，所述字段计数器用来存储每个字段出现的次数；当统计各个字段出现的次数时，在所述所述字段计数器中提取与统计字段相应的次数。3.根据权利要求1所述的可扩展的日志数据存储方法，其特征在于，所述方法还包括：所述模式字典中数据的存储格式还包括模式计数器，当所述变化率大于或者等于所述标准变化率时，所述模式计数器用来存储每个字段出现的次数；当统计各个字段出现的次数时，在所述模式计数器中提取与统计字段相应的次数。4.根据权利要求1所述的可扩展的日志数据存储方法，其特征在于，所述方法还包括：按照先验值分别建立所述字段字典和所述模式字典。5.根据权利要求1所述的可扩展的日志数据存储方法，其特征在...

【专利技术属性】
技术研发人员：张黎，隆莉，詹金凯，付翔，尤伟志，
申请(专利权)人：杭州闪捷信息科技有限公司，
类型：发明
国别省市：浙江,33