日志缩减方法、装置、计算机设备和计算机可读存储介质制造方法及图纸

本发明专利技术提供一种日志缩减方法、装置、计算机设备和计算机可读存储介质。方法包括：按照预设的类别模型结合预设的计算统计公式，实时统计接收到的客户端发送的查询类请求的数量；基于查询类请求，产生对应的入参请求报文和响应报文，将响应报文发送至所述客户端；当查询类请求的数量在预设时间范围内达到对应的预设访问量阈值时，则执行预设操作，其中，预设操作包括将查询类请求对应的入参请求报文存储至日志表且不存储响应报文。本发明专利技术可有效减少日志表和服务器日志的数据存储量和增长量，避免存在大量重复日志而导致日志表或服务器日志过于臃肿，提高了服务器运行的性能，减少无效的日志，大大提升了日志排查的有效性和生产问题排查的响应效率。问题排查的响应效率。问题排查的响应效率。

【技术实现步骤摘要】
日志缩减方法、装置、计算机设备和计算机可读存储介质


[0001]本专利技术涉及日志文件处理
，尤其涉及一种日志缩减方法、装置、计算机设备和计算机可读存储介质。

技术介绍

[0002]随着互联网的高速发展，信息数据增速明显，需要存储的数据规模越来越大，因此也会产生大量的日志信息需要记录，而这些记录大多都是重复的。特别是在金融行业，每天都会产生上亿条日志信息量，以几十个G的速度增长。常规的日志记录系统都是将所有的日志信息进行记录，毫不改动的存储到日志表和服务器中，这样会造成大量的数据冗余，大量的日志信息很快就会把服务器的磁盘空间堆满，从而导致系统运行速度和服务器访问速度减慢，也会导致数据库因日志文件太多而造成写数据慢的情况。同时，也需要技术人员频繁的对日志进行清除和归档，导致无法实时查询历史日志。
[0003]目前，为了解决服务器不会出现因为磁盘空间被日志信息完全占用而导致系统运行异常的问题，通常采用降低日志写入标准的方式，但是这会造成后期相关技术人员查看日志文件时信息丢失严重，严重影响日志信息的完整性和精确性。

技术实现思路

[0004]有鉴于此，本专利技术的目的是为了克服现有技术中的不足，提供一种日志缩减方法、装置、计算机设备和计算机可读存储介质，解决当前因日志量过多而导致服务器访问速度慢的问题。
[0005]本公开实施例提供了一种日志缩减方法、装置、计算机设备和计算机可读存储介质。
[0006]第一方面，本公开实施例中提供了一种日志缩减方法，应用于服务器，所述方法包括：
[0007]按照预设的类别模型结合预设的计算统计公式，实时统计接收到的客户端发送的查询类请求的数量；
[0008]基于所述查询类请求，产生对应的入参请求报文和响应报文，将所述响应报文发送至所述客户端；
[0009]当所述查询类请求的数量在预设时间范围内达到对应的预设访问量阈值时，则执行预设操作，其中，所述预设操作包括将所述查询类请求对应的入参请求报文存储至日志表且不存储所述响应报文。
[0010]进一步地，所述方法还包括：
[0011]将预设间隔时间阈值内的查询类请求存储至服务器日志；
[0012]将超过预设间隔时间阈值的查询类请求对应的入参请求报文存储至所述日志表。
[0013]进一步地，所述方法还包括：
[0014]当所述入参请求报文的大小达到预设阈值时，将所述入参请求报文压缩后存储至
所述日志表。
[0015]进一步地，所述方法还包括：
[0016]将所述入参请求报文中的内容与预设的无效字段对比；
[0017]若存在与预设的无效字段相同的字段，则将所述入参请求报文中与预设的无效字段相同的字段删除。
[0018]进一步地，所述方法还包括：
[0019]利用预设的重复度识别模型对所述入参请求报文进行识别；
[0020]若存在两个重复度达到预设重复度阈值的入参请求报文，则将其中一个入参请求报文删除。
[0021]进一步地，所述方法还包括：
[0022]判断已经保存至所述日志表的入参请求报文中是否存在预设url地址；
[0023]若存在，则删除将要存储至所述日志表的入参请求报文中的预设url地址。
[0024]第二方面，本公开实施例中提供了一种日志缩减装置，所述装置包括：
[0025]统计模块，用于按照预设的类别模型结合预设的计算统计公式，实时统计接收到的客户端发送的查询类请求的数量；
[0026]发送模块，用于基于所述查询类请求，产生对应的入参请求报文和响应报文，将响应报文发送至所述客户端；
[0027]第一存储模块，用于当所述查询类请求的数量在预设时间范围内达到对应的预设访问量阈值时，则执行预设操作，其中，所述预设操作包括将所述查询类请求对应的入参请求报文存储至日志表且不存储所述响应报文。
[0028]进一步地，所述装置还包括：
[0029]第二存储模块，用于将预设间隔时间阈值内的查询类请求存储至服务器日志；
[0030]第三存储模块，用于将超过预设间隔时间阈值的查询类请求对应的入参请求报文存储至所述日志表。
[0031]第三方面，本公开实施例中提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述的日志缩减方法的步骤。
[0032]第四方面，本公开实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的日志缩减方法的步骤。
[0033]本专利技术的实施例具有如下优点：
[0034]本申请实施例提供的日志缩减方法，按照预设的类别模型结合预设的计算统计公式，实时统计接收到的客户端发送的查询类请求的数量；基于所述查询类请求，产生对应的入参请求报文和响应报文，将响应报文发送至所述客户端；当所述查询类请求的数量在预设时间范围内达到对应的预设访问量阈值时，则执行预设操作，其中，所述预设操作包括将所述查询类请求对应的入参请求报文存储至日志表且不存储所述响应报文。本专利技术可有效减少日志表和服务器日志的数据存储量和增长量，避免存在大量重复日志而导致日志表或服务器日志过于臃肿，提高了服务器运行的性能，减少无效的日志，缩减日志长度，大大提升了日志排查的有效性和生产问题排查的响应效率。
[0035]为使本专利技术的上述目的、特征和优点能更明显和易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。
附图说明
[0036]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0037]图1示出了本申请实施例提供的一种日志缩减方法的流程图；
[0038]图2示出了本申请实施例提供的一种日志缩减装置的结构示意图；
[0039]图3示出了本申请实施例提供的计算机设备的硬件架构示意图。
具体实施方式
[0040]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0041]需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。相反，当元件被称作“直接在”另一元件“上”时，不存在中间元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
[0042]在本专利技术中，除非另有明确的规定和限定，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志缩减方法，其特征在于，应用于服务器，所述方法包括：按照预设的类别模型结合预设的计算统计公式，实时统计接收到的客户端发送的查询类请求的数量；基于所述查询类请求，产生对应的入参请求报文和响应报文，将所述响应报文发送至所述客户端；当所述查询类请求的数量在预设时间范围内达到对应的预设访问量阈值时，则执行预设操作，其中，所述预设操作包括将所述查询类请求对应的入参请求报文存储至日志表且不存储所述响应报文。2.根据权利要求1所述的日志缩减方法，其特征在于，所述方法还包括：将预设间隔时间阈值内的查询类请求存储至服务器日志；将超过预设间隔时间阈值的查询类请求对应的入参请求报文存储至所述日志表。3.根据权利要求1所述的日志缩减方法，其特征在于，所述方法还包括：当所述入参请求报文的大小达到预设阈值时，将所述入参请求报文压缩后存储至所述日志表。4.根据权利要求1所述的日志缩减方法，其特征在于，所述方法还包括：将所述入参请求报文中的内容与预设的无效字段对比；若存在与预设的无效字段相同的字段，则将所述入参请求报文中与预设的无效字段相同的字段删除。5.根据权利要求1所述的日志缩减方法，其特征在于，所述方法还包括：利用预设的重复度识别模型对所述入参请求报文进行识别；若存在两个重复度达到预设重复度阈值的入参请求报文，则将其中一个入参请求报文删除。6.根据权利要求1所述的日志缩减方法，其特征在于，所述方法还...

【专利技术属性】
技术研发人员：易旺，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：