【技术实现步骤摘要】
本申请涉及数据处理，特别是涉及一种日志的归档方法、装置及处理器。
技术介绍
1、服务网关调用日志是记录服务网关在转发客户端请求到后端微服务，以及接收并返回响应的过程中产生的信息。这些日志对于监控、故障排查、性能分析和安全审计至关重要。然而，针对接口调用量很大的业务而言，在一段时间内积累的调用日志可能会变得庞大。这给业务系统造成了两方面困难：一方面，业务系统的存储空间有限，因此难以长时间保留业务系统相关的服务网关调用日志；另一方面，业务系统内存储大量的日志会对业务系统的实时调用情况的分析造成干扰，使得处理和分析这些日志变得困难。
技术实现思路
1、基于上述问题，本申请提供了一种日志的归档方法、装置及处理器，目的是减小业务系统中的服务网关调用日志占用的存储空间，同时降低日志处理和分析的难度。
2、本申请实施例公开了如下技术方案：
3、一种日志的归档方法，所述方法包括：
4、查询存储系统中是否存在未归档的原始日志；所述存储系统包括多个级别依次递减的归档统计表；每个归档统计表分别设置有归档数据量阈值；
5、若存在，则查询所述原始日志已存储至所述存储系统的总存储时长，当所述原始日志的存储时间大于或等于归档时间阈值时，对所述原始日志进行归档处理得到归档日志，并将所述归档日志存储至一级归档统计表中；所述一级归档统计表为所述存储系统内级别最高的归档统计表；
6、若不存在，则查询各级归档统计表中归档日志的数据总量是否大于或等于各自对应的归档
7、其中，在所述原始日志归档至所述一级归档统计表后，删除所述存储系统中的所述原始日志；将当前归档统计表中的归档日志归档到存储下一级归档统计表时，将所述当前归档统计表中的归档日志删除；每次归档后的日志的数据量小于归档前的日志的数据量。
8、在一种可能的实现方式中，日志的归档处理过程包括：
9、确定待归档日志中的一个或多个关键信息和关键信息对应的信息关键等级；所述待归档日志为待归档统计表中的日志；所述待归档统计表为归档日志的数据总量大于或等于其对应的归档数据量阈值的归档统计表；每级归档统计表对应一个或多个信息关键等级；随着级别的递减每个归档统计表对应的信息关键等级的数量依次递减；
10、基于所述待归档统计表的下一级归档统计表对应的信息关键等级，从所述一个或多个关键信息中确定一个或多个归档信息；
11、基于所述待归档日志的语义逻辑将所述归档信息进行组合，得到归档日志，将所述归档日志存储到所述待归档统计表的下一级归档统计表中。
12、在一种可能的实现方式中，所述方法还包括：
13、基于所述原始日志对应的业务信息，检索所述原始日志中是否记录了所述业务信息中关键事件；所述关键事件基于所述业务信息的业务标签确定；
14、若是，则创建原始日志的副本，将所述原始日志的副本记录为重要日志，并将所述重要日志记录在所述存储系统中的重要日志区；
15、否则，则将所述原始日志汇总为概要日志，并将所述概要日志记录在所述存储系统中的概要日志区；
16、其中，所述重要日志、所述重要日志对应的原始日志和基于所述重要日志的原始日志归档后的归档日志具有相同的唯一标识；所述概要日志、所述概要日志的原始日志和基于所述概要日志的原始日志归档后的归档日志具有相同的唯一标识。
17、在一种可能的实现方式中，所述每级归档统计表包括多类归档统计表；
18、所述方法还包括：
19、获取日志的各种业务类型，并设置多个归档统计表级别；
20、在各个所述归档统计表级别下，基于所述各种业务类型构建多类归档统计表。
21、在一种可能的实现方式中，所述方法包括：
22、将所述原始日志以文本寄送的格式备份到磁盘中。
23、在一种可能的实现方式中，所述方法包括：
24、获取目标日志查询请求；所述目标日志查询请求包括目标业务类型和目标时间范围；
25、基于所述目标业务类型从所述存储系统中的各级归档统计表中，确定一个或多个目标归档统计表；
26、基于所述目标时间范围，从所述一个或多个目标归档统计表中查询所述目标日志查询请求对应的归档日志作为目标日志；
27、查询所述目标日志的唯一标识对应的重要日志，基于所述重要日志对所述目标日志进行日志补充得到输出日志。
28、在一种可能的实现方式中，所述查询所述目标日志的唯一标识对应的重要日志，基于所述重要日志对所述目标日志进行日志补充得到输出日志，包括：
29、查询重要日志区中是否存在所述目标日志的唯一标识对应的重要日志；
30、若存在，则基于所述重要日志对所述目标日志进行日志补充得到输出日志；
31、若不存在，则从磁盘中读取所述目标日志的唯一标识对应的原始日志作为所述重要日志，基于所述重要日志对所述目标日志进行日志补充得到输出日志。
32、在一种可能的实现方式中，所述方法还包括：
33、响应于所述输出日志的重要日志查询请求，若所述重要日志区或所述磁盘中存在所述目标日志的唯一标识对应的重要日志，则展示所述目标日志的唯一标识对应的重要日志；否则，不响应；和/或，
34、响应于所述输出日志的概要日志查询请求，若所述概要日志区中存在所述目标日志的唯一标识对应的概要日志，则展示所述目标日志的唯一标识对应的概要日志；否则，不响应。
35、一种日志的归档装置，所述装置包括：
36、第一查询单元，用于查询存储系统中是否存在未归档的原始日志；所述存储系统包括多个级别依次递减的归档统计表；每个归档统计表分别设置有归档数据量阈值；
37、第二查询单元，若所述存储系统中存在未归档的原始日志，则用于查询所述原始日志已存储至所述存储系统的总存储时长，当所述原始日志的存储时间大于或等于归档时间阈值时，对所述原始日志进行归档处理得到归档日志，并将所述归档日志存储至一级归档统计表中；所述一级归档统计表为所述存储系统内级别最高的归档统计表；
38、第三查询单元，若所述存储系统中不存在未归档的原始日志，则用于查询各级归档统计表中归档日志的数据总量是否大于或等于各自对应的归档数据量阈值；
39、归档处理单元，用于将归档日志的数据总量大于或等于其对应的归档数据量阈值的归档统计表中的所有归档日志进一步归档处理，并全部存储至下一级归档统计表中；
40、其中，在所述原始日志归档至所述一级归档统计表后，删除所述存储系统中的所述原始日志；将当前归档统计表中的归档日志归档到存储下一级归档统计表时，将所述当前归档统计表中的归档日志删除；每次归档后的日志的数据量小于归档前的日志的数据量本文档来自技高网...
【技术保护点】
1.一种日志的归档方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，日志的归档处理过程包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述每级归档统计表包括多类归档统计表；
5.根据权利要求1所述的方法，其特征在于，所述方法包括：
6.根据权利要求3所述的方法，其特征在于，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，所述查询所述目标日志的唯一标识对应的重要日志，基于所述重要日志对所述目标日志进行日志补充得到输出日志，包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.一种日志的归档装置，其特征在于，所述装置包括：
10.一种处理器，其特征在于，用于运行计算机程序，所述程序运行时执行如权利要求1-8任一项所述的日志的归档方法。
【技术特征摘要】
1.一种日志的归档方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，日志的归档处理过程包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述每级归档统计表包括多类归档统计表；
5.根据权利要求1所述的方法，其特征在于，所述方法包括：
6.根据权利要求3所述的方法，其特征在于，所述方法包...
【专利技术属性】
技术研发人员：董玉昕，何光宇，金铸，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。