日志数据的处理方法及日志存储引擎技术

技术编号:43345240 阅读:38 留言:0更新日期:2024-11-15 20:42
本申请提供了一种日志数据的处理方法及日志存储引擎。该方法可以应用于日志存储引擎。日志存储引擎从日志采集装置获取应用的多条日志数据,然后根据多条日志数据的时间戳,将多条日志数据按照时间顺序进行分块存储。其中,分块存储是指存储日志分块包括的首条日志的时间戳以及日志分块包括的其它日志的时间偏移量,日志分块包括多条日志数据的至少两条日志数据。之后,日志存储引擎接收用户的日志提供请求,按照该日志提供请求指定的时间或者时间区间,从至少一个日志分块获取多条日志数据,并按照时间顺序排序向用户提供获取的多条日志数据。利用该方法可以降低提供日志服务所耗费的成本。

【技术实现步骤摘要】

本申请涉及云计算,尤其涉及一种日志数据的处理方法及日志存储引擎


技术介绍

1、在云计算场景下,主机和云服务的日志数据可以由日志系统管理。即,日志系统负责采集和存储主机和云服务的日志数据,以及向用户提供采集的日志数据,使得用户可以根据这些日志数据进行决策分析、设备运维管理、业务趋势分析、安全审计等工作。

2、日志系统中可以通过部署kafka来向用户提供日志数据。但是,该方法会导致日志系统除了需要存储日志数据,还需要额外复制一份日志数据到kafka,这会增加日志系统的成本。


技术实现思路

1、本申请提供了一种日志数据的处理方法及日志存储引擎,能够降低提供日志服务所耗费的成本。

2、第一方面,本申请提供了一种日志数据的处理方法。云计算平台提供日志服务,日志服务用于管理应用的日志数据,云计算平台包括部署日志采集装置的服务器,日志采集装置用于采集服务器上运行的应用的日志数据。用户通过云计算平台提供的日志服务获取或者查询应用的日志数据。该方法可以应用于日志存储引擎。日志存储引擎从日志采集装置获取本文档来自技高网...

【技术保护点】

1.一种日志数据的处理方法,其特征在于,云计算平台提供日志服务,所述日志服务用于管理应用的日志数据,所述云计算平台包括部署日志采集装置的服务器,所述日志采集装置用于采集服务器上运行的所述应用的日志数据;用户通过所述云计算平台提供的所述日志服务获取或者查询所述应用的日志数据,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述日志分块还存储以下任一项或多项:所述日志分块包括的最后一条日志数据的时间戳、所述日志分块包括的日志数据的数量。

3.根据权利要求2所述的方法,其特征在于,所述日志存储引擎将所述多条日志数据按照时间顺序进行分块存储,包括:

...

【技术特征摘要】

1.一种日志数据的处理方法,其特征在于,云计算平台提供日志服务,所述日志服务用于管理应用的日志数据,所述云计算平台包括部署日志采集装置的服务器,所述日志采集装置用于采集服务器上运行的所述应用的日志数据;用户通过所述云计算平台提供的所述日志服务获取或者查询所述应用的日志数据,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述日志分块还存储以下任一项或多项:所述日志分块包括的最后一条日志数据的时间戳、所述日志分块包括的日志数据的数量。

3.根据权利要求2所述的方法,其特征在于,所述日志存储引擎将所述多条日志数据按照时间顺序进行分块存储,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,任一日志数据的时间戳为所述日志采集装置采集到所述任一日志数据的时间,或者所述时间的编码值,所述时间的编码值的长度小于所述时间的长度。

5.一种日志存储引擎,其特征在于,云计算平台提供日志服务,所述日志服务用于管理应用的日志数据,所述云计算平台包括部署日志采集装置的服务器,所述日志采集装置用于采集服务器上运行的所述应用的日志数据;用户通过所述云计算平台提供的所述日志服务获取或者查询所述应用的日志数据,所述日志存储...

【专利技术属性】
技术研发人员:郝利鹏叶佳威廖启俊
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1