【技术实现步骤摘要】
一种日志存储方法、装置及日志查询方法、装置
本专利技术涉及日志处理
，特别是涉及一种日志存储方法、装置及日志查询方法、装置。
技术介绍
随着大数据技术行业发展，大规模的集群化分布式系统成为大数据技术的基本构成。一个分布式系统往往由成千上万台业务设备组成，也就是说具有成千上万和业务节点，这些业务节点中计算机程序的运行日志是分布式的且数量非常大。由于日志可以记录计算机程序在运行时的情况，因此可以对日志进行分析以确定业务节点存在的一些问题，那么日志查询对于大规模的集群化分布式系统的运维是非常重要的。目前对于分布式系统的日志查询是基于ansible自动化运维工具等批量操作指令，配合grep(GloballysearchaRegularExpressionandPrint)文本搜索工具等linux系统命令，在整个分布式系统中遍历所有业务节点的所有日志，进而找到所需要的日志。由于上述日志查询方式是对整个分布式系统中的每个业务节点进行扫描遍历，扫描的过程需要消耗大量cpu(CentralProcessingUnit，...
【技术保护点】
1.一种日志存储方法，其特征在于，所述方法应用于分布式系统中的业务节点，所述分布式系统还包括日志归集节点，所述方法包括：/n根据业务处理情况生成日志文件；/n按照预先建立的所述业务节点与所述日志归集节点之间的映射关系，将所述日志文件发送至对应的日志归集节点，以使所述日志归集节点存储所述日志文件，并针对所存储的日志文件建立索引。/n
【技术特征摘要】
1.一种日志存储方法，其特征在于，所述方法应用于分布式系统中的业务节点，所述分布式系统还包括日志归集节点，所述方法包括：
根据业务处理情况生成日志文件；
按照预先建立的所述业务节点与所述日志归集节点之间的映射关系，将所述日志文件发送至对应的日志归集节点，以使所述日志归集节点存储所述日志文件，并针对所存储的日志文件建立索引。
2.如权利要求1所述的方法，其特征在于，所述根据业务处理情况生成日志文件的步骤，包括：
根据业务处理情况确定日志内容及日志名称；
将所述日志名称及所述业务节点的节点标识作为键，并将所述日志内容作为值，生成键值对结构的该业务节点的日志文件。
3.如权利要求1或2所述的方法，其特征在于，所述映射关系的建立方式，包括：
获取所述分布式系统中的业务节点以及所述日志归集节点的编号；
基于所述编号根据哈希算法，建立所述业务节点与所述日志归集节点之间的映射关系。
4.一种日志存储方法，其特征在于，所述方法应用于分布式系统中的日志归集节点，所述分布式系统还包括业务节点，所述方法包括：
接收所述业务节点发送的日志文件，其中，所述日志文件为所述业务节点根据业务处理情况生成，并按照预先建立的所述业务节点与所述日志归集节点之间的映射关系发送的；
存储所述日志文件，并针对所存储的日志文件建立索引。
5.如权利要求4所述的方法，其特征在于，所述针对所存储的日志文件建立索引的步骤，包括：
针对所存储的日志文件，按照预设时间间隔基于全文搜索引擎建立全文索引。
6.一种日志查询方法，其特征在于，所述方法应用于分布式系统中的日志归集节点，所述分布式系统还包括业务节点，所述方法包括：
接收查询设备发送的日志检索请求，其中，所述日志检索请求包括检索关键字；
基于预先建立的索引，从日志文件中查询所述检索关键字对应的日志内容，其中，所述日志文件为已存储的所述业务节点根据业务处理情况生成，并按照预先建立的所述业务节点与所述日志归集节点之间的映射关系发送的日志文件；
发送所述日志内容至所述查询设备。
7.如权利要求6所述的方法，其特征在于，所述索引的建立方式，包括：
针对所存储的日志文件，按照预设时间间隔基于全文搜索引擎建立全文索引。
8.一种日志存储装置，其特征在于，所述装置应用于分布式系统中的业务节点，所述分布式系统还包括日志归集节点，所述装置包括：
日志文件生成模块，用于根据业务处理情况生成日志文件；
日志文件发送模块，用于按照预先建立的所述业务节点与所述日志归集节点之间的映射关系，将所述日志文件发送至对应的日志归集节点，以使所述日志归集节点存储所述日志文件，并针对所存储的日志文件建立索引。
9.如权利要求8所述的装置，其特征在于，所述日志文件生成模块包括：
内容名称确定单元，用于根据业务处理情况确定日志内容及日志名称；
日志文...
【专利技术属性】
技术研发人员：赵宇，徐寅斐，侯雪峰，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。