一种集群日志的收集方法与系统技术方案

本申请提供了一种集群日志的收集方法，所述方法包括：在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；选择主节点，并向选定的从节点发送传输文件指令；所述主节点接收所述从节点传输的相关日志文件。利用本申请提供的方法，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。本申请还提供了一种集群日志的收集系统。

A Cluster Log Collection Method and System

This application provides a method for collecting cluster logs, which includes: configuring SaltStack in distributed storage cluster nodes and building SaltStack file server; selecting master node and sending transfer file instructions to selected slave nodes; and receiving related log files transmitted by the slave node. By using the method provided in this application, the log files of selected nodes can be collected accurately and quickly, which improves the efficiency of cluster log collection. The application also provides a cluster log collection system.

【技术实现步骤摘要】
一种集群日志的收集方法与系统
本专利技术涉及数据收集
，尤其涉及一种集群日志的收集方法与系统。
技术介绍
分布式存储系统是建立在网络之上的软件系统，分布式存储系统具有高度的内聚性和透明性，随着海量数据的产生，分布式存储系统的应用越来越广泛。分布式存储系统通常是以集群的形式组网，一般采用几个、几十个、甚至几百上千服务器节点来组成。当分布式存储系统中出现故障时就需要对该集群中节点的日志进行分析，但由于分布式系统的集群规模越来越来大，怎样将这些日志精准而快速的收集起来以便进行集中处理成了一个亟待解决的问题。
技术实现思路
为了解决现有技术存在的上述技术问题，本申请提供了一种集群日志的收集方法与系统，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。本申请提供了一种集群日志的收集方法，所述方法包括：在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；选择主节点，并向选定的从节点发送传输文件指令；所述主节点接收所述从节点传输的相关日志文件。可选的，所述选择主节点，并向选定的从节点发送传输文件指令，具体为：选择主节点，并发向所有选定的从节点发送传输文件指令。可选的，所述方法还包括：所述主节点在指定目录下接收所述从节点传输的所述日志文件。可选的，所述方法还包括：所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。可选的，所述日志文件，至少包括以下其中的一种：软件日志文件、硬件日志文件和系统日志文件。本申请实施例还提供了一种集群日志的收集系统，所述系统包括：节点配置单元、指令传输单元和日志收集单元；所述节点配置单元，用于在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；所述指令传输单元，用于选择主节点，并向选定的从节点发送传输文件指令；所述日志传输单元，用于所述主节点接收所述从节点传输的相关日志文件。可选的，所述所述指令传输单元，用于选择主节点，并向选定的从节点发送传输文件指令，具体为：所述指令传输单元，用于选择主节点，并发向所有选定的从节点发送传输文件指令。可选的，所述日志传输单元，还用于所述主节点在指定目录下接收所述从节点传输的所述日志文件。可选的，所述装置还包括：日志处理单元；所述日志处理单元，用于所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。可选的，所述日志文件，至少包括以下其中的一种：软件日志文件、硬件日志文件和系统日志文件。本申请提供的集群日志的收集方法，首先在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器，为各个节点之间的文件传输提供网络环境；然后选择主节点，并向选定的从节点发送传输文件指令，选定从节点，可以使得日志收集更加精准，更具有针对性，也能减少收集集群日志的工作量；最后所述主节点接收所述从节点传输的相关日志文件。利用本申请提供的集群日志的收集方法，能够精准快速的对选定节点的日志文件进行收集，提高了集群日志收集的效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例一提供的集群日志的收集方法的流程图；图2为本申请实施例二提供的集群日志的收集方法的流程图；图3为本申请实施例三提供的一种集群日志的收集系统的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一：本申请实施例提供了一种集群日志的收集方法，下面结合附图具体说明。参见图1，该图为本申请实施例一提供的集群日志的收集方法的流程图。本申请实施例所述方法包括以下步骤：S101：在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器。SaltStack管理工具能够实现在多个节点间创建一个一致的管理系统。SaltStack作用于主拓扑和从拓扑，主拓扑即主节点，从拓扑即从节点，SaltStack与特定的命令结合可以在主节点的一个或多个下属从节点实现特定的功能。在集群的各个节点之间搭建文件服务器，为日志文件的传输提供网络环境，同时使各个节点之间实现互联，以使通过一台设备就可以实现对所有节点的访问。所述配置SaltStack的结果可以保存在节点本地；也可以上传到所有节点；还可以在完成一次集群日志文件收集后就返回初始状态，等待下一次进行集群日志收集时进行重新设置，本申请对此不作具体限定。S102：选择主节点，并向选定的从节点发送传输文件指令。首先选定一个节点作为主节点，可以理解为此时主节点是技术人员正在操作的节点，确定主节点后，集群中的其它节点默认称为从节点。需要注意的是，这里选定的从节点具体指根据实际的收集需求在集群的从节点中选择出的一些特定的节点，选定的节点可以是一个节点，可以是一组节点，还可以是所有从节点，本申请对此不做具体限定。但考虑到实际应用中如果某些集群中的节点数目庞大，发生错误时又可以划定出一个可能出错的节点范围，此时就不必要收集所有节点的日志文件了，所以选定从节点这一功能可以使得日志收集更加精准，更具有针对性，也能减少收集日志文件时的工作量。所述主节点，可以并发向所有选定的从节点同时发送传输文件指令，也可以串行向所有选定的从节点依次发送传输文件指令，本申请对此不作具体限定，但考虑到当实际选定的集群中的从节点数量较大时，串行向所有选定的从节点依次发送传输文件指令会极大限制传输指令的发送效率，进而影响日志文件的收集效率，因此可以采用并发向所有选定的从节点发送传输文件指令的方式以提高传输指令的发送效率。需要注意的是，所述主节点与从节点只是为了方便进行解释说明，并不是对节点种类的限定。节点并不会固定为主节点或者固定为从节点，即在一次集群日志的收集中，某节点可能会作为主节点，而在另一次集群日志的收集中，该节点可能会作为从节点。S103：所述主节点接收所述从节点传输的相关日志文件。具体的，所述日志文件，至少包括以下其中的一种：软件日志文件、硬件日志文件和系统日志文件。并且所述主节点还可以在指定目录下接收所述从节点传输的所述日志文件。由于某个节点作为主节点还是作为从节点在多次集群日志文件的收集时可能会不同，所以需要通过本地设置指定的接收目录和日志文件的发送目录。此外，所述主节点收集所述日志文件后，还可以对所述日志文件进行归类与打包，将归类与打包后的文件保存在主节点上以供后续技术分析使用。需要注意的是，上述步骤只是为了方便对本方法进行解释，并不构成对本方法的限定，可以根据实际情况对上述步骤进行调整。本申请实施例提供的集群日志的收集方法，首先在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器，为各个节点之间的文件传输提供网络环境；然后选择主节点，并向选定的本文档来自技高网...

【技术保护点】
1.一种集群日志的收集方法，其特征在于，所述方法包括：在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；选择主节点，并向选定的从节点发送传输文件指令；所述主节点接收所述从节点传输的相关日志文件。

【技术特征摘要】
1.一种集群日志的收集方法，其特征在于，所述方法包括：在分布式存储集群节点中配置SaltStack并搭建SaltStack的文件服务器；选择主节点，并向选定的从节点发送传输文件指令；所述主节点接收所述从节点传输的相关日志文件。2.根据权利要求1所述的方法，其特征在于，所述选择主节点，并向选定的从节点发送传输文件指令，具体为：选择主节点，并发向所有选定的从节点发送传输文件指令。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述主节点在指定目录下接收所述从节点传输的所述日志文件。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述主节点接收所述日志文件后，对所述日志文件进行归类与打包。5.根据权利要求1所述的方法，其特征在于，所述日志文件，至少包括以下其中的一种：软件日志文件、硬件日志文件和系统日志文件。6.一种集群日志的收集系统，其特征在于，所述系统包括：节点配置单元、指令传输单元和日志收集单元；所...

【专利技术属性】
技术研发人员：安祥文，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41