一种收集分布式存储集群日志的方法与系统技术方案

本申请提供了一种收集分布式集群日志的方法，所述方法包括：设置分布式存储集群中各个节点间的访问方式；选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；所述主节点依次向所述所有节点发送日志收集指令；所述主节点收集所述所有节点发送的日志信息。利用本申请提供的方法，能够快速便捷的实现对分布式存储集群中各个节点的日志信息的收集。本申请还提供了一种收集分布式集群日志的系统。

【技术实现步骤摘要】
一种收集分布式存储集群日志的方法与系统
本专利技术涉及数据收集
，尤其涉及一种收集分布式存储集群日志的方法与系统。
技术介绍
分布式系统(distributedsystem)是建立在网络之上的软件系统，分布式系统具有高度的内聚性和透明性，随着海量数据的产生，分布式存储系统的应用越来越广泛。分布式存储系统通常是以集群的形式组网，一般采用几个、几十个、甚至几百上千个服务器节点来组成。当分布式存储系统中出现故障时就需要对该集群中节点的日志进行分析，但由于分布式系统的集群规模越来越来大，如何将这些日志收集起来集中处理是一个亟待解决的问题。
技术实现思路
为了解决现存的上述技术问题，本专利技术提供了一种收集分布式存储集群日志的方法与系统，能够实现对分布式存储集群中各个节点的日志信息的收集。本专利技术提供了一种收集分布式存储集群日志的方法，所述方法包括：设置分布式存储集群中各个节点间的访问方式；选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；所述主节点依次向所述所有节点发送日志收集指令；所述主节点收集所述所有节点发送的日志信息。可选的，所述设置分布式存储集群中各个节点间的访问方式，具体为：设置分布式存储集群中各个节点间的访问方式为互信无密码访问。可选的，所述主节点依次向所述所有节点发送日志收集指令，具体为：所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。可选的，所述日志信息，至少包括以下其中的一种：硬件日志信息、软件日志信息和系统日志信息。可选的，所述方法还包括：所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。本申请实施例还提供了一种收集分布式存储集群日志的系统，所述系统包括：访问设置模块、节点遍历模块、指令发送模块和日志收集模块；所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式；所述节点遍历模块，用于选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；所述指令发送模块，用于所述主节点依次向所述所有节点发送日志收集指令；所述日志收集模块，用于所述主节点收集所述所有节点发送的日志信息。可选的，所述所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式，具体为：所述访问设置模块，用于设置分布式存储集群中各个节点间的访问方式为互信无密码访问。可选的，所述所述指令发送模块，用于所述主节点依次向所述所有节点发送日志收集指令，具体为：所述指令发送模块，用于所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。可选的，所述日志信息，至少包括以下其中的一种：硬件日志信息、软件日志信息和系统日志信息。可选的，所述系统还包括：日志处理模块；所述日志处理模块，用于所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。本专利技术提供的收集分布式存储集群日志的方法，首先设置分布式存储集群中各个节点间的访问方式，各个节点之间通过所述访问方式可以实现互相之间的访问与数据传输；其次选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点，即通过所述主节点实现对所有节点的访问；然后所述主节点依次向所述所有节点发送日志收集指令；最后所述主节点收集所述所有节点发送的日志信息，实现了对分布式存储集群各个节点日志信息的收集，并将所有的日志信息汇聚到了所述主节点上。利用本专利技术提供的方法，可以快速便捷的将分布式存储集群各个节点的日志信息收集到一个选定的节点上，减少了技术人员分析问题的工作量与难度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本申请实施例一提供的一种收集分布式存储集群日志的方法的流程图；图2为本申请实施例二提供的收集分布式存储集群日志的方法的实现流程图；图3为本申请实施例三提供的一种收集分布式存储集群日志的系统的示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一：申请实施例提供了一种收集分布式存储集群日志的方法，下面结合附图具体说明。参见图1，该图为本申请实施例一提供的收集分布式存储集群日志的方法的流程图。所述方法包括以下步骤：S101：设置分布式存储集群中各个节点间的访问方式。首先设置分布式存储集群中各个节点间的访问方式，以使各个节点之间通过所述访问方式可以实现互相之间的访问与数据传输。需要注意的是，所述方式可以为有密码访问方式，即各个节点之间的互相访问需要通过密码验证才能够实现；可以为部分有密码访问，部分无密码访问方式，即部分节点之间的互相访问不需通过密码验证就能够实现，而对于特定的部分节点有安全性要求，需要进行密码验证才能进行访问；还可以采用互信无密码访问方式，即各个节点之间的互相访问不需要通过密码验证就能够实现，本申请对访问方式不作具体限定。考虑到分布式存储集群中节点数量可能较大，例如可能具有上千个节点，此时采用有密码访问方式或部分有密码访问，部分无密码访问方式在设置或访问时因为需要通过密码验证，会有很大的工作量，操作起来极为不便利，因此可以设置分布式存储集群中各个节点间的访问方式为互信无密码访问以减少工作量。所述设置的结果可以保存在节点本地；也可以上传到所有节点；还可以在完成一次集群日志收集后就返回初始状态，等待下一次进行集群日志收集时进行重新设置，本申请对此不作具体限定。S102：选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点。所述主节点作为起始点，可以通过所述主节点上的脚本工具对所述分布式存储集群中的所有节点进行遍历，所述脚本工具安装在所述分布式存储集群中的所有节点上。需要注意的是，此处的所有节点中包含有所述主节。所述遍历指遵循一定的方法对每个节点进行访问，常见的遍历方法有：深度优先遍历、广度优先遍历、前序遍历、中序遍历和后序遍历等，也可以根据实际节点设置遍历顺序，本申请对遍历遵循的方法不作具体限定。此外，若在遍历时所述脚本工具发现存在节点无法遍历到，还会向主节点进行告警和提示。需要注意的是，所述主节点与所有节点只是为了方便进行解释说明，并不是对节点种类的限定。S103：所述主节点依次向所述所有节点发送日志收集指令。所述主节点可以通过所述脚本工具依次向所述所有节点发送日志收集指令，发送所述日志收集指令的顺序是遍历所有节点的顺序。此外，可以在遍历所有节点的过程中，每遍历预设数的节点，发送一次日志收集指令，所述预设数目可以根据实际情况进行设置；还可以在所有节点遍历完成后，同意发送日志收集指令，本申请对此不作具体限定。可选的，由于在S101中设置分布式存储集群中各个节点间的访问方式为互信无密码访问，为了增加所述方法的安全保密性，所述主节点可以通过SSH(SecureShell)命令依次向所述所有节点发送日志收集指本文档来自技高网...

【技术保护点】
1.一种收集分布式存储集群日志的方法，其特征在于，所述方法包括：设置分布式存储集群中各个节点间的访问方式；选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；所述主节点依次向所述所有节点发送日志收集指令；所述主节点收集所述所有节点发送的日志信息。

【技术特征摘要】
1.一种收集分布式存储集群日志的方法，其特征在于，所述方法包括：设置分布式存储集群中各个节点间的访问方式；选择主节点，以所述主节点为起始点遍历所述分布式存储集群中的所有节点；所述主节点依次向所述所有节点发送日志收集指令；所述主节点收集所述所有节点发送的日志信息。2.根据权利要求1所述的方法，其特征在于，所述设置分布式存储集群中各个节点间的访问方式，具体为：设置分布式存储集群中各个节点间的访问方式为互信无密码访问。3.根据权利要求1所述的方法，其特征在于，所述主节点依次向所述所有节点发送日志收集指令，具体为：所述主节点通过SSH命令依次向所述所有节点发送日志收集指令。4.根据权利要求1所述的方法，其特征在于，所述日志信息，至少包括以下其中的一种：硬件日志信息、软件日志信息和系统日志信息。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述主节点收集所述日志信息后，对所述日志信息进行归类与打包。6.一种收集分布式存储集群日志的系统，其特征在于，所述系统包括：访问设置模块、节点遍历模块、指令发送模块和日志收集模块；所述访问设置模块...

【专利技术属性】
技术研发人员：安祥文，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41