一种基于命令模式的分布式日志访问方法及系统技术方案

本发明专利技术公开了一种基于命令模式的分布式日志访问方法，包括：步骤1、获取分布式日志中心的数据，并将所述数据索引至日志收集集群中；步骤2、接收由日志收集网络接口输入的命令执行数据；步骤3、根据所述命令执行数据将所述日志收集集群中的与所述命令执行数据对应的内容通过所述日志收集网络接口输出，本方法适用于数据处理领域，且通过将数据存储至日志收集集群中可以提高工作的效率节约时间。

【技术实现步骤摘要】
一种基于命令模式的分布式日志访问方法及系统
本专利技术涉及数据处理领域，尤其涉及一种基于命令模式的分布式日志访问方法及系统。
技术介绍
现有的对于云化、容器化之前的系统积累的基于命令行模式下的日志运维工具无法在新的架构下产生生产力，并且多次登录查看日志使得系统的工作量大幅度增加同时也浪费了更多的时间，此外，现有技术中并没有利用原有技术储备和提高生产力的方法，也不存在通过Unix/Linx类系统的管道组合系统命令模式进行对日志数据的二次分析与处理。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于命令模式的分布式日志访问方法。本专利技术解决上述技术问题的技术方案如下：一种基于命令模式的分布式日志访问方法，包括：步骤1、获取分布式日志中心的数据，并将所述数据索引至日志收集集群中；步骤2、接收由日志收集网络接口输入的命令执行数据；步骤3、根据所述命令执行数据将所述日志收集集群中的与所述命令执行数据对应的内容通过所述日志收集网络接口输出。本专利技术的有益效果是：将系统日志通过采集和格式转化，集中存储在ElasticSearch集群上，通过控制台程序进行命令行访问日志，方便使用与部署，还能对原有非云化、非容器化前的命令行日志运维工具再次使用，节约成本、提高劳动生产力同时还可以提高工作效率。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述分布式日志中心的数据包括：主机的名称、ID、用户名、路径、日志名、截获取的时间。采用上述进一步方案的有益效果是：全面获取数据信息可以提高最终索引的准确性，同时也保证了数据的完整性。进一步，将所述数据索引至日志收集集群中，具体为：将所述数据封装至日志信息对象中，并将所述日志信息对象发送至消息中间件，分布式日志中心的实时数据流分析系统从所述中间件上获取所述数据，并将所述数据进行格式分解，将分解后的结果索引后写入所述日志收集集群中。采用上述进一步方案的有益效果是：对数据格式进行分解便于后续的索引的建立，同时也提高了获取对应数据时的效率，缩短了时间成本。进一步，所述命令执行数据具体为：由一个或多个所述命令执行数据组成的数据包，并在所述数据包中存入与所述日志收集网络接口对应的加密数据。采用上述进一步方案的有益效果是：将数据组成数据包可以避免中途混入其他的命令执行数据，另外数据包中存入加密数据也是为了数据安全同时可以保证输入输出对应，不会出现传输错误，提高了传输过程的安全性。进一步，步骤3之后还包括：步骤4、将输出的结果通过管道保存至本地文本文件中或将输出的结果通过管道进行二次过滤。本专利技术解决上述技术问题的另一种技术方案如下：一种基于命令模式的分布式日志访问系统，包括：获取模块、用于获取分布式日志中心的数据，并将所述数据索引至日志收集集群中；接收模块、用于接收由日志收集网络接口输入的命令执行数据；输出模块、用于根据所述命令执行数据将所述日志收集集群中的与所述命令执行数据对应的内容通过所述日志收集网络接口输出。采用上述方案的有益效果：将系统日志通过采集和格式转化，集中存储在ElasticSearch集群上，通过控制台程序进行命令行访问日志，方便使用与部署，还能对原有非云化、非容器化前的命令行日志运维工具再次使用，节约成本、提高劳动生产力同时还可以提高工作效率。进一步，所述分布式日志中心的数据包括：主机的名称、ID、用户名、路径、日志名、截获取的时间。采用上述进一步方案的有益效果：全面获取数据信息可以提高最终索引的准确性，同时也保证了数据的完整性。进一步，将所述数据索引至日志收集集群中，具体为：将所述数据封装至日志信息对象中，并将所述日志信息对象发送至消息中间件，分布式日志中心的实时数据流分析系统从所述中间件上获取所述数据，并将所述数据进行格式分解，将分解后的结果索引后写入所述日志收集集群中。采用上述进一步方案的有益效果是：对数据格式进行分解便于后续的索引的建立，同时也提高了获取对应数据时的效率，缩短了时间成本。进一步，所述命令执行数据具体为：由一个或多个所述命令执行数据组成的数据包，并在所述数据包中存入与所述日志收集网络接口对应的加密数据。采用上述进一步方案的有益效果：将数据组成数据包可以避免中途混入其他的命令执行数据，另外数据包中存入加密数据也是为了数据安全同时可以保证输入输出对应，不会出现传输错误，提高了传输过程的安全性。进一步，还包括：处理模块：用于将输出的结果通过管道保存至本地文本文件中或将输出的结果通过管道进行二次过滤。本专利技术附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术实践了解到。附图说明图1为本专利技术一种基于命令模式的分布式日志访问方法实施例提供的流程示意图；图2为本专利技术一种基于命令模式的分布式日志访问系统实施例提供的结构框架图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实施例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，本专利技术一种基于命令模式的分布式日志访问方法实施例提供的流程示意图，包括：步骤1、获取分布式日志中心的数据，并将数据索引至日志收集集群中；步骤2、接收由日志收集网络接口输入的命令执行数据；步骤3、根据命令执行数据将日志收集集群中的与命令执行数据对应的内容通过日志收集网络接口输出。将系统日志通过采集和格式转化，集中存储在ElasticSearch集群上，通过控制台程序进行命令行访问日志，方便使用与部署，还能对原有非云化、非容器化前的命令行日志运维工具再次使用，节约成本、提高劳动生产力同时还可以提高工作效率。需要注意的是，命令执行数据包括：安全验证信息、获取的日志条件等，具体操作方法请参考如下例子：日志的采集接口通过对被采集主机/容器的名称、IP、用户名、路径、日志名、时间戳获取，并封装到日志信息对象中，发送到消息中间件指定Topic上；实时数据流分析系统从消息中间件的指定Topic上获取日志信息对象，并进行格式分解，依据主机/容器的名称、IP、用户名、路径、日志名、时间戳等信息创建索引写入ElasticSearch集群中，便于日志的快速搜索；开发基于Java的控制台应用，能够通过调用ElasticSearch网络接口访问日志数据；Java控制台应用能够接受命令行执行参数，包括：安全验证信息、获取的日志条件等，程序对参数解析并封装成ElasticSearch请求，发送请求获取日志数据，获取到的日志数据通过操作系统标准输出进行信息输出。优选地，在上述任意实施例中，分布式日志中心的数据包括：主机的名称、ID、用户名、路径、日志名、截获取的时间。全面获取数据信息可以提高最终索引的准确性，同时也保证了数据的完整性。优选本文档来自技高网...

【技术保护点】
1.一种基于命令模式的分布式日志访问方法，其特征在于，包括：/n步骤1、获取分布式日志中心的数据，并将所述数据索引至日志收集集群中；/n步骤2、接收由日志收集网络接口输入的命令执行数据；/n步骤3、根据所述命令执行数据将所述日志收集集群中的与所述命令执行数据对应的内容通过所述日志收集网络接口输出。/n

【技术特征摘要】
1.一种基于命令模式的分布式日志访问方法，其特征在于，包括：
步骤1、获取分布式日志中心的数据，并将所述数据索引至日志收集集群中；
步骤2、接收由日志收集网络接口输入的命令执行数据；
步骤3、根据所述命令执行数据将所述日志收集集群中的与所述命令执行数据对应的内容通过所述日志收集网络接口输出。


2.根据权利要求1所述的一种基于命令模式的分布式日志访问方法，其特征在于，所述分布式日志中心的数据包括：
主机的名称、ID、用户名、路径、日志名、截获取的时间。


3.根据权利要求1所述的一种基于命令模式的分布式日志访问方法，其特征在于，将所述数据索引至日志收集集群中，具体为：
将所述数据封装至日志信息对象中，并将所述日志信息对象发送至消息中间件，分布式日志中心的实时数据流分析系统从所述中间件上获取所述数据，并将所述数据进行格式分解，将分解后的结果索引后写入所述日志收集集群中。


4.根据权利要求1所述的一种基于命令模式的分布式日志访问方法，其特征在于，所述命令执行数据具体为：
由一个或多个所述命令执行数据组成的数据包，并在所述数据包中存入与所述日志收集网络接口对应的加密数据。


5.根据权利要求1至4任一项所述的一种基于命令模式的分布式日志访问方法，其特征在于，步骤3之后还包括：
步骤4、将输出的结果通过管道保存至本地文本文件中或将输出的结果通过管道进行二次过滤。

【专利技术属性】
技术研发人员：黄凯，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京;11