日志信息的处理方法、装置及存储介质制造方法及图纸

本公开关于一种日志信息的处理方法、装置及存储介质，其中，所述方法包括：获取日志信息处理命令；对所述日志信息处理命令进行解析，确定与所述日志信息处理命令对应的应用服务器；发送所述日志信息处理命令至对应的所述应用服务器；接收对应的所述应用服务器返回的日志信息处理结果，并将所述日志信息处理结果进行转存，所述日志信息处理结果为对应的所述应用服务器根据所述日志信息处理命令对本地的日志信息进行相关处理所得。本公开实现了日志信息的缓存，避免了日志信息丢失。而且，本公开的实施例的日志信息处理服务器不需要部署包含多个角色的配置文件，部署过程简单，减轻了日志信息处理服务器的管理压力和维护压力。

Processing method, device and storage medium of log information

【技术实现步骤摘要】
日志信息的处理方法、装置及存储介质
本公开涉及数据处理
，尤其涉及一种日志信息的处理方法、装置及存储介质。
技术介绍
随着网络技术的发展，互联网上的用户越来越多，相应地，也产生了数量级巨大的用户行为。日志信息的收集成为了各应用服务器为改善应用水平的重要手段。目前，存在几种通用的日志信息收集方案。例如，Flume是高可用的、可靠的、分布式的海量日志信息采集、集合和传输系统。Flume支持定制各类日志信息发送方，对日志信息具有简单的处理功能。Flume是基于流式的日志信息采集方式，产生一条日志信息即发送一条日志信息，常用于在线实时分析日志信息。但是Flume配置过程复杂，多角色的关系在配置文件中交织在一起，不便于管理，维护成本比较高。Logstash是一套灵活的、插件化、弹性伸缩的日志信息收集系统。Logstash实现了日志信息传输、格式化处理、格式化输出等功能。但是Logstash消耗资源较大，只支持Linux系统，没有日志信息缓存机制，存在日志信息丢失的风险。syslog-ng是Linux系统自带的日志信息采集方案，支持多方位的日志信息过滤条件，能够进行不同防火墙网段的日志信息转发。但是syslog-ng配置过程复杂，只支持Linux系统，没有日志信息缓存机制，存在日志信息丢失的风险。相关技术中，通用的日志信息采集方案需要部署包含多个角色的关系的配置文件，部署过程复杂，不便于管理和维护，而且，没有日志信息缓存机制，存在日志信息丢失的风险。
技术实现思路
本公开提供了一种日志信息的处理方法、装置及存储介质，以至少解决相关技术中通用的日志信息采集方案需要部署包含多个角色的关系的配置文件，部署过程复杂，不便于管理和维护，而且，没有日志信息缓存机制，存在日志信息丢失的风险的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种日志信息的处理方法，应用于日志信息处理服务器，所述方法包括：获取日志信息处理命令；对所述日志信息处理命令进行解析，确定与所述日志信息处理命令对应的应用服务器；发送所述日志信息处理命令至对应的所述应用服务器；接收对应的所述应用服务器返回的日志信息处理结果，并将所述日志信息处理结果进行转存，所述日志信息处理结果为对应的所述应用服务器根据所述日志信息处理命令对本地的日志信息进行相关处理所得。可选地，在所述发送所述日志信息处理命令至对应的所述应用服务器的步骤之前，所述方法还包括：接收来自对应的所述应用服务器的心跳数据包，所述心跳数据包用于保持所述日志信息处理服务器与对应的所述应用服务器之间的长连接，所述心跳数据包携带有对应的所述应用服务器的网络地址。可选地，所述对所述日志信息处理命令进行解析，确定与所述日志信息处理命令对应的应用服务器的步骤，包括：从所述日志信息处理命令中提取得到对应的所述应用服务器的标识信息；根据所述标识信息以及预设的对应关系，确定与所述标识信息对应的负载均衡服务器，所述对应关系表示标识信息与负载均衡服务器之间的对应关系；将与对应的所述负载均衡服务器通信连接的应用服务器作为对应的所述应用服务器。可选地，所述发送所述日志信息处理命令至对应的所述应用服务器的步骤，包括：将所述日志信息处理命令发送至对应的所述负载均衡服务器，以便对应的所述负载均衡服务器通过所述心跳数据包在对应的所述应用服务器上的发送端口，转发所述日志信息处理命令至对应的所述应用服务器。可选地，所述获取日志信息处理命令的步骤，包括：通过与所述日志信息处理服务器连接的网页端或应用程序编程接口API接收所述日志信息处理命令，所述日志信息处理命令用于采集、修改或停止采集各所述应用服务器上的日志信息。可选地，所述将所述日志信息处理结果进行转存的步骤，包括：将所述日志信息处理结果发送至日志信息订阅服务器，以便所述日志信息订阅服务器根据用户订阅需求存储所述日志信息处理结果至日志信息数据库中。可选地，对应的所述应用服务器上部署有基于二进制安装包进行安装的日志信息处理客户端模块，所述日志信息处理客户端模块用于从所述日志信息处理命令中解析得到对应的插件的符号，根据对应的所述插件的符号确定所述日志信息处理客户端模块上对应的所述插件，并利用对应的所述插件执行日志信息处理命令，以采集得到所述日志信息，对所述日志信息进行加密、压缩得到所述日志信息处理结果。可选地，所述方法还包括：获取插件处理命令；对所述插件处理命令进行解析，确定与所述插件处理命令对应的日志信息处理客户端模块，并发送所述插件处理命令至对应的所述日志信息处理客户端模块，以便对应的所述日志信息处理客户端模块根据所述插件处理命令对所述插件进行添加、删除、更新、关闭中的任意一项操作。根据本公开实施例的第二方面，提供一种日志信息的处理装置，应用于日志信息处理服务器，所述处理装置包括：获取单元，被配置为获取日志信息处理命令；解析单元，被配置为对所述日志信息处理命令进行解析，确定与所述日志信息处理命令对应的应用服务器；发送单元，被配置为发送所述日志信息处理命令至对应的所述应用服务器；转存单元，被配置为接收对应的所述应用服务器返回的日志信息处理结果，并将所述日志信息处理结果进行转存，所述日志信息处理结果为对应的所述应用服务器根据所述日志信息处理命令对本地的日志信息进行相关处理所得。可选地，还包括：接收单元，被配置为在所述发送单元发送所述日志信息处理命令至对应的所述应用服务器之前，接收来自对应的所述应用服务器的心跳数据包，所述心跳数据包用于保持所述日志信息处理服务器与对应的所述应用服务器之间的长连接，所述心跳数据包携带有对应的所述应用服务器的网络地址。可选地，所述解析单元，包括：标识提取单元，被配置为从所述日志信息处理命令中提取得到对应的所述应用服务器的标识信息；负载确定单元，被配置为根据所述标识信息以及预设的对应关系，确定与所述标识信息对应的负载均衡服务器，所述对应关系表示标识信息与负载均衡服务器之间的对应关系；服务器确定单元，被配置为将与对应的所述负载均衡服务器通信连接的应用服务器作为对应的所述应用服务器。可选地，所述发送单元，被配置为将所述日志信息处理命令发送至对应的所述负载均衡服务器，以便对应的所述负载均衡服务器通过所述心跳数据包在对应的所述应用服务器上的发送端口，转发所述日志信息处理命令至对应的所述应用服务器。可选地，所述获取单元，被配置为通过与所述日志信息处理服务器连接的网页端或应用程序编程接口API接收所述日志信息处理命令，所述日志信息处理命令用于采集、修改或停止采集各所述应用服务器上的日志信息。可选地，所述转存单元，被配置为将所述日志信息处理结果发送至日志信息订阅服务器，以便所述日志信息订阅服务器根据用户订阅需求存储所述日志信息处理结果至日志信息数据库中。可选地，对应的所述应用服务器上部署有基于二进制安装包进行安装的日志信息处理客户端模块，所述日志信息处理客户端模块用于从所述日志信息处理命令中解析得到对应的插件的符号，根据对应的所述插件的符号确定所述日本文档来自技高网...

【技术保护点】
1.一种日志信息的处理方法，其特征在于，应用于日志信息处理服务器，所述方法包括：/n获取日志信息处理命令；/n对所述日志信息处理命令进行解析，确定与所述日志信息处理命令对应的应用服务器；/n发送所述日志信息处理命令至对应的所述应用服务器；/n接收对应的所述应用服务器返回的日志信息处理结果，并将所述日志信息处理结果进行转存，所述日志信息处理结果为对应的所述应用服务器根据所述日志信息处理命令对本地的日志信息进行相关处理所得。/n

【技术特征摘要】
1.一种日志信息的处理方法，其特征在于，应用于日志信息处理服务器，所述方法包括：
获取日志信息处理命令；
对所述日志信息处理命令进行解析，确定与所述日志信息处理命令对应的应用服务器；
发送所述日志信息处理命令至对应的所述应用服务器；
接收对应的所述应用服务器返回的日志信息处理结果，并将所述日志信息处理结果进行转存，所述日志信息处理结果为对应的所述应用服务器根据所述日志信息处理命令对本地的日志信息进行相关处理所得。


2.根据权利要求1所述的日志信息的处理方法，其特征在于，在所述发送所述日志信息处理命令至对应的所述应用服务器的步骤之前，所述方法还包括：
接收来自对应的所述应用服务器的心跳数据包，所述心跳数据包用于保持所述日志信息处理服务器与对应的所述应用服务器之间的长连接，所述心跳数据包携带有对应的所述应用服务器的网络地址。


3.根据权利要求2所述的日志信息的处理方法，其特征在于，所述对所述日志信息处理命令进行解析，确定与所述日志信息处理命令对应的应用服务器的步骤，包括：
从所述日志信息处理命令中提取得到对应的所述应用服务器的标识信息；
根据所述标识信息以及预设的对应关系，确定与所述标识信息对应的负载均衡服务器，所述对应关系表示标识信息与负载均衡服务器之间的对应关系；
将与对应的所述负载均衡服务器通信连接的应用服务器作为对应的所述应用服务器。


4.根据权利要求3所述的日志信息的处理方法，其特征在于，所述发送所述日志信息处理命令至对应的所述应用服务器的步骤，包括：
将所述日志信息处理命令发送至对应的所述负载均衡服务器，以便对应的所述负载均衡服务器通过所述心跳数据包在对应的所述应用服务器上的发送端口，转发所述日志信息处理命令至对应的所述应用服务器。


5.根据权利要求1所述的日志信息的处理方法，其特征在于，所述获取日志信息处理命令的步骤，包括：
通过与所述日志信息处理服务器连接的网页端或...

【专利技术属性】
技术研发人员：胡昌海，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11