【技术实现步骤摘要】
一种分布式日志处理方法、服务器、系统和计算设备
本专利技术涉及日志处理领域，尤其涉及一种分布式日志处理方法、服务器、系统和计算设备。
技术介绍
随着IT企业内部和外部业务的迅猛增长，订阅软件实时滚动日志是系统运维工程师、软件开发工程师实时查看软件运行状况、排查故障、解决问题最直观和迫切需要的一种云端工具。此时，工程师一般需要先通过堡垒机进入虚拟机或者容器，再使用Linux命令查看软件日志，存在巨大安全隐患。而且，大型互联网企业内部的系统运维和业务开发隶属于不同团队，软件部署架构复杂，两个团队注定相互不清楚具体日志文件的保存位置，导致开发工程师难以查看系统日志和中间件日志，系统运维工程师难以查看应用日志。另外，这种方案对工程师的Linux命令使用门槛要求较高，尤其是面临海量日志查找时，往往会消耗大量时间才能定位并查找到日志中需要的信息。另一种方式是采集器将采集的日志批量推送到Kafka集群，再通过KafkaStream技术按业务需求分发到多个KafkaTopic上，之后用户按照业务需求通过Kafka客户端订阅对应的Ka...
【技术保护点】
1.一种分布式日志处理方法，适于在配置服务器中执行，所述配置服务器分别与软件发布端和多个日志服务器通信连接，所述日志服务器与多个消息队列集群通信连接，所述方法包括步骤：/n接收用户在发布端浏览器中生成的注册软件参数，所述注册软件参数至少包括软件唯一标识、软件类型、部署类型、日志服务器IP地址和日志保存路径，所述部署类型包括虚拟机服务器和容器服务器，所述IP地址为用户在发布端浏览器中输入的虚拟机IP或者通过容器IP接口获取到的容器实例IP；/n确定所述注册软件参数所对应的日志采集器类型，计算该注册软件参数的字符串组合所对应的注册哈希值，并采用一致性哈希算法确定该注册哈希值所对...
【技术特征摘要】
1.一种分布式日志处理方法，适于在配置服务器中执行，所述配置服务器分别与软件发布端和多个日志服务器通信连接，所述日志服务器与多个消息队列集群通信连接，所述方法包括步骤：
接收用户在发布端浏览器中生成的注册软件参数，所述注册软件参数至少包括软件唯一标识、软件类型、部署类型、日志服务器IP地址和日志保存路径，所述部署类型包括虚拟机服务器和容器服务器，所述IP地址为用户在发布端浏览器中输入的虚拟机IP或者通过容器IP接口获取到的容器实例IP；
确定所述注册软件参数所对应的日志采集器类型，计算该注册软件参数的字符串组合所对应的注册哈希值，并采用一致性哈希算法确定该注册哈希值所对应的消息队列集群和消息主题后生成配置文件；以及
将所述配置文件发送给所述日志服务器IP地址，以便在对应的日志服务器中安装所确定类型的日志采集器，该日志采集器采集该注册软件的日志消息后发送至所确定的消息队列集群和消息主题。
2.如权利要求1所述的方法，还包括在订阅监听器中的订阅监听步骤：
获取用户在订阅端浏览器中生成的订阅组合条件，所述订阅组合条件包括软件唯一标识、软件类型、部署类型、日志服务器IP地址和日志保存路径；
计算该订阅组合条件所对应的订阅哈希值，采用一致性哈希算法确定该订阅哈希值所对应的数据存储集群和数据存储通道，并将该数据存储集群和数据存储通道标记为被订阅。
3.如权利要求1所述的方法，还包括在日志处理引擎中的日志处理分发步骤：
从所述消息队列集群的消息主题中读取日志信息并解析其中的软件注册参数和日志正文；
计算该软件注册参数所对应的解析哈希值，并采用一致性哈希算法确定该解析哈希值所对应的数据存储集群和数据存储通道；以及
从所述订阅监听器查询该数据存储集群中的该数据存储通道是否被订阅，若是则将解析到的日志消息发送给该数据存储集群中的数据存储通道，反之则丢弃该日志消息。
4.如权利要求2或3所述的方法，还包括在订阅端浏览器中的日志订阅和取消订阅步骤：
响应于用户在订阅端H5页面中生成的订阅组合条件，与该订阅组合条件所对应的数据存储通道建立WebSocket长连接，以在该H5页面中实时显示从该数据存储通道传递来的日志消息；以及
响应于用户在订阅端H5页面中发起的取消订阅请求，断开与该数据存储通道的长连接。
5.如权利要求1-4中任一项所述的方法，其中，
所述软件类型包括系统软件、应用软件和中间件软件；
所述日志采集器类型包括Rsys...
【专利技术属性】
技术研发人员：吕震宇，刘振华，
申请(专利权)人：车智互联北京科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。