本发明专利技术属于数据采集技术领域，公开了一种日志数据采集方法、装置、设备及存储介质。该方法包括：接收分布于各目标客户端的数据采集节点的日志数据；对所述日志数据进行筛选，得到展示日志数据；将所述展示日志数据存储后通过监控面板展示。通过上述方式，实现了将日志的采集节点分布于各个客户端上进行采集，并将采集到的日志数据传输到服务器，使得可以从一个主机或者服务器上接收来自于不同客户端的日志数据，并进行筛选后通过监控面板展示，使得更加简便的采集多端的数据，不需要大面积索引，提高了日志采集、监控的效率和成本。监控的效率和成本。监控的效率和成本。
【技术实现步骤摘要】
日志数据采集方法、装置、设备及存储介质
[0001]本专利技术涉及数据采集
，尤其涉及一种日志数据采集方法、装置、设备及存储介质。
技术介绍
[0002]随着国内互联网软件技术的飞速发展，每个软件项目的代码变得越来越庞大，复杂度也随之越来越高，维护项目得正常运行也成了十分重要得内容，当然随着项目得越来越庞大，维护的工作也变得十分复杂和困难。正常为了便于软件得开发和调试过程中，添加关键业务的日志记录代码；这样在软件运行过程中，软件将其中关键业务的程序处理情况记录在日志文件中，假如发生程序的系统运行异常，就可以通过查找分析日志信息，定位到相应的问题所在。通过传统的日志方法维护系统部署在不同的主机上，需要登录到不同的机器上查看指定位置的日志文件。需要监控登录的主机繁多，且账号密码复杂。一套大型项目，部署的节点数可能成百上千，一个个登录查看日志往往不太现实。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0004]本专利技术的主要目的在于提供一种日志数据采集方法、装置、设备及存储介质，旨在解决现有技术日志监控系统部署在不同的主机上导致节点众多操作麻烦的技术问题。
[0005]为实现上述目的，本专利技术提供了一种日志数据采集方法，所述方法包括以下步骤：
[0006]接收分布于各目标客户端的数据采集节点的日志数据；
[0007]对所述日志数据进行筛选，得到展示日志数据；
[0008]将所述展示日志数据存储后通过监控面板展示。
[0009]可选地，所述接收分布于各客户端的数据采集节点的日志数据之前，还包括：
[0010]获取客户端信息；
[0011]根据所述客户端信息确定身份认证信息；
[0012]根据所述身份认证信息确定目标客户端；
[0013]将所述目标客户端中预先配置的采集节点作为数据采集节点。
[0014]可选地，所述接收分布于各目标客户端的数据采集节点的日志数据，包括：
[0015]当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；
[0016]当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；
[0017]通过所述日志接收连接线程接收各数据采集节点传输的日志数据。
[0018]可选地，所述通过所述日志接收连接线程接收各数据采集节点传输的日志数据之前，还包括：
[0019]向各数据采集节点发送轮询更新指令，以使各数据采集节点查询更新文件信息，并根据所述更新文件信息进行日志采集。
[0020]可选地，所述根据所述更新文件信息进行日志采集之前，还包括：
[0021]向各数据采集节点发送垃圾数据权限控制指令，以使各数据采集节点增加身份验证流程，并使各数据采集节点拦截未通过所述身份验证流程的数据。
[0022]可选地，所述接收分布于各目标客户端的数据采集节点的日志数据之后，还包括：
[0023]获取所述日志数据的数据来源信息；
[0024]根据所述数据来源信息确定数据源身份信息；
[0025]根据所述数据源身份信息确定未验证数据源，并将所述日志数据中的未验证数据源剔除。
[0026]可选地，所述对所述日志数据进行筛选，得到展示日志数据，包括：
[0027]获取日志消息信息，并根据所述日志消息信息确定所述日志数据是否达到过滤条件；
[0028]当所述日志数据达到所述过滤条件时，获取各数据采集节点的数据采集设置；
[0029]根据所述数据采集设置和所述日志数据确定各数据采集节点的已采集信息；
[0030]根据预设过滤规则对所述已采集信息进行数据过滤，得到展示日志数据，所述预设过滤规则为将各数据采集节点的所述已采集信息过滤到仅保留最新更新数据。
[0031]可选地，所述接收分布于各目标客户端的数据采集节点的日志数据之后，还包括：
[0032]根据所述日志数据确定等待存储的事件队列信息；
[0033]根据所述事件队列信息确定事件数量信息；
[0034]根据所述事件数量信息确定需调整数据采集策略的目标节点；
[0035]调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示。
[0036]可选地，所述调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示，包括：
[0037]向所述目标节点发送持续采集指令，以使所述目标节点持续监控日志，并反馈日志更新内容信息；
[0038]根据所述日志更新内容信息更新所述日志数据，得到更新日志数据；
[0039]对所述更新日志数据进行数据清洗和存储，并通过所述监控面板展示。
[0040]可选地，所述将所述展示日志数据存储后通过监控面板展示之后，还包括：
[0041]当接收到问题查询指令时，根据所述问题查询指令确定查询关键字；
[0042]根据所述查询关键字对所述日志数据进行文档搜索，以确定目标问题文档；
[0043]获取所述目标问题文档对应的异常日志信息，并通过所述监控面板展示所述异常日志信息。
[0044]可选地，所述将所述展示日志数据存储后通过监控面板展示之后，还包括：
[0045]当接收到问题锁定指令时，查询数据切片容器的容器存储信息；
[0046]根据所述容器存储信息确定各数据采集节点中的无数据节点；
[0047]根据所述无数据节点确定问题节点；
[0048]获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址
信息。
[0049]可选地，所述当接收到问题锁定指令时，查询数据切片容器的容器存储信息之前，还包括：
[0050]创建初始切片容器；
[0051]在所述初始切片容器设定过期时间周期，以得到数据切片容器，所述数据切片容器在所述过期时间周期内存储各数据采集节点发送的所述日志数据，并在接收到已存储的来自相同的所述数据采集节点的所述日志数据时不进行储存。
[0052]可选地，所述在所述初始切片容器设定过期时间周期，以得到数据切片容器之后，还包括：
[0053]根据所述过期时间周期确定到期时间；
[0054]当到达到期时间时清空所述数据切片容器，以进行下一轮日志收集。
[0055]此外，为实现上述目的，本专利技术还提出一种日志数据采集装置，所述日志数据采集装置包括：
[0056]数据接收模块，用于接收分布于各目标客户端的数据采集节点的日志数据；
[0057]数据筛选模块，用于对所述日志数据进行筛选，得到展示日志数据；
[0058]数据展示模块，用于将所述展示日志数据存储后通过监控面板展示。
[0059]可选地，所述数据接收模块，还用于当监听到来自所述数据采集节点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志数据采集方法，其特征在于，所述日志数据采集方法包括：接收分布于各目标客户端的数据采集节点的日志数据；对所述日志数据进行筛选，得到展示日志数据；将所述展示日志数据存储后通过监控面板展示。2.如权利要求1所述的方法，其特征在于，所述接收分布于各客户端的数据采集节点的日志数据之前，还包括：获取客户端信息；根据所述客户端信息确定身份认证信息；根据所述身份认证信息确定目标客户端；将所述目标客户端中预先配置的采集节点作为数据采集节点。3.如权利要求1所述的方法，其特征在于，所述接收分布于各目标客户端的数据采集节点的日志数据，包括：当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；通过所述日志接收连接线程接收各数据采集节点传输的日志数据。4.如权利要求3所述的方法，其特征在于，所述通过所述日志接收连接线程接收各数据采集节点传输的日志数据之前，还包括：向各数据采集节点发送轮询更新指令，以使各数据采集节点查询更新文件信息，并根据所述更新文件信息进行日志采集。5.如权利要求4所述的方法，其特征在于，所述根据所述更新文件信息进行日志采集之前，还包括：向各数据采集节点发送垃圾数据权限控制指令，以使各数据采集节点增加身份验证流程，并使各数据采集节点拦截未通过所述身份验证流程的数据。6.如权利要求1所述的方法，其特征在于，所述...
【专利技术属性】
技术研发人员：胡振泉，陈松，吴诗伟，刘珊，张文钰，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。