日志处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种日志处理方法、装置、计算机设备和存储介质。方法包括：日志采集器获取业务日志数据，将所述业务日志数据传输至消息系统；所述消息系统通过消息队列将所述业务日志数据传输至日志处理管道；所述日志处理管道根据业务需求对所述业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群；所述分布式集群存储所述处理后的业务日志数据并进行日志索引。这种日志处理方法不仅仅提高了日志的利用率，而自动化的日志收集处理的方式也大幅度的降低了日志的处理成本。

【技术实现步骤摘要】
日志处理方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种日志处理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，业务系统也得到了迅速的发展，各大企业的日志数据也越来越多。在传统技术中，对日志进行查看时需要登录机器，而当一个业务模块存在多台机器时，通过查看日志定位问题效率会非常低，而且日志数据的复杂聚合分析高度依赖于运维技术人员的手动统计，需要强大的正则表达式功底，比如：awk，sed(一种文本流编辑器)等。然而，这种仅仅依赖于运维的手动分析统计等比较原始的方式，统计亿级别的日志条数消耗人力和时间成本是非常高的，且依赖于运维技术人员的方式也常常会存在日志零散、丢失和日志利用率低的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够日志处理效率和利用率的日志处理方法、装置、计算机设备和存储介质。一种日志处理方法，所述方法包括：日志采集器获取业务日志数据，将所述业务日志数据传输至消息系统；所述消息系统通过消息队列将所述业务日志数据传输至日志处理管道；所述日志处理管道根据业务需求对所述业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群；所述分布式集群存储所述处理后的业务日志数据并进行日志索引。一种日志处理装置，所述装置包括：日志采集模块，用于日志采集器获取业务日志数据，将所述业务日志数据传输至消息系统；日志传输模块，用于所述消息系统通过消息队列将所述业务日志数据传输至日志处理管道；日志处理模块，用于所述日志处理管道根据业务需求对所述业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群；所述分布式集群存储所述处理后的业务日志数据并进行日志索引。一种计算机设备，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：日志采集器获取业务日志数据，将所述业务日志数据传输至消息系统；所述消息系统通过消息队列将所述业务日志数据传输至日志处理管道；所述日志处理管道根据业务需求对所述业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群；所述分布式集群存储所述处理后的业务日志数据并进行日志索引。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：日志采集器获取业务日志数据，将所述业务日志数据传输至消息系统；所述消息系统通过消息队列将所述业务日志数据传输至日志处理管道；所述日志处理管道根据业务需求对所述业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群；所述分布式集群存储所述处理后的业务日志数据并进行日志索引。上述日志处理方法、装置、计算机设备和存储介质，通过日志采集器获取业务日志数据，将业务日志数据传输至消息系统，消息系统通过消息队列将业务日志数据传输至日志处理管道，日志处理管道根据业务需求对业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群，分布式集群存储处理后的业务日志数据并进行日志索引，当需要用到日志数据时，则可以通过日志索引快速获取到想要获取的日志，从而针对该日志数据进行分析或展示等操作，不仅仅提高了日志的利用率，而自动化的日志收集处理的方式也大幅度的降低了日志的处理成本。附图说明图1为一个实施例中日志处理方法的应用环境图；图2为一个实施例中日志处理方法的流程示意图；图3为另一个实施例中日志处理方法的流程示意图；图4为一个实施例中日志处理装置的结构框图；图5为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的日志处理方法，可以应用于如图1所示的应用环境中。其中，日志采集器102与消息系统104通过网络进行通信，日志采集器102安装在业务服务器上，将获取到的业务日志数据传输至消息系统104，消息系统104则将业务日志数据传输至日志处理管道106，由日志处理管道106对日志数据进行处理后传输至分布式集群108，最终业务日志数据和处理过的日志存储在分布式集群108。其中，日志采集器102可以是filebeat(一个轻量级的用于收集和转发日志数据的采集器)，业务服务器可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，消息系统可以104可以是ckafka(分布式的消息系统)，日志处理管道106可以是logstash，分布式集群108可以是es集群(elasticsearch的简称，分布式可扩展的实时搜索和分析引擎)。在一个实施例中，如图2所示，提供了一种日志处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：步骤202，日志采集器获取业务日志数据，将业务日志数据传输至消息系统。日志采集器是指专门用于对业务日志进行采集的工具，日志采集器可以是filebeat，一个轻量级的用于收集和转发日志数据的采集器。当日志采集器获取到业务日志数据后可以将业务日志数据转发传输至消息系统。消息系统是指通过消息队列的方式对数据进行传输的系统，消息系统可以是ckafka，一种分布式的消息系统，用于提供消息队列服务。业务日志数据是指业务服务器上保存的跟各个业务有关的日志数据。在一个实施例中，在日志采集器获取业务日志数据之前，还包括：将日志采集器安装在每个业务服务器，对预先指定的业务日志文件进行监控；当预先指定的业务日志文件的日志文件位移发生了改变时，获取业务服务器的业务日志数据。当需要采集业务日志数据时，可以将日志采集器安装在每个业务服务器上，即在每个业务服务器上都装有日志采集器。业务服务器是指由业务层连接，且存储有各个业务操作所对应的操作日志记录的服务器。在采集日志时，会预先指定一些业务日志文件，即预定确定需要进行监控的业务日志文件。当监控到这些预先指定业务日志文件位移发生了改变时，则获取这些发生了变化的业务日志数据。业务日志文件位移是指业务日志内容的位置。比如日志1原本是aaaa，即位移是4，变成aaaabb后，即位移变成了6，这种情况下，则可认为日志1的位移发生了改变，日志采集器可获取到日志1的日志数据。在一个实施例中，在将业务日志数据传输至消息系统之后，还包括：消息系统对业务日志数据进行暂时存储，存储时长为预设存储时长；消息系统对超出预设存储时长的业务日志数据进行删除。当日志采集器将获取搭配的业务日志数据传输至消息系统后，消息系统会对业务日志数据进行暂时存储。可以对消息系统进行暂时存储时间的配置，比如可以配置为2小时，即消息系统会保留最近2小时的日志，而超过预设存储时长的业务日志数据将会被删除。具体的，消息系统在删除过期的日志数据时，采用的删除机制是按照消息系统的分片批量删除的，而并非是采取立即删除机制。比如，分片的大小是1G，当分片不到1G就不会对日志进行删除操作。也就是说，假设设置的预设存储时长为120分钟，分片的数据大小在120分钟内无法增加到1G，那么到达120分钟后，日志数据也不会被立即删除。步骤204，消息系统通过消息队列将业务日志数据传输至日志处理管道。步骤206，日志处理管道根据业务需求对业务日志数据进行处理，将处理后的业务日志数本文档来自技高网...

【技术保护点】
1.一种日志处理方法，所述方法包括：日志采集器获取业务日志数据，将所述业务日志数据传输至消息系统；所述消息系统通过消息队列将所述业务日志数据传输至日志处理管道；所述日志处理管道根据业务需求对所述业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群；所述分布式集群存储所述处理后的业务日志数据并进行日志索引。

【技术特征摘要】
1.一种日志处理方法，所述方法包括：日志采集器获取业务日志数据，将所述业务日志数据传输至消息系统；所述消息系统通过消息队列将所述业务日志数据传输至日志处理管道；所述日志处理管道根据业务需求对所述业务日志数据进行处理，将处理后的业务日志数据发送至分布式集群；所述分布式集群存储所述处理后的业务日志数据并进行日志索引。2.根据权利要求1所述的方法，其特征在于，在所述日志采集器获取业务日志数据之前，还包括：将日志采集器安装在每个业务服务器，对预先指定的业务日志文件进行监控；当所述预先指定的业务日志文件的日志文件位移发生了改变时，获取所述业务服务器的业务日志数据。3.根据权利要求1所述的方法，其特征在于，在将所述业务日志数据传输至消息系统之后，还包括：所述消息系统对所述业务日志数据进行暂时存储，存储时长为预设存储时长；所述消息系统对超出所述预设存储时长的业务日志数据进行删除。4.根据权利要求1所述的方法，其特征在于，所述日志处理管道根据业务需求对所述业务日志数据进行处理，包括：所述日志处理管道将所述业务日志数据解析成预定格式；将解析成预定格式后的业务日志数据根据业务需求进行字段处理，得到每个字段的统计数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述消息系统获取数据库中的慢日志，将所述慢...

【专利技术属性】
技术研发人员：冯锦秋，唐财俊，
申请(专利权)人：深圳市珍爱捷云信息技术有限公司，
类型：发明
国别省市：广东,44