税务端系统日志实时分析方法、设备、介质及系统技术方案

本发明专利技术公开了一种税务端系统日志实时分析方法、设备、介质及系统。方法包括：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；将采集的日志数据缓存至消息队列集群中，同时将采集的日志数据作为原始日志数据进行分布式存储；提取消息队列集群中的日志数据并基于流计算工具对日志数据进行实时分析处理，同时将分析结果进行实时存储；提供操作界面，通过操作界面基于大数据计算引擎对原始日志数据进行查询、查询结果展示以及离线分析处理，或通过操作界面根据查询条件对实时存储的分析结果进行实时查询和查询结果展示。实现快速、准确的获取到相关信息，快速定位系统问题。

Real time analysis method, equipment, media and system of tax system log

【技术实现步骤摘要】
税务端系统日志实时分析方法、设备、介质及系统
本专利技术涉及数据处理领域，更具体地，涉及一种税务端系统日志实时分析方法、设备、介质及系统。
技术介绍
防伪税控系统税务局端在运行过程中会产生大量的日志，会记录每一个纳税人的每一个操作等日志数据，这些日志以文件的形式存储在本地。当发现问题后，开发人员或者运维人员在排查问题时，需要逐个排查每个文件，从中查找与问题相关的日志数据，有时需要统计一个纳税人识别号在某一个时间段内做了多少个操作，或者某个业务如主机分退票业务在某一时间段内一共被执行了多少次。有时这些日志数据是杂乱无序的，也可能并不在一个文件中，这就需要工作人员逐个排查日志文件去分析统计，花费了大量时间，严重影响了工作效率。因此需要提出一种新的税务端日志分析方法，能够快速准确的获取到相关日志数据信息，从而快速定位系统问题、提高工作效率。
技术实现思路
本专利技术的目的是提出一种税务端系统日志实时分析方法、设备、介质及系统，实现快速准确的获取到相关日志数据信息，从而快速定位系统问题、提高工作效率。为实现上述目的，本专利技术提出了一种税务端系统日志实时分析方法，包括：步骤1：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；步骤2：将采集的所述日志数据缓存至消息队列集群中，同时将采集的所述日志数据作为原始日志数据进行分布式存储；步骤3：提取所述消息队列集群中的所述日志数据并基于流计算工具对所述日志数据进行实时分析处理，同时将分析结果进行实时存储；步骤4：提供操作界面，通过所述操作界面基于大数据计算引擎对所述原始日志数据进行查询、查询结果展示以及离线分析处理，或通过所述操作界面根据查询条件对实时存储的所述分析结果进行实时查询和查询结果展示。可选地，所述步骤1包括：在税务端服务器上部署至少一个Flume日志采集客户端，所述Flume日志采集客户端基于配置文件对税务端系统进行多线程的日志数据采集。可选地，所述步骤2包括：通过Kafka消息队列集群对实时采集的所述日志数据进行缓存，同时将采集的所述日志数据存储至Hadoop分布式文件系统中，作为原始日志数据进行持久化保持；对所述Kafka消息队列集群设置自动清理机制，以对过期的日志数据进行清理。可选地，所述通过Kafka消息队列集群对采集的所述日志数据进行缓存包括：通过所述Kafka消息队列集群创建的分区以及与日志数据关联的消息类别对所述日志数据进行缓存。可选地，所述步骤3包括：通过Spark流实时计算程序拉取所述Kafka消息队列集群中缓存的日志数据进行分析以获取每个业务操作的完整信息，并实时输出分析结果，同时将所述分析结果进行存储。可选地，在所述步骤4中，所述基于大数据计算引擎对所述原始日志数据进行离线分析处理包括：通过所述操作界面利用Spark计算引擎对所述原始日志数据进行离线分析处理。本专利技术还提出一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的税务端系统日志实时分析方法。本专利技术还提出一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行上述的税务端系统日志实时分析方法。本专利技术还提出一种税务端系统日志实时分析系统，包括：日志采集模块，用于多线程实时采集税务端系统每个业务操作的产生的日志数据；日志缓存模块，用于将采集的所述日志数据缓存至消息队列集群中；日志存储模块，用于将采集的所述日志数据作为原始日志数据进行分布式存储；日志分析模块，用于提取所述消息队列集群中的所述日志数据并基于流计算工具对所述日志数据进行实时分析处理，同时将分析结果进行实时存储；日志展示模块，用于提供操作界面，通过所述操作界面基于大数据计算引擎对所述原始日志数据进行查询、查询结果展示以及离线分析处理，或通过所述操作界面根据查询条件对实时存储的所述分析结果进行实时查询和查询结果展示。可选地，所述日志采集模块包括至少一个Flume日志采集客户端，所述Flume日志采集客户端基于配置文件对税务端系统进行多线程的日志数据采集；所述日志缓存模块包括Kafka消息队列集群，所述Kafka消息队列集群用于对实时采集的所述日志数据进行缓存；所述日志存储模块包括Hadoop分布式文件系统，所述Hadoop分布式文件系统用于将采集的所述日志数据作为原始日志数据进行持久化的分布式存储；所述日志分析模块包括Spark流实时计算程序和Spark计算引擎，其中，所述Spark流实时计算程序用于拉取所述Kafka消息队列集群中缓存的日志数据进行分析以获取每个业务操作的完整信息，并实时输出分析结果；所述Spark计算引擎用于对所述原始日志数据进行离线分析处理。本专利技术的有益效果在于：通过多线程的目标日志读取，并将读取到的日志数据传输至消息队列集群进行日志数据的缓存，基于基于流计算工具对缓存的日志数据进行提取分析，实时输出日志分析结果并将分析结果进行存储，能够将每个业务的完整信息获取并存储；利用大数据计算引擎分析原始日志数据，以及根据不同的查询条件进行日志分析结果实时查询，能够准确快速的获取到相关信息，从而快速定位系统问题。本专利技术的装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本专利技术的特定原理。附图说明通过结合附图对本专利技术示例性实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显，在本专利技术示例性实施例中，相同的参考标号通常代表相同部件。图1示出了根据本专利技术的一种税务端系统日志实时分析方法的步骤图。图2示出了根据本专利技术的一个实施例的一种税务端系统日志实时分析系统架构图。具体实施方式下面将参照附图更详细地描述本专利技术。虽然附图中显示了本专利技术的优选实施例，然而应该理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本专利技术更加透彻和完整，并且能够将本专利技术的范围完整地传达给本领域的技术人员。图1示出了根据本专利技术的一种税务端系统日志实时分析方法的步骤图。如图1所示，根据本专利技术的一种税务端系统日志实时分析方法，包括：步骤1：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；步骤2：将采集的日志数据缓存至消息队列集群中，同时将采集的日志数据作为原始日志数据进行分布式存储；步骤3：提取消息队列集群中的日志数据并基于流计算工具对日志数据进行实时分析处理，同时将分析结果进行实时存储；步骤4：提供操作界面，通过操作界本文档来自技高网...

【技术保护点】
1.一种税务端系统日志实时分析方法，其特征在于，包括：/n步骤1：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；/n步骤2：将采集的所述日志数据缓存至消息队列集群中，同时将采集的所述日志数据作为原始日志数据进行分布式存储；/n步骤3：提取所述消息队列集群中的所述日志数据并基于流计算工具对所述日志数据进行实时分析处理，同时将分析结果进行实时存储；/n步骤4：提供操作界面，通过所述操作界面基于大数据计算引擎对所述原始日志数据进行查询、查询结果展示以及离线分析处理，或通过所述操作界面根据查询条件对实时存储的所述分析结果进行实时查询和查询结果展示。/n

【技术特征摘要】
1.一种税务端系统日志实时分析方法，其特征在于，包括：
步骤1：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；
步骤2：将采集的所述日志数据缓存至消息队列集群中，同时将采集的所述日志数据作为原始日志数据进行分布式存储；
步骤3：提取所述消息队列集群中的所述日志数据并基于流计算工具对所述日志数据进行实时分析处理，同时将分析结果进行实时存储；
步骤4：提供操作界面，通过所述操作界面基于大数据计算引擎对所述原始日志数据进行查询、查询结果展示以及离线分析处理，或通过所述操作界面根据查询条件对实时存储的所述分析结果进行实时查询和查询结果展示。


2.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，所述步骤1包括：
在税务端服务器上部署至少一个Flume日志采集客户端，所述Flume日志采集客户端基于配置文件对税务端系统进行多线程的日志数据采集。


3.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，所述步骤2包括：
通过Kafka消息队列集群对实时采集的所述日志数据进行缓存，同时将采集的所述日志数据存储至Hadoop分布式文件系统中，作为原始日志数据进行持久化保持；
对所述Kafka消息队列集群设置自动清理机制，以对过期的日志数据进行清理。


4.根据权利要求3所述的税务端系统日志实时分析方法，其特征在于，所述通过Kafka消息队列集群对采集的所述日志数据进行缓存包括：
通过所述Kafka消息队列集群创建的分区以及与日志数据关联的消息类别对所述日志数据进行缓存。


5.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，所述步骤3包括：
通过Spark流实时计算程序拉取所述Kafka消息队列集群中缓存的日志数据进行分析以获取每个业务操作的完整信息，并实时输出分析结果，同时将所述分析结果进行存储。


6.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，在所述步骤4中，所述基于大数据计算引擎对所述原始日志数据进行离线分析处理包括：
通过所述操作界面利用Spark计算引擎对所述原始日志数据进行离线分析处理。

【专利技术属性】
技术研发人员：王梦蕾，彭勇钊，年洪旭，李鹏程，谢宇，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11