【技术实现步骤摘要】
税务端系统日志实时分析方法、设备、介质及系统
本专利技术涉及数据处理领域，更具体地，涉及一种税务端系统日志实时分析方法、设备、介质及系统。
技术介绍
防伪税控系统税务局端在运行过程中会产生大量的日志，会记录每一个纳税人的每一个操作等日志数据，这些日志以文件的形式存储在本地。当发现问题后，开发人员或者运维人员在排查问题时，需要逐个排查每个文件，从中查找与问题相关的日志数据，有时需要统计一个纳税人识别号在某一个时间段内做了多少个操作，或者某个业务如主机分退票业务在某一时间段内一共被执行了多少次。有时这些日志数据是杂乱无序的，也可能并不在一个文件中，这就需要工作人员逐个排查日志文件去分析统计，花费了大量时间，严重影响了工作效率。因此需要提出一种新的税务端日志分析方法，能够快速准确的获取到相关日志数据信息，从而快速定位系统问题、提高工作效率。
技术实现思路
本专利技术的目的是提出一种税务端系统日志实时分析方法、设备、介质及系统，实现快速准确的获取到相关日志数据信息，从而快速定位系统问题、提高工作效率。
【技术保护点】
1.一种税务端系统日志实时分析方法，其特征在于，包括：/n步骤1：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；/n步骤2：将采集的所述日志数据缓存至消息队列集群中，同时将采集的所述日志数据作为原始日志数据进行分布式存储；/n步骤3：提取所述消息队列集群中的所述日志数据并基于流计算工具对所述日志数据进行实时分析处理，同时将分析结果进行实时存储；/n步骤4：提供操作界面，通过所述操作界面基于大数据计算引擎对所述原始日志数据进行查询、查询结果展示以及离线分析处理，或通过所述操作界面根据查询条件对实时存储的所述分析结果进行实时查询和查询结果展示。/n
【技术特征摘要】 【专利技术属性】
1.一种税务端系统日志实时分析方法，其特征在于，包括：
步骤1：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；
步骤2：将采集的所述日志数据缓存至消息队列集群中，同时将采集的所述日志数据作为原始日志数据进行分布式存储；
步骤3：提取所述消息队列集群中的所述日志数据并基于流计算工具对所述日志数据进行实时分析处理，同时将分析结果进行实时存储；
步骤4：提供操作界面，通过所述操作界面基于大数据计算引擎对所述原始日志数据进行查询、查询结果展示以及离线分析处理，或通过所述操作界面根据查询条件对实时存储的所述分析结果进行实时查询和查询结果展示。
2.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，所述步骤1包括：
在税务端服务器上部署至少一个Flume日志采集客户端，所述Flume日志采集客户端基于配置文件对税务端系统进行多线程的日志数据采集。
3.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，所述步骤2包括：
通过Kafka消息队列集群对实时采集的所述日志数据进行缓存，同时将采集的所述日志数据存储至Hadoop分布式文件系统中，作为原始日志数据进行持久化保持；
对所述Kafka消息队列集群设置自动清理机制，以对过期的日志数据进行清理。
4.根据权利要求3所述的税务端系统日志实时分析方法，其特征在于，所述通过Kafka消息队列集群对采集的所述日志数据进行缓存包括：
通过所述Kafka消息队列集群创建的分区以及与日志数据关联的消息类别对所述日志数据进行缓存。
5.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，所述步骤3包括：
通过Spark流实时计算程序拉取所述Kafka消息队列集群中缓存的日志数据进行分析以获取每个业务操作的完整信息，并实时输出分析结果，同时将所述分析结果进行存储。
6.根据权利要求1所述的税务端系统日志实时分析方法，其特征在于，在所述步骤4中，所述基于大数据计算引擎对所述原始日志数据进行离线分析处理包括：
通过所述操作界面利用Spark计算引擎对所述原始日志数据进行离线分析处理。
技术研发人员：王梦蕾，彭勇钊，年洪旭，李鹏程，谢宇，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。