一种体彩异常交易请求的监控系统及方法技术方案

本发明专利技术公开了一种体彩异常交易请求的监控系统及方法，其中，该系统包括：日志收集模块，用于获取体彩交易系统的交易流水日志；日志缓存模块，用于将交易流水日志缓存至第一缓存队列；日志处理模块，用于对第一缓存队列中的交易流水日志进行分割，对分割后的交易流水日志进行清洗，清洗掉不需要的内容，逐条对清洗后的日志中的字段进行格式转换及翻译，并标记出异常的请求，将处理后的日志数据写入日志缓存模块中的第二缓存队列；数据推送模块，用于根据第二缓存队列中的日志数据，进行逻辑处理并推送至监控页面进行显示及告警。基于该系统及方法可以极低延迟完成体彩异常交易请求的检测，保证体彩业务正常开展。

【技术实现步骤摘要】
一种体彩异常交易请求的监控系统及方法
本专利技术涉及日志监控
，尤指一种体彩异常交易请求的监控系统及方法。
技术介绍
随着彩票行业的发展，彩票行业对游戏系统的性能、安全及稳定等提出了更高的要求。目前，传统的方式是采用监控产品(如，Tivoli日志监控系统)对生产系统采集的日志信息进行匹配，整个过程用时取决于metafile定义的切割事件和Tivoli的日志轮训(匹配告警规则的时间)，该系统是通过日志处理器(如，Agent)调用内置metafile(元文件)对日志进行切割，metafile对日志切割后会通过日志处理器将切割后的日志信息传送到Tivoli转发器，然后Tivoli服务器(TivoliServer)会对日志进行流式处理，在流式处理的过程中Tivoli会定义告警的规制，例如：匹配到ERROR的同时匹配到错误码。然后Tivoli会将告警信息传送到Omnibus(事件平台)，同时由事件平台推送弹屏和声音告警。结合上述Tivoli监控系统来看，整个过程用时一般在检测到日志异常，到发出告警通知的延迟在3-5分钟左右，时效性较低，整个日志监控存在瓶颈。因此，会导致日志格式不规范的情况下消耗日志处理器端的系统资源，日志量大的情况下消耗服务器端的系统资源，且导致服务器端判断规则失效，告警延迟时间长，流式处理监控系统无法追溯。现有技术还提出了通过Hadoop、Hive等批量大数据处理方案，对日志进行清洗、转换、写入HDFS，并通过MapReduce(一种用于大规模数据集的并行运算的编程模型)的方式进行计算，但是这种方式会存在时效性较低，通常在数据产生到被处理成最终结果需要2-4分钟。另外，若完全使用自开发的方式，进行后台数据处理的复杂性较高；其中，处理过程中主要的时间都花在发消息，接收消息及消息序列化，真正的业务逻辑只占了源代码的一小部分；一个应用程序的逻辑运行在很多worker上，但这些worker需要各自单独部署，还需要部署消息队列，这样最大问题是系统很脆弱，而且是非容错的，需要自己保证消息队列和worker进程工作正常，开发难度较高；在服务宕机时，恢复较为困难，后期维护成本较高。综上来看，亟需一种可以极低延迟完成体彩异常交易请求的监控技术方案，以控制游戏系统风险，减少系统故障并在故障发生时减少影响。
技术实现思路
为克服上述问题，本专利技术提出了一种体彩异常交易请求的监控系统及方法。由于体彩业务处在高速上升阶段，系统日趋复杂，承载的业务量也越来越大，这对运维工作提出了极大挑战。为了实时了解核心售票系统的健康情况，在本专利技术中引入了基于流式大数据处理技术，极低延迟完成体育彩票异常交易请求的检测。从而实现了以毫秒级的极低延迟，完成对体育彩票异常交易请求的可视化监控，保证服务发生异常时第一时间发现，以控制游戏系统风险；系统组件原生支持高并发、水平扩展、高可用，可以把核心精力集中在监控业务开发上，有效降低了开发成本，减少系统故障并在故障发生时减少影响。在本专利技术一实施例中，提出了一种体彩异常交易请求的监控系统，该系统包括：日志收集模块，用于获取体彩交易系统的交易流水日志；日志缓存模块，用于将所述交易流水日志缓存至第一缓存队列；日志处理模块，用于对所述第一缓存队列中的交易流水日志进行分割，对分割后的交易流水日志进行清洗，清洗掉不需要的内容，逐条对清洗后的日志中的字段进行格式转换及翻译，并标记出异常的请求，将处理后的日志数据写入所述日志缓存模块中的第二缓存队列；数据推送模块，用于根据所述第二缓存队列中的日志数据，进行逻辑处理并推送至监控页面进行显示及告警。进一步的，所述日志缓存模块中部署有Kafka消息队列集群，包括第一缓存队列及第二缓存队列。进一步的，所述日志处理模块包括：日志读取单元，利用Storm集群中的KafkaSpout组件实时读取所述第一缓存队列中的交易流水日志；日志分割单元，利用Storm集群中的分割组件对所述交易流水日志进行分割，并对分割后的交易流水日志进行清洗，清洗掉不需要的内容，得到清洗后的日志；日志转换单元，利用Storm集群中的转换组件逐条对所述清洗后的日志中的字段进行格式转换及翻译，并标记出异常日志，得到处理后的日志数据；日志写入单元，用于将所述处理后的日志数据实时写入所述第二缓存队列。进一步的，日志中的字段包括请求id、省份、返回码及指令属性编码。进一步的，该系统还包括：数据监控模块，用于接收所述数据推送模块推送的日志数据，将所述日志数据进行渲染并通过Html5监控页面显示。进一步的，所述数据推送模块具体用于：实时消费所述第二缓存队列，读取所述第二缓存队列中的日志数据，进行数据逻辑处理并发送广播消息，通过WebSocket协议将所述日志数据实时推送到数据监控模块。进一步的，所述数据监控模块还用于在接收到用户输入的监控场景设置指令时，根据所述监控场景设置指令，将设置筛选条件所对应的日志数据通过Html5监控页面显示；其中，所述筛选条件包括省份、请求类型、返回值类型及响应时间。在本专利技术另一实施例中，还提出了一种体彩异常交易请求的监控方法，该方法包括：获取体彩交易系统的交易流水日志；将所述交易流水日志缓存至第一缓存队列；对所述第一缓存队列中的交易流水日志进行分割，并对分割后的交易流水日志进行清洗，清洗掉不需要的内容，得到清洗后的日志；逐条对所述清洗后的日志中的字段进行格式转换及翻译，并标记出异常的请求，将处理后的日志数据写入第二缓存队列；根据所述第二缓存队列中的日志数据，进行逻辑处理并推送至监控页面进行显示及告警。在本专利技术另一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现体彩异常交易请求的监控方法。在本专利技术另一实施例中，还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现体彩异常交易请求的监控方法。本专利技术提出的体彩异常交易请求的监控系统及方法，相较于现有技术至少存在以下优点：1、由于全部采用实时大数据处理技术进行开发，在整个处理过程中消耗的时间极少，可以以极低延迟输出结果，大大提高了监控的实时性。极低延迟完成体育彩票异常交易请求的检测，能够在系统异常时，更快的发现、定位和处置，加快系统恢复，从而保障体彩业务正常开展。2、数据处理组件均为高可用集群架构，原生支持高可用，并且可以弹性扩展以加大处理量，大大降低了维护成本。3、可以在展示页面筛选所需的交易流水内容，方便了实际用户针对不同场景筛选不同的日志内容进行监控，更贴合业务需要。附图说明图1是本专利技术一实施例的体彩异常交易请求的监控系统架构示意图。图2是本专利技术一具体实施例的体彩异常交易请求的监控系统中的数据流示意图。图3是本专利技术一具体实施例的日志处理模块的本文档来自技高网...

【技术保护点】
1.一种体彩异常交易请求的监控系统，其特征在于，该系统包括：/n日志收集模块，用于获取体彩交易系统的交易流水日志；/n日志缓存模块，用于将所述交易流水日志缓存至第一缓存队列；/n日志处理模块，用于对所述第一缓存队列中的交易流水日志进行分割，对分割后的交易流水日志进行清洗，清洗掉不需要的内容，逐条对清洗后的日志中的字段进行格式转换及翻译，并标记出异常的请求，将处理后的日志数据写入所述日志缓存模块中的第二缓存队列；/n数据推送模块，用于根据所述第二缓存队列中的日志数据，进行逻辑处理并推送至监控页面进行显示及告警。/n

【技术特征摘要】
1.一种体彩异常交易请求的监控系统，其特征在于，该系统包括：
日志收集模块，用于获取体彩交易系统的交易流水日志；
日志缓存模块，用于将所述交易流水日志缓存至第一缓存队列；
日志处理模块，用于对所述第一缓存队列中的交易流水日志进行分割，对分割后的交易流水日志进行清洗，清洗掉不需要的内容，逐条对清洗后的日志中的字段进行格式转换及翻译，并标记出异常的请求，将处理后的日志数据写入所述日志缓存模块中的第二缓存队列；
数据推送模块，用于根据所述第二缓存队列中的日志数据，进行逻辑处理并推送至监控页面进行显示及告警。


2.根据权利要求1所述的体彩异常交易请求的监控系统，其特征在于，所述日志缓存模块中部署有Kafka消息队列集群，包括第一缓存队列及第二缓存队列。


3.根据权利要求1或2所述的体彩异常交易请求的监控系统，其特征在于，所述日志处理模块包括：
日志读取单元，利用Storm集群中的KafkaSpout组件实时读取所述第一缓存队列中的交易流水日志；
日志分割单元，利用Storm集群中的分割组件对所述交易流水日志进行分割，并对分割后的交易流水日志进行清洗，清洗掉不需要的内容，得到清洗后的日志；
日志转换单元，利用Storm集群中的转换组件逐条对所述清洗后的日志中的字段进行格式转换及翻译，并标记出异常日志，得到处理后的日志数据；
日志写入单元，用于将所述处理后的日志数据实时写入所述第二缓存队列。


4.根据权利要求3所述的体彩异常交易请求的监控系统，其特征在于，日志中的字段包括请求id、省份、返回码及指令属性编码。


5.根据权利要求1所述的体彩异常交易请求的监控系统，其特征在于，...

【专利技术属性】
技术研发人员：徐富全，孙丽莉，张劭劼，许超，
申请(专利权)人：中体彩科技发展有限公司，
类型：发明
国别省市：北京;11