日志信息处理方法、装置及电子设备制造方法及图纸

本申请提供一种日志信息处理方法、装置及电子设备，涉及数据处理技术领域，其中，该方法包括通过获取Kafka分布式消息系统中的多个日志消息，并采用Flink分布式运算系统处理各个日志消息，生成统计结果，其中Kafka分布式消息系统中包括至少一笔委托单在多个处理节点上的日志消息，日志消息中包括对应的委托单在各个处理节点上的时延信息和委托信息，统计结果中包括日志消息涉及的各委托单的时延统计信息和委托统计信息。本申请提供的技术方案采用分布式设计可以提高计算能力，并通过结合Kafka分布式消息系统和Flink分布式运算系统，以及时处理数据量巨大的日志消息并得到准确的统计结果，实现提高日志信息查询系统的及时性和准确性。

【技术实现步骤摘要】
日志信息处理方法、装置及电子设备
本申请涉及数据处理技术，尤其涉及一种日志信息处理方法、装置及电子设备，属于日志数据处理

技术介绍
目前金融行业发展迅速，越来越多的人参与到股票、基金，证券等金融交易中。现代金融交易全部由证券交易系统完成，用户可以通过委托证券机构进行买入和卖出的行为。为了保证交易的安全和可靠，证券交易系统中包括很多个流程节点，例如，交易所、报盘机、核心处理机、前置机和客户端等。为了完成一笔交易，委托单需要在各个流程节点之间进行流转，流传时的信息都记录在日志中，包括流转中的委托信息、状态信息和延迟信息等。若想查询某笔委托单的流转信息，则需要查看对应的日志，并在该日志中查找需要的流转信息。但是，目前的日志信息查询都是由单台计算机完成的，而现在交易系统中的交易繁多，生成的日志数量巨大，加之单台计算机的处理能力有限，导致现有的日志信息查询系统无法及时、准确的处理大量日志。
技术实现思路
有鉴于此，本申请提供一种日志信息处理方法、装置及电子设备，用于提高日志信息查询系统的及时性和准确性。...

【技术保护点】
1.一种日志信息处理方法，其特征在于，包括：/n获取卡夫卡Kafka分布式消息系统中的多个日志消息，所述Kafka分布式消息系统中包括至少一笔委托单在多个处理节点上的日志消息，所述日志消息中包括对应的委托单在各个处理节点上的时延信息和委托信息；/n采用福林克Flink分布式运算系统处理各个日志消息，生成统计结果，所述统计结果中包括所述日志消息涉及的各委托单的时延统计信息和委托统计信息。/n

【技术特征摘要】
1.一种日志信息处理方法，其特征在于，包括：
获取卡夫卡Kafka分布式消息系统中的多个日志消息，所述Kafka分布式消息系统中包括至少一笔委托单在多个处理节点上的日志消息，所述日志消息中包括对应的委托单在各个处理节点上的时延信息和委托信息；
采用福林克Flink分布式运算系统处理各个日志消息，生成统计结果，所述统计结果中包括所述日志消息涉及的各委托单的时延统计信息和委托统计信息。


2.根据权利要求1所述的方法，其特征在于，所述日志消息中包括对应的委托单的委托单标识和流程序号，所述采用福林克Flink分布式运算系统处理各个日志消息，生成统计结果，包括：
根据所述日志消息的委托单标识和流程序号，采用所述Flink分布式运算系统将对应于同一委托单的日志消息按照所述日志消息的流程序号进行拼接，生成各委托单对应的总日志消息；
对各所述总日志消息进行数据统计，得到所述统计结果。


3.根据权利要求2所述的方法，其特征在于，所述对各所述总日志消息进行数据统计，得到所述统计结果，包括：
对于每个委托单对应的总日志消息，对所述总日志消息进行切片，生成多个日志切片；
按照不同的统计口径对所述多个日志切片进行数据统计，分别得到所述总日志消息对应的委托单的时延统计信息和委托统计信息。


4.根据权利要求1所述的方法，其特征在于，所述Fli...

【专利技术属性】
技术研发人员：周延甲，张治国，黄贤峰，许燕，杨兴智，姚峰，
申请(专利权)人：上海金仕达软件科技有限公司，
类型：发明
国别省市：上海;31