一种基于kafka消息实现即时查询的系统及方法技术方案

本发明专利技术公开一种基于kafka消息实现即时查询的系统及方法，系统包括，管理单元、消息输入单元、前置过滤单元、记录单元和即时查询单元；所述管理单元存储有消息输入规则、前置过滤规则、记录规则和即时查询规则；消息输入单元，用于接收数据，并将接收的数据分区写入至系统；前置过滤单元，用于针对写入的数据进行格式过滤或字段过滤；记录单元，用于在分区写入数据时，保存分区数据对应的偏移量信息，并记录分区数据对应的写入时间戳文件；即时查询单元，用于响应于查询指令，查询指定偏移量和时间戳对应的分区写入数据。对应的分区写入数据。对应的分区写入数据。

【技术实现步骤摘要】
一种基于kafka消息实现即时查询的系统及方法


[0001]本专利技术涉及工业大数据领域，具体涉及一种基于kafka消息实现即时查询的系统及方法，用于在工况消息存储到kafka消息队列过程中，对数据实现前置规则校验、数据即时查询以及数据生产消费过程中实现监控和告警的系统。

技术介绍

[0002]工业大数据是基于各类分布式并发技术，对现代工业领域各流程数据进行传输、解析、存储、分析，利用生产数据加快生产效率的一种现代化技术。现有kafka消息队列，无法实现对写入数据的前置校验，写入的数据在实现消费展示前缺乏高效的查询手段，同时消费方式仅局限于依据偏移量，对生产消费过程中也没有很好的监控手段。
[0003]以kafka消息队列为例的消息缓存组件，虽然在解耦、高吞吐、事务性方面有比较好的保证，但是对于写入的消息没有任何格式或内容校验、写入消息无法实现即时查询、定位消息只能通过偏移量、消费积压无任何主动告警提示。
[0004]工业大数据领域工况实时数据必须暂存至消息队列，不应该只是局限于现有产品，传统消息队列以kafka为例，存入数据只本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于kafka消息实现即时查询的系统，其特征在于，包括，管理单元、消息输入单元、前置过滤单元、记录单元和即时查询单元；管理单元，所述管理单元存储有消息输入规则、前置过滤规则、记录规则和即时查询规则，用于进行消息输入、前置过滤、记录和即时查询的管理；消息输入单元，用于根据管理单元存储的消息输入规则，接收数据，并将接收的数据分区写入至系统；前置过滤单元，用于根据管理单元存储的前置过滤规则，针对写入的数据进行格式过滤或字段过滤；记录单元，用于根据管理单元存储的记录规则，在分区写入数据时，保存分区数据对应的偏移量信息，并记录分区数据对应的写入时间戳文件；即时查询单元，用于根据管理单元存储的即时查询规则，响应于查询指令，查询指定偏移量和时间戳对应的分区写入数据。2.根据权利要求1所述的一种基于kafka消息实现即时查询的系统，其特征在于，包括车载终端，所述车载终端产生工程机械车辆工况和轨迹数据，所述工程机械车辆工况和轨迹数据通过车载终端直连到IoT物联网网关，所述网关对数据进行初步解析整合后转发至消息输入单元。3.根据权利要求1所述的一种基于kafka消息实现即时查询的系统，其特征在于，所述前置过滤规则提供多种过滤范式，包括针对json数据格式提供头尾
‘
{}
’
符号快速校验方法以及json格式化后校验主要字段的方法；还包括针对文本格式提供消息长度比对工具以及基于字符串的关键子字符串校验的方法。4.根据权利要求1所述的一种基于kafka消息实现即时查询的系统，其特征在于，所述前置过滤单元提供过滤校验机制，所述过滤校验机制选...

【专利技术属性】
技术研发人员：葛军，
申请(专利权)人：徐工汉云技术股份有限公司，
类型：发明
国别省市：