基于Kafka的矿用设备感知数据的处理方法及系统技术方案

本申请提出一种基于Kafka的矿用设备感知数据的处理方法及系统，该方法包括：基于Kafka的采集工具采集矿井下目标设备的监控系统感知数据，并配置多个参数信息保证采集工具读取采集到的Kafka流式消息；根据数据源和消息类别对采集到的Kafka流式消息进行分类存储；结合分类，配置不同类别的解析模板，对待使用的Kafka流式消息进行json解析，将待使用的Kafka流式消息转换成二维表；将json数据中的数组进行展开处理并存入对应的二维表中。该方法结合kafka解析和分布式存储等技术，可以实现煤矿重大设备监控系统感知类kafka数据的自动采集与解析，提高矿用设备感知数据处理的实时性、准确性和处理效率。准确性和处理效率。准确性和处理效率。

【技术实现步骤摘要】
基于Kafka的矿用设备感知数据的处理方法及系统


[0001]本申请涉及数据处理
，尤其涉及一种基于Kafka的矿用设备感知数据的处理方法及系统。

技术介绍

[0002]随着煤矿开采向数字化和智能化方向发展，矿用装备安全管理越来越引起人们的关注，在强化矿用装备安标把关的基础上，需要加强事中、事后的监管。为了实现矿用装备安标监督管理系统更加完备，全过程管控更加到位、更加科学高效的目的，需要全面提升矿用新装备的溯源管理和风险管控能力。
[0003]其中，对煤矿重大设备的监控系统感知类数据进行采集和解析，是实现矿用设备的溯源管理和风险管控的重要方式。相关技术中，对矿用设备监控系统感知数据进行处理时，一般是采用人工处理的方式，通过相关的操作人员人工上传和处理监控系统的感知类数据。
[0004]然而，由于感知数据数据量巨大，且更新频率快，上述传统的人工处理方法无法满足实时的数据处理需求，感知数据的处理效率较低且处理结果容易出现误差。

技术实现思路

[0005]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka的矿用设备感知数据的处理方法，其特征在于，包括以下步骤：基于Kafka的采集工具采集矿井下目标设备的监控系统感知数据，并配置多个参数信息保证所述采集工具读取采集到的Kafka流式消息；根据数据源和消息类别对采集到的所述Kafka流式消息进行分类存储；结合所述分类，配置不同类别的解析模板，对待使用的Kafka流式消息进行json解析，将所述待使用的Kafka流式消息转换成二维表；将json数据中的数组进行展开处理并存入对应的所述二维表中。2.根据权利要求1所述的基于Kafka的矿用设备感知数据的处理方法，其特征在于，所述参数信息是Kafka中用于接收消息的配置信息，所述参数信息包括：Kafka数据源的IP地址、所述消息类别和消费组ID，所述配置多个参数信息保证所述采集工具读取采集到的Kafka流式消息，包括：在Kafka的基础信息配置中完善所述多个参数信息。3.根据权利要求2所述的对基于Kafka的矿用设备感知数据的处理方法，其特征在于，所述根据数据源和消息类别对采集到的所述Kafka流式消息进行分类存储，包括：配置文件存储路径，将不同数据源的相同消息类别的数据存储在一个所述消费组的存储路径，或者，将不同数据源的数据对应存储在不同的所述消费组的存储路径。4.根据权利要求1所述的基于Kafka的矿用设备感知数据的处理方法，其特征在于，所述配置不同类别的解析模板，包括：根据所述数据源和所述消息类别自定义所述解析模板的名称。5.根据权利要求1所述的基于Kafka的矿用设备感知数据的处理方法，其特征在于，所述对待使用的Kafka流式消息进行json解析，将所述待使用的Kafka流式消息转换成二维表，包括：获取Kafka输入的消息内容示例，并设置消息解析规则，所述消息解析规则包括映射出所述Kafka流式消息中的字段名和字段对应的内容；设置用于在解析后存储所述二维表的数据库...

【专利技术属性】
技术研发人员：王海军，周永南，周磊，李扬，
申请(专利权)人：中煤科工集团信息技术有限公司，
类型：发明
国别省市：