一种煤矿大数据平台监控方法、装置、设备和介质制造方法及图纸

本发明专利技术提出一种煤矿大数据平台监控方法、装置、设备和介质，该方法通过提供设置数据标签，进行数据清洗，可以直接作为模型训练的数据输入，减少建模的数据准备时间；清洗后的数据质量得到有效提升，为后续各种数据模型的建立以及模型精度的提高奠定了基础；通过对现有存量数据进行数据治理和数据分析，提炼数据指标，实现对增量数据进行有效管理和应用，科学化管理集团数据资产；通过本发明专利技术能够对现有存量数据进行数据治理及挖掘，逐步搭建数据管理体系，实现对增量数据进行有效管理和应用。

【技术实现步骤摘要】

本专利技术涉及数据分析，尤其涉及一种煤矿大数据平台监控方法、装置、设备和介质。

技术介绍

1、随着煤矿综采工作面智能化开采的不断发展，煤矿信息化、智能化程度的不断提高，智能化煤矿在开采时会产生大量的实时数据，而对不同的数据类型，平台的处理方式又各不相同。当前大数据分析逐渐以非结构化为主，现有的煤矿数据平台存储空间和运算能力已经不能满足当下高度智能化的需求，故引入一种分布式环境中可以实现对大量实时数据进行计算的系统。而目前符合这一需求并能适用于煤矿的系统是apache hadoop系统，虽然并未在智能化煤矿领域普及，但也逐渐成为大数据平台监控的主流系统。

2、目前智能化煤矿使用最多的hadoop集群数目日益增长，使得管理规模和数据管控的难度越来越大，在管控过程中，对集群中节点资源配置、实时资源占用情况等数据获取困难，导致在数据的采集、分析和传输等过程需要加大维护成本。例如，各个集群的配置、集群主控节点位置、数据包的配置等过程中，无法快速准确的提取监控到有价值的数据，增加了管理的难度。煤矿数据平台的管理是智能化煤矿数据安全、高效开采的重要部分。现有本文档来自技高网...

【技术保护点】

1.一种煤矿大数据平台监控方法，其特征在于，包括：

2.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据中，所述运行环境的监控数据的数据类型至少包括：温度监控、湿度监控、电压电流监控、硬件监控及功能监控；其中，

3.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标，包括：

4.根据权利要求3所述的煤矿大数据平台监控方法，其特征在于，所述网关节点与所述监控节点通...

【技术特征摘要】

1.一种煤矿大数据平台监控方法，其特征在于，包括：

2.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据中，所述运行环境的监控数据的数据类型至少包括：温度监控、湿度监控、电压电流监控、硬件监控及功能监控；其中，

3.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标，包括：

4.根据权利要求3所述的煤矿大数据平台监控方法，其特征在于，所述网关节点与所述监控节点通过zigbee无线网络建立通信连接，所述网关节点与所述服务平台基于tcp/ip协议的虚拟专用网络vpn建立通信连接。

5.根据权利要求3的煤矿大数据平台监控方法，其特征在于，所述监控节点包括用于监测煤矿大数据平台服务器通电运行时的设备电压的压传感器，和监测设备...

【专利技术属性】
技术研发人员：胡俭，袁超宇，王海，韩哲，毛小娃，巩师鑫，操康波，
申请(专利权)人：中煤科工开采研究院有限公司，
类型：发明
国别省市：