矿井海量瓦斯监测数据异常识别与处置系统及方法技术方案

本发明专利技术涉及一种矿井海量瓦斯监测数据异常识别与处置系统及方法，属于瓦斯监测领域，包括：特征图谱构建模型用于对瓦斯监测数据的数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征进行特征图谱构建；异常识别与处置模型用于根据特征图谱，融合长中短期不同维度特征量化值，对数据进行监测、异常判识并处置；流式关联分析处理模块用于对数据进行采集并存储，同时加载特征图谱构建模型、异常识别与处置模型，对瓦斯监测数据进行实时分析，并制定不同层级不同等级风险协同响应处置策略，固化业务流程，构建基于电子工单的异常处置模式，对海量瓦斯监测数据进行异常识别与快速处置。识别与快速处置。识别与快速处置。

【技术实现步骤摘要】
矿井海量瓦斯监测数据异常识别与处置系统及方法


[0001]本专利技术属于瓦斯监测领域，涉及一种矿井海量瓦斯监测数据异常识别与处置系统及方法。

技术介绍

[0002]针对成辖区内煤矿每天产生少则上万多则上百万的瓦斯、粉尘、顶板等监测数据，多以关系数据库为基础，构建中短期(一般两年以内)数据存储系统，通过预设门限值进行实时报警，手工查询3到5天分钟统计值曲线，进行趋势偏离判识分析。这种方式，从技术层面看难以满足便捷查询、多维挖掘与实时处理的需求，对数据变化特征、趋势及规律判识智能化水平极低；从管理层面看工作量巨大、时效性滞后明显、有效性差，难以将事故防范节点迁移，实现有效监管。
[0003]现有的瓦斯异常识别主要从成因机理出发，模型复杂，需要采集矿井瓦斯地质条件、动态测定煤岩参数，适用于单个煤矿的瓦斯识别监管，普适性较差，无法满足大规模瓦斯数据的监管。因此亟需基于可采集的监测数据，采用大数据技术与方法，构建数据特征图谱，有效揭示矿井采掘重点区域监测数据的时空演变特征及规律，实现大范围内监测值异常变化自动锁定、识别与预警。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于数据驱动的煤矿瓦斯监测数据数理特征图谱构建方法，动态识别大规模瓦斯监测数据异常，解决海量瓦斯监测数据异常自动锁定、风险信息自动发布、动态追踪、快捷处置问题，实现机器辅助值班监管。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一方面，本专利技术提供一种矿井海量瓦斯监测数据异常识别与处置系统，包括特征图谱构建模型、异常识别与处置模型、流式关联分析处理模块；
[0007]所述特征图谱构建模型用于对瓦斯监测数据的数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征进行特征图谱构建；
[0008]所述异常识别与处置模型用于根据特征图谱，融合长中短期不同维度特征量化值，对数据进行监测、异常判识并处置；
[0009]所述流式关联分析处理模块用于对数据进行采集并存储，同时加载特征图谱构建模型、异常识别与处置模型，对瓦斯监测数据进行实时分析，并制定不同层级不同等级风险协同响应处置策略，固化业务流程，构建基于电子工单的异常处置模式，对海量瓦斯监测数据进行异常识别与快速处置。
[0010]进一步，所述流式关联分析处理模块包括数据采集器、数据存储与分析模块、风险处置模块；
[0011]所述数据采集器用于采集瓦斯监测数据，包括多种数据采集方式，通过采集配置UI实现文本文件、数据库、WebAPI形式接口数据的采集，将采集后的数据转换为规范化的格
式提交给kafka数据总线；采集的数据包括监测设备定义数据、实时数据、历史分钟数据、矿井基础数据；所述设备定义数据包括设备地址类型、所属工作面；所述实时数据和历史分钟数据包括值状态、是否处于调校、报警原因；所述矿井基础数据包括各个工作面采煤方法、循环作业班次、瓦斯等级；
[0012]所述数据存储与分析模块用于将采集的原始数据通过数据解析服务存入HBase，并映射存入Hive中；针对采集的历史数据，根据数据冷热特性将热数据同时存入Sqlserver关系数据库中，所述数据冷热特性根据数据的使用周期及频次进行划分；所述数据存储与分析模块还用于通过加载Hive中的历史数据，通过SparkStreaming流式处理框架实时从Kafka中获取时间窗的数据流，一方面调用特征图谱模型，实现特征图谱的构建和更新，并将结果存入Sqlserver数据库中，另一方面调用异常识别与处置模型进行数据异常识别，并将异常识别结果推送给风险处置模块；
[0013]所述风险处置模块包括风险处置策略库和风险推送处置模块；所述风险处置策略库根据异常识别结果，建立各种异常处置机制，包括监测失效、中长期趋势缓慢上升、数据突变异常、报警、断电；根据风险值R确定风险等级和响应机制；
[0014]所述风险推送处置模块根据异常识别结果和风险等级，调用风险处置策略，自动生成电子工单，将风险信息推送给监管人员，并通过短信、手机终端提醒。
[0015]另一方面，本专利技术提供一种矿井海量瓦斯监测数据异常识别与处置方法，包括以下步骤：
[0016]S1：采集瓦斯监测数据，并进行预处理；
[0017]S2：将采集的数据进行存储，并通过特征图谱模型构建和更新特征图谱；
[0018]S3：通过异常识别与处置模型对数据进行异常识别；
[0019]S4：对异常识别结果进行风险等级划分，并给出相应的异常处置机制，推送给相关人员。
[0020]进一步，步骤S1中，对不同形式接口的瓦斯监测数据进行采集，将采集后的数据转换为规范化的格式提交给kafka数据总线；所述接口形式包括文本文件、数据库、WebAPI；所述瓦斯监测数据包括监测设备定义数据、实时数据、历史分钟数据、矿井基础数据；所述设备定义数据包括设备地址类型、所属工作面；所述实时数据和历史分钟数据包括值状态、是否处于调校、报警原因；所述矿井基础数据包括各个工作面采煤方法、循环作业班次、瓦斯等级。
[0021]进一步，步骤S2中所述将采集的数据进行存储，具体包括：
[0022]采集的原始数据通过数据解析服务存入HBase，并映射存入Hive中；针对采集的历史数据，根据数据冷热特性将热数据同时存入Sqlserver关系数据库中，提高数据的查询效率；数据冷热特性根据数据的使用周期及频次进行划分。
[0023]进一步，步骤S2中，所述特征图谱模型构建的特征图谱包括数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征；
[0024]所述数据波动特征的计算方法包括：
[0025]采用真实波动幅度均值表征瓦斯浓度波动的程度，若监测周期t内有多个监测数据，其最大值与最小值之差即为真实波动幅度TR
t
即：
[0026]TR
t
＝x
t,high
‑
x
t,low
[0027]式中：x
t,high
为监测周期t内的最大值，x
t,low
为监测周期t内的最小值；
[0028]真实波动幅度均值是多个监测周期的真实波动幅度平均值，采用指数移动平均的一种变形形式计算真实波动幅度均值：
[0029][0030]式中N为监测周期个数；
[0031]对于第一个真实波动幅度均值，采用如下方式启动计算：
[0032][0033]采用流式处理框架分别计算报警、放炮或打钻、正常日期的波动特征，形成数据波动特征图谱，具体包括：
[0034]报警时的数据波动特征图谱，统计周期选取报警前30min，报警持续时间和报警后30min三个阶段的波动特征；
[0035]放炮或打钻时的数据波动特征图谱，按30min为周期进行分析，计算监测点开始放炮或打钻后持续整个时间段的波动特征；
[0036]正常日期的数据波动特征图谱，按3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种矿井海量瓦斯监测数据异常识别与处置系统，其特征在于：包括特征图谱构建模型、异常识别与处置模型、流式关联分析处理模块；所述特征图谱构建模型用于对瓦斯监测数据的数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征进行特征图谱构建；所述异常识别与处置模型用于根据特征图谱，融合长中短期不同维度特征量化值，对数据进行监测、异常判识并处置；所述流式关联分析处理模块用于对数据进行采集并存储，同时加载特征图谱构建模型、异常识别与处置模型，对瓦斯监测数据进行实时分析，并制定不同层级不同等级风险协同响应处置策略，固化业务流程，构建基于电子工单的异常处置模式，对海量瓦斯监测数据进行异常识别与快速处置。2.根据权利要求1所述的矿井海量瓦斯监测数据异常识别与处置系统，其特征在于：所述流式关联分析处理模块包括数据采集器、数据存储与分析模块、风险处置模块；所述数据采集器用于采集瓦斯监测数据，包括多种数据采集方式，通过采集配置UI实现文本文件、数据库、WebAPI形式接口数据的采集，将采集后的数据转换为规范化的格式提交给kafka数据总线；采集的数据包括监测设备定义数据、实时数据、历史分钟数据、矿井基础数据；所述设备定义数据包括设备地址类型、所属工作面；所述实时数据和历史分钟数据包括值状态、是否处于调校、报警原因；所述矿井基础数据包括各个工作面采煤方法、循环作业班次、瓦斯等级；所述数据存储与分析模块用于将采集的原始数据通过数据解析服务存入HBase，并映射存入Hive中；针对采集的历史数据，根据数据冷热特性将热数据同时存入Sqlserver关系数据库中，所述数据冷热特性根据数据的使用周期及频次进行划分；所述数据存储与分析模块还用于通过加载Hive中的历史数据，通过SparkStreaming流式处理框架实时从Kafka中获取时间窗的数据流，一方面调用特征图谱模型，实现特征图谱的构建和更新，并将结果存入Sqlserver数据库中，另一方面调用异常识别与处置模型进行数据异常识别，并将异常识别结果推送给风险处置模块；所述风险处置模块包括风险处置策略库和风险推送处置模块；所述风险处置策略库根据异常识别结果，建立各种异常处置机制，包括监测失效、中长期趋势缓慢上升、数据突变异常、报警、断电；根据风险值R确定风险等级和响应机制；所述风险推送处置模块根据异常识别结果和风险等级，调用风险处置策略，自动生成电子工单，将风险信息推送给监管人员，并通过短信、手机终端提醒。3.一种矿井海量瓦斯监测数据异常识别与处置方法，其特征在于：包括以下步骤：S1：采集瓦斯监测数据，并进行预处理；S2：将采集的数据进行存储，并通过特征图谱模型构建和更新特征图谱；S3：通过异常识别与处置模型对数据进行异常识别；S4：对异常识别结果进行风险等级划分，并给出相应的异常处置机制，推送给相关人员。4.根据权利要求3所述的矿井海量瓦斯监测数据异常识别与处置方法，其特征在于：步骤S1中，对不同形式接口的瓦斯监测数据进行采集，将采集后的数据转换为规范化的格式提交给kafka数据总线；所述接口形式包括文本文件、数据库、WebAPI；所述瓦斯监测数据包
括监测设备定义数据、实时数据、历史分钟数据、矿井基础数据；所述设备定义数据包括设备地址类型、所属工作面；所述实时数据和历史分钟数据包括值状态、是否处于调校、报警原因；所述矿井基础数据包括各个工作面采煤方法、循环作业班次、瓦斯等级。5.根据权利要求3所述的矿井海量瓦斯监测数据异常识别与处置方法，其特征在于：步骤S2中所述将采集的数据进行存储，具体包括：采集的原始数据通过数据解析服务存入HBase，并映射存入Hive中；针对采集的历史数据，根据数据冷热特性将热数据同时存入Sqlserver关系数据库中，提高数据的查询效率；数据冷热特性根据数据的使用周期及频次进行划分。6.根据权利要求3所述的矿井海量瓦斯监测数据异常识别与处置方法，其特征在于：步骤S2中，所述特征图谱模型构建的特征图谱包括数据波动特征、数据均值偏离特征、数据恒定不变特征和数据趋势变化特征；所述数据波动特征的计算方法包括：采用真实波动幅度均值表征瓦斯浓度波动的程度，若监测周期t内有多个监测数据，其最大值与最小值之差即为真实波动幅度TR
t
即：TR
t
＝x
t,high
‑
x
t,low
式中：x
t,high
为监测周期t内的最大值，x
t,low
为监测周期t内的最小值；真实波动幅度均值是多个监测周期的真实波动幅度平均值，采用指数移动平均的一种变形形式计算真实波动幅度均值：式中N为监测周期个数；对于第一个真实波动幅度均值，采用如下方式启动计算：采用流式处理框架分别计算报警、放炮或打钻、正常日期的波动特征，形成数据波动特征图谱，具体包括：报警时的数据波动特征图谱，统计周期选取报警前30min，报警持续时间和报警后30min三个阶段的波动特征；放炮或打钻时的数据波动特征图谱，按30min为周期进行分析，计算监测点开始放炮或打钻后持续整个时间段的波动特征；正常日期的数据波动特征图谱，按30min为周期进行分析，波动幅度均值设置为一个循环作业时间；所述数据均值偏离特征的计算方法包括：某个监测点统计周期t内有n个监测数据，则该周期内的均值SMA
t
为：如已知上一时刻的均值，则当前时刻的瓦斯浓度移动平均值为：
分别计算各个监测点最近1日、3日和7日的均值，形成均值特征图谱；所述数据恒定不变特征的计算方法包括：(1)首先根据各传感器的最小检测范围设置阈值ζ；(2)计算最近1个月内，各监测点连续采样值最大值...

【专利技术属性】
技术研发人员：许金，何桥，陈运启，陈清，张翼，吴克介，罗滨，卢向明，吴国庆，李奇，于林，白罗，
申请(专利权)人：中煤科工集团重庆研究院有限公司，
类型：发明
国别省市：