基于大数据分析的燃气设备预警系统及方法技术方案

本发明专利技术涉及燃气预警技术领域，具体涉及一种基于大数据分析的燃气设备预警系统及方法，其中，方法包括步骤：数据采集与读取：先通过Hadoop采集历史压力数据到HDFS，然后通过Spark读取HDFS的数据集；数据预处理：先把字符型的特征转换为数值类型并过滤冗余特征，再通过设定类别个数的最大值自动识别类别特征与连续性特征；数据划分：将数据集划分为训练集与测试集；参数设置：设置Spark MLlib决策树回归模型参数；转换与组装：进行决策树回归模型的特征转换，以及将决策树回归模型训练组装在流水线上；训练与预测：进行决策树回归模型训练，并通过决策树回归模型的预测结果进行预警。本发明专利技术解决了现有技术无法精确地进行检测并及时预警的技术问题。并及时预警的技术问题。并及时预警的技术问题。

【技术实现步骤摘要】
基于大数据分析的燃气设备预警系统及方法


[0001]本专利技术涉及燃气预警
，具体涉及一种基于大数据分析的燃气设备预警系统及方法。

技术介绍

[0002]随着城市建设和经济建设的飞速发展，以及人民生活水平的普遍提高和石油化学工业的发展，天然气作为优质高效的清洁能源，逐步成为城镇燃气的主导气源，促进了社会经济的发展，减少了对环境的污染。天然气由气态低分子烃和非烃气体混合组成，包括甲烷(85％)和少量乙烷(9％)、丙烷(3％)、氮(2％)和丁烷(1％)，主要用途是作燃料，可制造炭黑、化学药品和液化石油气，由天然气生产的丙烷、丁烷也是现代工业的重要原料。城市中使用天然气的居民建筑越来越多、范围越来越广，特别是人员密集的居民建筑，日常生活方面使用天然气的高峰时段相对集中，如果天然气泄漏，很容易造成严重的安全事故。目前，只能笼统对燃气使用过程中的异常情况进行检测，无法精确地进行检测并及时预警，使得工作人员整改效率低。

技术实现思路

[0003]本专利技术提供一种基于大数据分析的燃气设备预警系统及方法，解决了现有技术无法精确地进行检测并及时预警的技术问题。
[0004]本专利技术提供的基础方案为：基于大数据分析的燃气设备预警方法，包括：
[0005]S1、数据采集与读取：先通过Hadoop采集燃气设备的历史压力数据到HDFS，然后通过Spark读取HDFS的数据集；
[0006]S2、数据预处理：先把字符型的特征转换为数值类型并过滤冗余特征，再通过设定类别个数的最大值自动识别类别特征与连续性特征；
[0007]S3、数据划分：将数据集划分为训练集与测试集；
[0008]S4、参数设置：设置Spark MLlib决策树回归模型参数；
[0009]S5、转换与组装：进行决策树回归模型的特征转换，以及将决策树回归模型训练组装在流水线上；
[0010]S6、训练与预测：进行决策树回归模型训练，并通过决策树回归模型的预测结果进行预警。
[0011]本专利技术的工作原理及优点在于：通过Hadoop采集历史压力数据到HDFS，再通过Spark读取HDFS的数据集，把字符型的特征转换为数值类型并过滤冗余特征，再通过设定类别个数的最大值自动识别类别特征与连续性特征，将数据集划分为训练集与测试集，设置决策树回归模型参数，进行决策树回归模型涉及的特征转换，以及将模型训练组装在流水线上，进行模型训练，并将预测模型的结果进行预警，相较于目前现有技术来说，本方案通过Hadoop采集历史压力数据到HDFS，再通过Spark读取HDFS的数据集利用Spark MLlib决策数树回归算法训练数据集，可以把训练好的结果用于正式数据的比对，能够精确地进行检
测并及时预警。
[0012]本专利技术通过Hadoop采集历史压力数据到HDFS，再通过Spark读取HDFS的数据集利用Spark MLlib决策数树回归算法训练数据集，可以把训练好的结果用于正式数据的比对，解决了现有技术无法精确地进行检测并及时预警的技术问题。
[0013]进一步，S1中，压力数据采用的字段包括采集时的温度、压力、采集时间、是否用气高峰。
[0014]有益效果在于：温度、压力、用气高峰与燃气危险相关性大，同时易于检测，有利于精确地进行检测并及时预警。
[0015]进一步，S2中，将压力数据的压力特征作为标志，把不同值小于等于24的特征识别为类别特征，把压力数据的不同值大于24的特征识别为连续性特征，并对分类特征索引化或数值化。
[0016]有益效果在于：不同值就是同一个算式得出不同的结果，比如一个结果是正数，一个结果是负数，由于数据集中大部分是分类特征，有些是连续型特征，使用决策树模型回归时，通过设定类别个数的最大值自动识别类别特征与连续性特征，并对分类特征索引化或数值化，有利于进行数据集的划分与决策树回归模型的训练；分类特征是用来表示分类的特征，它不像数值类特征是连续的，分类特征是离散的，比如说IP地址、用户的账号ID等；在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单，索引化的作用相当于生产类似图书的目录，可以根据目录中的页码快速找到所需的内容；数值化是指将许多复杂多变的信息转变为可以度量的数字、数据，便于进行储存、分析与处理。
[0017]进一步，还包括S7、数据存储：将S6中决策树回归模型的预测结果存入Redis，用于预警。
[0018]有益效果在于：将预测结果存入Redis，便于比对以随时用于预警。
[0019]进一步，S3中，将数据集划分为训练集与测试集时，随机进行划分。
[0020]有益效果在于：随机划分更具有统计学意义，有利于提高决策树回归模型训练的精确性。
[0021]基于上述基于大数据分析的燃气设备预警方法，本专利技术还提供一种基于大数据分析的燃气设备预警系统，包括：
[0022]数据采集与读取模块，用于先通过Hadoop采集历史压力数据到HDFS，然后通过Spark读取HDFS的数据集；
[0023]所述数据采集与读取模块连接有数据预处理模块，所述数据预处理模块用于先把字符型的特征转换为数值类型并过滤冗余特征，再通过设定类别个数的最大值自动识别类别特征与连续性特征；
[0024]所述数据预处理模块连接有数据划分模块，所述数据划分模块用于将数据集划分为训练集与测试集；
[0025]所述数据划分模块连接有参数设置模块，所述参数设置模块用于设置Spark MLlib决策树回归模型参数；
[0026]所述参数设置模块连接有转换与组装模块，所述转换与组装模块用于进行决策树
回归模型涉及的特征转换，以及将决策树回归模型训练组装在流水线上；
[0027]所述转换与组装模块连接有训练与预测模块，所述训练与预测模块用于进行决策树回归模型训练，并通过决策树回归模型的预测结果进行预警；
[0028]所述训练与预测模块连接有数据存储模块，所述数据存储模块用于将决策树回归模型的预测结果存入Redis用于预警。
[0029]本专利技术的工作原理及优点在于：通过Hadoop采集历史压力数据到HDFS，再通过Spark读取HDFS的数据集，把字符型的特征转换为数值类型并过滤冗余特征，再通过设定类别个数的最大值自动识别类别特征与连续性特征，将数据集划分为训练集与测试集，设置决策树回归模型参数，进行决策树回归模型涉及的特征转换，以及将模型训练组装在流水线上，进行模型训练，并将预测模型的结果进行预警，相较于目前现有技术来说，本方案通过Hadoop采集历史压力数据到HDFS，再通过Spark读取HDFS的数据集，利用Spark MLlib的决策树回归算法训练数据集，把训练好的结果放入Redis用于正式数据的比对，能够精确地进行检测并及时预警。
附图说明
[0030]图1为本专利技术基于大数据分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于大数据分析的燃气设备预警方法，其特征在于，包括：S1、数据采集与读取：先通过Hadoop采集燃气设备的历史压力数据到HDFS，然后通过Spark读取HDFS的数据集；S2、数据预处理：先把字符型的特征转换为数值类型并过滤冗余特征，再通过设定类别个数的最大值自动识别类别特征与连续性特征；S3、数据划分：将数据集划分为训练集与测试集；S4、参数设置：设置Spark MLlib决策树回归模型参数；S5、转换与组装：进行决策树回归模型的特征转换，以及将决策树回归模型训练组装在流水线上；S6、训练与预测：进行决策树回归模型训练，并通过决策树回归模型的预测结果进行预警。2.如权利要求1所述的基于大数据分析的燃气设备预警方法，其特征在于，S1中压力数据采用的字段包括采集时的温度、压力、采集时间、是否用气高峰。3.如权利要求2所述的基于大数据分析的燃气设备预警方法，其特征在于，S2中将压力数据的压力特征作为标志，把压力数据的不同值小于等于24的特征识别为类别特征，把不同值大于24的特征识别为连续性特征，并对分类特征索引化或数值化。4.如权利要求3所述的基于大数据分析的燃气设备预警方法，其特征在于，S3中将数据集划分为训练集与测试集时，随机进行划分...

【专利技术属性】
技术研发人员：齐研科，杨颖，贺喜，蔡雨耕，王一先，赵家骏，
申请(专利权)人：重庆合众慧燃科技股份有限公司，
类型：发明
国别省市：