一种基于集成极限学习机的空气质量预测方法技术

本发明专利技术公开一种基于极限学习机的空气质量预测方法，包括：步骤1、获取需要进行预测分析的空气质量数据，并且划分为训练数据集与测试数据集；步骤2、基于训练数据集对CNN进行训练并选择在各个验证集中表现的模型作为特征提取的模型；步骤3、将CNN全连接层第一个层的激活值作为GBELM的输入，训练GBELM，选择在各个验证集中表现最好的GBELM作为预测模型；使用GBELM来代替步骤2中得到的CNN的全连接层，得到最终的空气质量预测模型；步骤4、将测试数据输入到空气质量预测模型,计算得到测试数据的抽象特征，再输入到GBELM中得到每个ELM的输出值进行加和，即可得到预测结果。采用本发明专利技术的技术方案，具有很高的预测精度。

【技术实现步骤摘要】
一种基于集成极限学习机的空气质量预测方法
本专利技术属于数据挖掘
，尤其涉及一种基于集成极限学习机的空气质量预测方法。
技术介绍
目前空气质量预测的主要手段是采用数值模拟法，其中CMAQ(CommunityMultiscaleAirQuality)是最流行的方法。数值模拟法通过对空气质量相关因子进行物理的模拟来达到预测空气中污染物的浓度。数值模拟法由于采用物理模拟，可以反映出空气质量相关因子对空气质量的影响机制，但是模拟需要进行大量的计算，因此速度很慢。在如今的大数据时代，机器学习已经成了十分重要的预测方法，并且已经在很多领域成功的解决了问题。RuiyunYu等在2016年，LWang等在2014年分别使用随机森林(RandomForest,RF)和支持向量机(SupportVectorMachine,SVM)对空气质量进行了预测也去的了很不错的效果。XiangLi等利用深度学习技术构建了空气质量的预测模型效果良好而且拥有很高的精度。任何一种机器学习方法相比传统数值模拟的方法，都会更快，而深度学习则能达到更高的精度。RF是一个很流行的算法，它是一种决策树的集成算法，它训练速度快，不需要进行特征选取，并且有着不错的泛化能力和精度，但是相比起更加流行的GradientBoosting算法，它的精度略差。SVM通过将线性不可分的数据映射到高维空间中，达到将数据转换为线性可分的数据，进而进行非线性拟合。SVM是一个具有出色泛化能力的算法，但是训练SVM十分消耗时间，而且在大数据集上往往表现较差。SVM是单输出的算法，在面对多输出回归问题上比较无力。深度学习技术在近十年来是最流行的机器学习算法，区别于传统机器学习，深度学习将特征提取与分类算法或回归算法结合为一个整体，将原始数据直接输入算法中训练即可。深度学习常常利用BP神经网络作为全连接层，而BP神经网络容易陷入局部极值。
技术实现思路
本专利技术要解决深度学习中全连接层使用多层感知器容易陷入局部极值的问题，提供一种基于集成极限学习机的空气质量预测方法，具有很高的预测精度。本专利技术使用卷积神经网络(ConvolutionalNeuralNetwork,CNN)对空气质量的特征进行提取，然后使用GradientBoosting对极限学习机(ExtremeLearningMachine,ELM)进行集成，其中ELM采用线性修正单元(Rectifiedlinearunit,ReLU)作为隐藏层的激活函数。用集成后的极限学习机代替CNN训练好的全连接层，用CNN提取带标签数据中的抽象特征来训练GradientELMBoosting(GBELM)，形成一种使用CNN作为特征提取器与GBELM相结合的空气质量预测模型。ELM是一种单隐藏层的前馈神经网络，相比用BP算法进行训练，ELM通过随机初始化输入层与隐藏层的连接权重与偏置，然后使用最小二乘求解输出层与隐藏层的连接权值，ELM的这种训练方法能够取得唯一全局极小值，因此往往能获得很好的泛化性能。在传统的ELM中，隐藏层的激活函数常常采用sigmoid，而在深度学习领域中，由于ReLU自带稀疏性限制，它已经慢慢取代了sigmoid。在ELM中ReLU很少被应用，并且更少用于回归问题。在ELM中使用ReLU作为隐藏层的激活函数可以为ELM增加稀疏度限制从而提升ELM的预测精度。集成方法往往是提升预测精度的有效方法。GradientDecisionTreeBoosting(GBDT)是一种决策树的集成方法，在各种数据挖掘竞赛中，GBDT都表现的很好。GradientBoosting要依次训练多个弱分类器，每个弱分类器负责预测损失函数下降的梯度来调整预测结果。GradientBoosting不仅适用于分类问题，也适用于回归问题。GBDT在回归问题上多是单输出的，应用到ELM中需要将其扩展为多输出的算法。因为GradientBoosting可以提升算法的精度，所以使用GBELM代替CNN的全连接层可以更进一步提升预测精度。为实现上述目的，本专利技术采用如下的技术方案：一种基于极限学习机的空气质量预测方法包括如下步骤：步骤1、获取需要进行预测分析的空气质量数据，并且划分为训练数据集与测试数据集；步骤2、基于训练数据集对CNN进行训练并选择在各个验证集中表现的模型作为特征提取的模型；步骤3、将CNN全连接层第一个层的激活值作为GBELM的输入，训练GBELM，选择在各个验证集中表现最好的GBELM作为预测模型；使用GBELM来代替步骤2中得到的CNN的全连接层，得到最终的空气质量预测模型；步骤4、将测试数据输入到空气质量预测模型,计算得到测试数据的抽象特征，再输入到GBELM中得到每个ELM的输出值进行加和，即可得到预测结果。作为优选，步骤2具体为：初始化一个卷积神经网络的卷积核W，连接权值w与偏置b，使用X和Y训练CNN，训练CNN的具体步骤如下：步骤2.1、计算卷积结果和池化结果计算卷积层激活值，公式如下：h＝g(conv(W，X)+b)其中，h为卷积层激活值，其为空气质量相关因子的抽象特征，conv表示卷积操作，b用来调整卷积的结果，X＝{x1，x2，...xi，...xn}，X中的每一个变量代表与空气质量相关的因子，如风力，风向，二氧化硫浓度，X取当前时刻空气质量相关因子的历史数据；步骤2.2、计算全连接层激活值，公式如下：a＝g(w*pool)+b其中，a为全连接层激活值，其为空气质量相关因子的抽象特征，全连接层第一层的激活值还可以对池化的结果进行降维以去掉无用的项，Pool为计算池化卷积结果；步骤2.3、使用反向传播算法更新卷积核，连接权重与偏置；步骤2.4、重复步骤2.1)到2.3)直到CNN收敛或者达到设定的迭代次数。作为优选，步骤3具体为：步骤3.1、获取CNN全连接层第一层的激活值，将CNN全连接层第一层的激活值作为GBELM的输入，Y为GBELM的期望输出，Y＝{y1，y2，...yi，...yn}，其中，每一个变量代表当前时刻未来24小时每一个小时的空气质量，n为24；步骤3.2、初始化GradientBoosting的预测结果为每个输出结果的平均值，即：F0＝{mean(y1)，mean(y2)，...mean(yn)}其中，F0是模型对于训练数据的初始输出结果；步骤3.3、计算损失函数的梯度，所述梯度为模型的损失函数对当前模型的偏导数，即：其中，r为当前模型损失函数的梯度，m是模型当前迭代次数，即正在训练的第m个ELM；步骤3.4、使用GBELM的输入数据训练一个ELM来预测r，首先随机初始化ELM输入层与隐藏层的连接权值w与偏置b，计算隐藏层的激活值H：H＝g(X*w+b)权值与偏置的作用与CNN全连接层一致，隐藏层的激活值也是对输入数据的抽象特征，将训练好的ELM记为hm(X)；步骤3.5、求解ELM输出层与隐藏层的连接权值β，使用最小二乘法即可求解β：其中，是隐藏层激活值矩阵H的Moore–Penrose广义逆矩阵，T是预测结果的真实值，即为梯度r，当w,b和β确定后，整个极限学习机hm(X)可以表示为：hm(X)＝g(X*w+b)*β计算得到hm(X)的值就是梯度r的预测值；步骤3.6、计算当前迭本文档来自技高网...

【技术保护点】
一种基于极限学习机的空气质量预测方法，其特征在于，包括如下步骤：步骤1、获取需要进行预测分析的空气质量数据，并且划分为训练数据集与测试数据集；步骤2、基于训练数据集对CNN进行训练并选择在各个验证集中表现的模型作为特征提取的模型；步骤3、将CNN全连接层第一个层的激活值作为GBELM的输入，训练GBELM，选择在各个验证集中表现最好的GBELM作为预测模型；使用GBELM来代替步骤2中得到的CNN的全连接层，得到最终的空气质量预测模型；步骤4、将测试数据输入到空气质量预测模型,计算得到测试数据的抽象特征，再输入到GBELM中得到每个ELM的输出值进行加和，即可得到预测结果。

【技术特征摘要】
1.一种基于极限学习机的空气质量预测方法，其特征在于，包括如下步骤：步骤1、获取需要进行预测分析的空气质量数据，并且划分为训练数据集与测试数据集；步骤2、基于训练数据集对CNN进行训练并选择在各个验证集中表现的模型作为特征提取的模型；步骤3、将CNN全连接层第一个层的激活值作为GBELM的输入，训练GBELM，选择在各个验证集中表现最好的GBELM作为预测模型；使用GBELM来代替步骤2中得到的CNN的全连接层，得到最终的空气质量预测模型；步骤4、将测试数据输入到空气质量预测模型,计算得到测试数据的抽象特征，再输入到GBELM中得到每个ELM的输出值进行加和，即可得到预测结果。2.如权利要求1所述的基于极限学习机的空气质量预测方法，其特征在于，步骤2具体为：初始化一个卷积神经网络的卷积核W，连接权值w与偏置b，使用X和Y训练CNN，训练CNN的具体步骤如下：步骤2.1、计算卷积结果和池化结果计算卷积层激活值，公式如下：h＝g(conv(W，X)+b)其中，h为卷积层激活值，其为空气质量相关因子的抽象特征，conv表示卷积操作，b用来调整卷积的结果，X＝{x1，x2，...xi，...xn}，X中的每一个变量代表与空气质量相关的因子，如风力，风向，二氧化硫浓度，X取当前时刻空气质量相关因子的历史数据；步骤2.2、计算全连接层激活值，公式如下：a＝g(w*pool)+b其中，a为全连接层激活值，其为空气质量相关因子的抽象特征，全连接层第一层的激活值还可以对池化的结果进行降维以去掉无用的项，pool为计算池化卷积结果；步骤2.3、使用反向传播算法更新卷积核，连接权重与偏置；步骤2.4、重复步骤2.1)到2.3)直到CNN收敛或者达到设定的迭代次数。3.如权利要求2所述的基于极限学习机的空气质量预测方法，其特征在于，步骤3具体为：步骤3.1、获取CNN全连接层第一层的激活值，将CNN全连接层第一层的激活值作为GBELM的输入，Y为GBELM的期望输出，Y＝{y1，y2，...yi，...yn}，其中，每一个变量代表当前时刻未来24小...

【专利技术属性】
技术研发人员：刘博，闫硕，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11