一种应用于空气质量大数据异常检测的神经网络结构搜索方法技术

本发明专利技术公开了一种应用于空气质量大数据异常检测的神经网络结构搜索方法，其特征在于，包括以下步骤：设定用于构建神经网络结构的搜索空间，并定义训练目标；利用强化学习不断训练循环神经网络控制器，使结构搜索过程不断优化，直到构建出满足需求的神经网络结构；将新的数据集放入最终得到的神经网络模型中，聚类训练出新的输入数据集中的异常数据。本发明专利技术适用于空气质量大数据异常检测问题的神经网络结构的自动搜索，面对大数据的复杂情况具有较佳的效果和鲁棒性。

AN NEURAL NETWORK STRUCTURAL SEARCH METHOD FOR ABNORMAL DETECTION OF LARGE AIR QUALITY DATA

【技术实现步骤摘要】
一种应用于空气质量大数据异常检测的神经网络结构搜索方法
本专利技术属于大数据处理领域，特别的涉及一种应用于空气质量大数据异常检测的神经网络结构搜索方法。
技术介绍
异常值检测是大数据处理领域的研究者重点关注的课题，该问题在数据预处理、行为预测、行为分析等具体应用上具有广泛的实际应用价值。但同样，该问题具有较大的挑战性。一是在大数据下，这些数据往往呈现结构复杂、噪声多等特性，这已成为人们深度挖掘大数据潜在价值的阻碍。二是传统的异常值检测方法对空气质量大数据不适用。目前的空气质量异常值检测方法主要可以分为基于传统统计学的方法和基于深度学习的聚类方法。基于统计的方法仅适用于低维数值型数据集，且依赖于数据分布、参数分布、期望离群点的数量等指标。近年来，基于深度学习的聚类方法展现出良好的性能与鲁棒性(Robust)。然而，该种方法主要存在以下几个问题：1)通常深度神经网络的结构是由专家基于领域特有的专业知识所设计，缺乏对不同任务的泛化能力，当面临不同任务时需要重新制定深度神经网络的结构；2)需要设计者拥有丰富的神经网络设计与参数调整经验，一个好的神经网络结构通常需要设计者的精心调整，这个过程将花费设计者大量的时间与精力。现有技术中如CN201810802108.0《一种应用于图片多属性预测的神经网络结构搜索方法》，用于在图片多属性预测问题中搜索最优的神经网络结构，利用贪心搜索策略设计神经网络。该技术的特点是以当前情况为基础根据某个优化测度作最优选择，而不考虑各种可能的整体最优情况，虽然它省去了为找最优解要穷尽所有可能而必须耗费的大量时间，但神经网络是一个整体，各层网络之间相互影响，只考虑每步最优的结果可能使最后得到的神经网络在测试集上效果一般，不能得到最优的网络结构。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种应用于空气质量大数据异常检测的神经网络结构搜索方法。该方法基于强化学习的神经网络搜索策略，可高效地自动搜索给定任务的最优神经网络模型结构，面对各类复杂情况具有较佳的效果和鲁棒性。为实现上述目的，本专利技术的技术方案为：一种应用于空气质量大数据异常检测的神经网络结构搜索方法，包括以下步骤：S1、设定用于构建神经网络结构的搜索空间，并定义训练目标；S2、利用强化学习不断训练循环神经网络控制器，使结构搜索过程不断优化，直到构建出满足需求的神经网络结构；S3、将新的数据集放入最终得到的神经网络模型中，聚类训练出新的输入数据集中的异常数据。进一步的，用于搜索神经网络结构的搜索空间包含卷积层参数、池化层参数、全连接层参数，各类参数设定如下：卷积层深度参数Cd为整数，且0<Cd<12，卷积层接受域大小参数Ca∈{1，3，5，7，9}，卷积层接受域数目参数Can∈{64，128，256，512}，池化层深度参数Pd为整数，且0<Pd<12，全连接层深度参数CFd为整数，且0<CFd<12，全连接层个数参数CFn为整数，且0<CFn<3，全连接层神经元数参数CFnn∈{512，256，128}；定义训练目标为：聚类所给的数据集，分出异常值。进一步的，步骤S2具体包括：S21、设置一个循环神经网络RNN，该RNN作为控制器对神经网络的各个参数进行选取；S22、随机初始化神经网络的各个参数，生成初始神经网络α1；S23、将训练集放入生成的神经网络αk中训练，训练结果同验证集进行比较，得到准确率Rk，其中Rk是整个循环中生成的第k个神经网络αk训练完后在验证集上验证得到的准确率；S24、根据需求，设定一个阈值RD，将步骤S23中得到的Rk与RD比较，若Rk>RD则进行步骤S3，若Rk≤RD则进行步骤S25；S25、将步骤S23得到的准确率Rk作为回馈信号，返回给循环神经网络RNN，重新训练循环神经网络RNN，并生成新的神经网络αk+1；进一步的，步骤S25具体包括：S251、利用S23得到的准确率Rk优化循环神经网络RNN网络结构，要求循环神经网络RNN控制器在准确率Rk的条件下能将神经网络结构的期望最大化，当期望最大化时即表明此RNN构建的神经网络达到了最优，具体计算公式如下：其中，θc为循环神经网络RNN控制器的参数，P(α；θc)表示参数为θc的循环神经网络生成神经网络α的概率，表示准确率为Rk的上述概率的最大期望；S252、为了能使期望最大，需要根据回馈的准确率Rk更新循环神经网络RNN的控制器参数θc，但由于Rk是不可微分的，所以使用随机梯度下降算法去迭代更新θc，计算公式如下：m是控制器在训练过程中一个批次的不同神经网络结构的数量，T表示控制器设计的神经网络结构的最大超参数数量，为梯度算子，P(αk:t|α(k-1):t；θc)表示参数为θc的循环神经网络RNN生成的超参数为t的第k个神经网络αk在第k-1个神经网络αk-1的条件下的概率，Rk是第k个神经网络训练完后在验证集上测试的准确率；S253、因为对于梯度的更新是无偏估计，可能会有很高的方差，所以为了得到更高的准确率，需要在公式2的基础上降低方差，降低方差的计算公式如下：其中b是根据实验结果得到的一个常量，目的是修正Rk的值，使得梯度的更新更为准确；S254、用求得的参数θc更新循环神经网络RNN，并将Rk和搜索空间作为循环神经网络RNN的训练数据更新神经网络αk的各个参数，从而生成新的神经网络结构αk+1。S26、重复步骤S23、S24、S25，直到神经网络的准确率Rk>RD则进行步骤S3。本专利技术的应用于空气质量大数据异常检测的神经网络结构搜索方法，相比于现有的方法，具有以下有益效果：首先，本专利技术公开的神经网络结构的自动搜索方法导出的神经网络结构为树型结构，其在深度神经网络的底层共享特征信息，从而保证神经网络在复杂的大数据上具有较佳的效果。其次，本专利技术的自动搜索方法基于强化学习的循环神经网络搜索策略，大大减少神经网络结构的自动搜索所需的时间。能获得上述效果的原因有以下三点：1、搜索空间是根据空气质量大数据的特点而设定，所以相比较将所有可能的参数放入搜索空间，收敛的速度会有明显的提升；2、由于引入了强化学习的思想，将准确率R作为回馈信号训练循环神经网络RNN控制器，使得控制器在生成神经网络时，除了根据以往的参数在搜索空间中挑选，还会依据准确率R的大小进行搜索。这种方式会使得搜索更具有目的性，加快搜索速度；3、在更新优化参数θc的方法上使用随机梯度下降和降低方差，这样循环神经网络可以得到更为准确的更新，相比没有进行优化的方式，本方法迭代搜索出的神经网络具有更高的准确率，且收敛速度大大提升，使得本专利技术更加高效。最后，本专利技术的自动搜索方法是一种无超参数的算法，能够很好地适应各类应用场景，而无需额外的人力对算法进行调整，保证了算法的鲁棒性。本专利技术的空气质量大数据异常检测的神经网络结构搜索方法，在空气质量异常值检测中具有广泛的实际应用价值，能够有效减少设计和调整神经网络结构所需的时间，自动搜索出最优的网络结构。附图说明图1为本专利技术的空气质量大数据异常检测的神经网络结构搜索方法实施例的流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细本文档来自技高网...

【技术保护点】
1.一种应用于空气质量大数据异常检测的神经网络结构搜索方法，其特征在于，包括以下步骤：S1、设定用于构建神经网络结构的搜索空间，并定义训练目标；S2、利用强化学习不断训练循环神经网络控制器，使结构搜索过程不断优化，直到构建出满足需求的神经网络结构；S3、将新的数据集放入最终得到的神经网络模型中，聚类训练出新的输入数据集中的异常数据。

【技术特征摘要】
1.一种应用于空气质量大数据异常检测的神经网络结构搜索方法，其特征在于，包括以下步骤：S1、设定用于构建神经网络结构的搜索空间，并定义训练目标；S2、利用强化学习不断训练循环神经网络控制器，使结构搜索过程不断优化，直到构建出满足需求的神经网络结构；S3、将新的数据集放入最终得到的神经网络模型中，聚类训练出新的输入数据集中的异常数据。2.如权利要求1所述的一种应用于空气质量大数据异常检测的神经网络结构搜索方法，其特征在于，步骤S1中，所述的用于搜索神经网络结构的搜索空间中各个参数范围设定如下：卷积层深度参数Cd为整数，且0<Cd<12，卷积层接受域大小参数Ca∈{1，3，5，7，9}，卷积层接受域数目参数Can∈{64，128，256，512}，池化层深度参数Pd为整数，且0<Pd<12，全连接层深度参数CFd为整数，且0<CFd<12，全连接层个数参数CFn为整数，且0<CFn<3，全连接层神经元数参数CFnn∈{512，256，128}；定义训练目标为：聚类所给的数据集，分出异常数据。3.如权利要求1所述的一种应用于空气质量大数据异常检测的神经网络结构搜索方法，其特征在于，步骤S2具体包括：S21、设置一个循环神经网络RNN，该RNN作为控制器对神经网络的各类参数进行选取；S22、随机初始化神经网络的各类参数，生成初始神经网络α1；S23、将训练集放入生成的神经网络αk中训练，训练结果同验证集进行比较，得到准确率Rk，其中Rk是整个循环中生成的第k个神经网络αk训练完后在验证集上验证得到的准确率；S24、根据需求，设定一个阈值RD，将步骤S23中得到的Rk与RD比较，若Rk>RD则进行步骤S3，若Rk≤RD则进行步骤S25；S25、将步骤S23得到的准确率...

【专利技术属性】
技术研发人员：徐洪珍，周梁琦，章权，娄玉娟，
申请(专利权)人：东华理工大学，
类型：发明
国别省市：江西,36