一种面向污染监测的多通路深度神经网络高效训练方法技术

本发明专利技术公开了一种面向污染监测的多通路深度神经网络高效训练方法，其中多通路深度神经网络高效训练方法先通过分步筛选集成所有单通道神经网络及其融合部分的最优参数，再对融合后的多通路深度神经网络进行微调得到污染监测模型的最优参数，将污染物图像样本输入网络进行训练，能有效提高污染监测模型精度。本发明专利技术针对不同子网络及其组合进行网络训练，集成了所有子网络及其融合部分的最优参数，解决了随机初始化参数容易使网络陷入局部最小值的问题，从而提高了神经网络模型监测精度；提高污染监测模型的监测精度。提高污染监测模型的监测精度。提高污染监测模型的监测精度。

【技术实现步骤摘要】
一种面向污染监测的多通路深度神经网络高效训练方法


[0001]本专利技术方法既属于污染监测领域又属于人工智能领域，使用采集的污染物图像样本与随机初始化的参数独立训练每个单通路网络，然后训练融合网络的融合部分参数而冻结剩下部分参数，最后对整个融合网络进行微调，实现了在烟气监测、河流浊度监测、细颗粒物监测任务上模型性能的有效提高。

技术介绍

[0002]由于传统的火电、化工等行业在我国经济中占有较大的比重，工业废气废水大量排放，导致空气污染、水体污染的问题依然困扰着政府与企业。除传统方法外，基于深度神经网络的方法已经大量应用在污染监测任务中。
[0003]基于深度神经网络的方法利用训练集对神经网络进行训练以拟合环境数据分布，从而构建出污染监测模型。在模型参数方面，现有训练方法主要分为直接训练法与预训练法。直接训练法通常随机初始化所有的模型给参数，然后让模型从零开始学习针对当前任务的合适参数，即根据每次迭代输出的预测值与真实值进行对比得到差值，然后根据该差值输出梯度，最后按照梯度修改神经网络模型网络参数，直至满足训练结束条件时结束模型训练，并将该模型用于指定任务。而预训练法先在类似任务上训练模型，将得到的相应参数代替随机初始化参数对目标任务进行微调。但现有的两种训练方法均存在一定局限，即直接训练法训练出的模型存在结果随机震荡的问题，而预训练方法需要提前在多个相似任务上进行训练，存在耗时长的问题。此外，在训练多通路网络的过程中容易出现“顶端优势”与“马太效应”现象。前者是指在训练过程中会存在一个主导网络，比其他子网络训练得更好，并抑制其他子网络的训练。而后者是指，在早期训练中表现良好的子网络将持续保持其优势地位。这些现象的存在会削弱多通路网络的泛化能力。基于上述问题，本专利技术提出多通路深度神经网络高效训练方法，用于污染监测神经网络的参数训练，提高了污染监测模型的监测精度。

技术实现思路

[0004]本专利技术获得了一种面向污染监测的多通路深度神经网络高效训练方法，其中多通路深度神经网络高效训练方法先通过分步筛选集成所有单通道神经网络及其融合部分的最优参数，再对融合后的多通路深度神经网络进行微调得到污染监测模型的最优参数，将污染物图像样本输入网络进行训练，能有效提高污染监测模型精度。在烟气监测、河流浊度监测、细颗粒物监测任务上进行验证，实验结果表明，由多通路深度神经网络高效训练方法训练出的模型监测精度明显高于已有的直接训练法。
[0005]本专利技术是通过以下技术方案实现的，本专利技术包括以下步骤：
[0006]第一步：获取目标污染监测环境下的污染物图像样本；
[0007]第二步：确定污染监测神经网络参数基础训练方法；
[0008]第三步：利用污染物图像样本独立训练污染监测网络中每个单通路神经网络时，
通过试错法找到最优神经网络结构，再应用污染监测网络参数基础训练方法确定最优的单通路网络模型参数；
[0009]第四步：利用拼接与集成操作融合多个单通路神经网络，根据融合后的污染监测深度神经网络结构，优化融合部分的网络参数并冻结剩余部分网络参数以训练融合后的污染监测深度神经网络；
[0010]第五步：对融合后的污染监测多通路深度神经网络整体参数进行微调，以找到深度神经网络模型最优参数。
[0011]本专利技术的创造性主要体现在：
[0012]1)本专利技术针对不同子网络及其组合进行网络训练，集成了所有子网络及其融合部分的最优参数，解决了随机初始化参数容易使网络陷入局部最小值的问题，从而提高了神经网络模型监测精度；
[0013]2)该多通路深度神经网络高效训练方法可以与现有深度神经网络监测模型相结合，提高污染监测模型的监测精度。
附图说明
[0014]图1是本专利技术多通路深度神经网络高效训练方法流程图。
具体实施方式
[0015]下面对本专利技术的实施例作详细说明，本实施例在本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0016]实施例
[0017]第一步：获取目标污染监测环境下的污染物图像样本。
[0018]通过非接触式方法对目标环境进行污染监测时，利用图像采集设备与处理平台获取污染物图像样本，并将样本划分为训练集、验证集、测试集，每张污染物图像样本中均包含污染程度信息。
[0019]第二步：确定污染监测神经网络参数基础训练方法。
[0020]通过Xavier初始化方法对神经网络中各项权值进行初始化，利用动量、学习衰减率以及随机梯度下降的训练方法对神经网络进行训练，提高训练效果并防止其陷入局部最优，其中动量系数设为0.92，初始学习率设为0.002，学习衰减系数设为0.0002，梯度下降法的随机系数设为0.92。训练过程中使用的损失函数不仅考虑烟气监测、河流浊度监测、细颗粒物监测任务目标，还考虑了污染物图像样本特征与污染程度。
[0021]第三步：利用污染物图像样本独立训练污染监测网络中每个单通路神经网络。
[0022]将污染物图像训练集输入到单通路神经网络，通过试错法找到每个单通路神经网络的最优神经网络结构，增强网络学习能力；利用污染监测神经网络基础训练方法独立训练每个单通路神经网络，训练次数设为300，用于调整当前单通路神经网络的模型参数；在验证集上再次训练单通路神经网络，以获得最佳精度下的最优模型参数。
[0023]第四步：利用拼接与集成操作融合多个单通路神经网络，并优化融合后的污染监测深度神经网络，具体方式如下：
[0024]利用拼接与集成操作将每个单通路神经网络的特征提取部分所得的特征映射进
行融合，随后通过一个密集层形成多通路深度神经网络；把训练好的单通路神经网络最优参数传递给融合后的污染多通路深度神经网络；使用污染监测神经网络参数基础训练方法对融合后的多通路深度神经网络进行训练时，根据网络结构优化融合部分网络参数，冻结剩余部分的网络参数，训练300次后，获取当前神经网络模型最优参数。将污染物图像样本输入网络，通过一个密集层之后，能生成污染监测预测值。
[0025]第五步：对融合后的污染监测多通路深度神经网络整体参数进行微调，以找到深度神经网络模型最优参数。
[0026]将经过训练的污染监测多通路深度神经网络全部参数替换由Xavier初始化方法生成的随机初始值，使用污染监测神经网络参数基础训练方法进行训练；训练次数设为300，获取最终深度神经网络模型最优参数。
[0027]实施效果
[0028]依据上述步骤，本专利技术在烟气监测、河流浊度监测、细颗粒物监测任务上进行性能验证。在烟气监测任务方面，将所提出的训练方法用于经典的深度双通路神经网络(DCNN)烟气监测模型中，在包含有831张无烟图像块和552张有烟图像块的数据集与包含有817张无烟图像块和688张有烟图像块的数据集上进行测试，其精准率比使用随机初始化方法训练得出的精准率分别高2.1％与1.0％。在河流浊度监测任务方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向污染监测的多通路深度神经网络高效训练方法，其特征在于，包括以下步骤：第一步：获取目标污染监测环境下的污染物图像样本；第二步：确定污染监测神经网络参数基础训练方法；第三步：利用污染物图像样本独立训练污染监测网络中每个单通路神经网络时，通过试错法找到最优神经网络结构，再应用污染监测网络参数基础训练方法确定最优的单通路网络模型参数；第四步：利用拼接与集成操作融合多个单通路神经网络，根据融合后的污染监测深度神经网络结构，优化融合部分的网络参数并冻结剩余部分网络参数以训练融合后的污染监测深度神经网络；第五步：对融合后的污染监测多通路深度神经网络整体参数进行微调，以找到深度神经网络模型最优参数。2.根据权利要求1所述的一种面向污染监测的多通路深度神经网络高效训练方法，其特征在于，第一步中：通过非接触式方法对目标环境进行污染监测时，利用图像采集设备与处理平台获取污染物图像样本，并将样本划分为训练集、验证集、测试集，每张污染物图像样本中均包含污染程度信息。3.根据权利要求1所述的一种面向污染监测的多通路深度神经网络高效训练方法，其特征在于，第二步中确定污染监测神经网络基础训练方法如下：通过Xavier初始化方法对神经网络中各项权值进行初始化，利用动量、学习衰减率以及随机梯度下降的训练方法对神经网络进行训练，提高训练效果并防止其陷入局部最优，其中动量系数设为0.92，初始学习率设为0.002，学习衰减系数设为0.0002，梯度下降法的随机系数设为0.92；训练...

【专利技术属性】
技术研发人员：顾锞，谢双憶，刘静，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：