基于深度强化学习参数自动调整的铝电解故障识别方法技术

本发明专利技术公开的基于深度强化学习参数自动调整的铝电解故障识别方法，包括以下步骤：步骤1、对收集到的铝电解数据进行处理；步骤2、选择一维卷积神经网络作为网络模型，确定分类器为softmax；步骤3、对卷积神经网络模型的网络结构进行优化及确定；步骤4、对分类模型进行训练；步骤5、判断终止条件；步骤6、待识别样本输入分类；步骤7、计算识别率。本发明专利技术基于深度强化学习参数自动调整的铝电解故障识别方法，解决了现有技术中铝电解故障数据识别的准确性不高，故障识别模型结构难以确定的问题。故障识别模型结构难以确定的问题。故障识别模型结构难以确定的问题。

【技术实现步骤摘要】
基于深度强化学习参数自动调整的铝电解故障识别方法


[0001]本专利技术属于铝电解
，具体涉及一种基于深度强化学习参数自动调整的铝电解故障识别方法。

技术介绍

[0002]铝电解工业是我国具有战略意义的基础产业之一，随着现代自动化工业的不断发展，铝的生产过程与工艺越来越复杂，发生故障的可能性也随之增加，小的故障往往会引发连锁反应，对国民经济及国民安全带来严重影响。
[0003]在铝电解生产过程中，铝电解槽内伴随着复杂的物化反应，业内常利用监测系统对电解槽状况进行监测，对电解槽及其他相关设备的数据进行采集、建模分析，进而对是否发生电解故障作出评判。面对海量数据，采用传统的人工特征提取的方法对电解故障进行识别非常困难，且识别效果不理想，因此研究和利用先进的理论与方法，对数据样本进行准确识别成为铝电解故障识别面临的新问题。针对这一问题，利用一种基于强化学习参数自动调整的铝电解故障识别方法，对采集到的数据进行特征提取及分类，用以有效解决铝电解故障识别问题。
[0004]卷积神经网络是1998年Yann Lecun提出的，其主要功能是通过设置卷积核，对输入数据进行卷积操作，再通过增加卷积核层数，来提取更加抽象且全面的数据特征，在数据特征提取问题上具有广泛应用。
[0005]深度强化学习是2015年Mnih V.等人提出的，其原理是将深度神经网络引入到强化学习过程，用以代替传统强化学习的策略函数进行动作选择，智能体通过与环境不断进行交互逐步优化策略，最终获得一个最优策略使得完成决策过程获得的收益最大，对于动态决策问题具有很好的解决能力。
[0006]由于电解设备繁多、工艺复杂，数据特征维度不断增加。而对故障样本的识别，主要是对目标特征的提取，较优的特征提取才会得到较优的识别效果，而现有的识别方法未能充分利用铝电解数据这一特点，此外，目前的大多识别方法相关参数的设定仅仅是根据经验值，没有发挥算法的最优性能。因此，对铝电解数据识别的准确性不高。

技术实现思路

[0007]本专利技术的目的是提供一种基于深度强化学习参数自动调整的铝电解故障识别方法，解决了现有技术中铝电解故障数据识别的准确性不高，故障识别模型结构难以确定的问题。
[0008]本专利技术所采用的技术方案是，基于深度强化学习参数自动调整的铝电解故障识别方法，包括以下步骤：
[0009]步骤1、对收集到的铝电解数据进行处理；
[0010]步骤2、选择一维卷积神经网络作为网络模型，确定分类器为softmax；
[0011]步骤3、对卷积神经网络模型的网络结构进行优化及确定；
[0012]步骤4、对分类模型进行训练
[0013]对分类模型进行训练分为网络初始化、数据特征提取、建立目标函数、以及梯度下降法优化参数；
[0014]步骤5、判断终止条件
[0015]设定最优性能连续出现的次数为N
best
，判断识别网络的最优性能连续出现的次数是否达到最大次数为I，若未达到，返回步骤3重新优化结构参数；若满足，则进入步骤6；
[0016]步骤6、待识别样本输入分类
[0017]将铝电解数据测试样本输入到已经训练好的网络模型，利用训练好的网络对待识别样本进行分类；
[0018]步骤7、计算识别率
[0019]利用式(4)计算网络对铝电解数据最优识别准确率：
[0020][0021]其中，n为测试样本总数，b为分类正确的待识别样本。
[0022]本专利技术的特征还在于，
[0023]步骤1的具体实施方式为：
[0024]将收集到的铝电解数据处理成网络能够识别的输入信号，确定待识别样本的类别个数以及样本维度，同时按照一定比例铝电解数据划分为训练样本和测试样本，处理后的训练样本集合为{(x
(1)
,y
(1)
),...,(x
(m)
,y
(m)
)}，其中，m为训练样本个数，x
(i)
为第i个训练样本，y
(i)
∈{1,2,...,k}为第i个训练样本的标签，k为铝电解数据中待识别样本的类的个数；处理后的测试样本集合为{x
(1)
,x
(2)
,...,x
(n)
}，其中，n为训练样本个数，x
(i)
为第i个测试样本。
[0025]步骤2的具体实施方式为：
[0026]步骤2.1)确定网络模型为一维卷积神经网络
[0027]步骤2.2)确定分类器为softmax
[0028]本步骤的分类器采用softmax分类器，当训练样本集合为{(x
(1)
,y
(1)
),...,(x
(m)
,y
(m)
)}时，利用softmax分类器按下式对提取到的待识别数据的特征进行分类：
[0029][0030]其中，假设向量h
θ
(x
(i)
)的每一个元素p(y
(i)
＝j|x
(i)
；θ)代表样本待识别物体特征x
(i)
属于第j类的概率，j∈{1,2,
…
,k}，概率越大，待识别的样本x
(i)
属于第j类的概率就越大，其中，θ1,θ2,...,θ
k
为卷积神经网络的参数向量。
[0031]步骤3的具体实施方式为：
[0032]3.1)确定输入层节点数，
[0033]卷积神经网络输入层节点数的个数与待识别物体数据维度d有关，是待识别物体特征数的输入；
[0034]3.2)确定输出层节点数，
[0035]对于整个卷积神经网络模型，输出层节点数为铝电解数据中待识别样本的类的个数k；
[0036]3.3)确定及优化隐层网络结构。
[0037]步骤3.3的具体实施方式为：
[0038]3.3.1)网络初始化，
[0039]使用一组超参数对卷积神经网络进行初始化，在该组超参数的基础上定义合理的状态空间，并对状态空间进行离散化操作；
[0040]3.3.2)建立深度强化学习模型，
[0041]定义智能体agent为一个具有三层全连接结构的深度神经网络，用于在不同的状态下根据策略选择动作，策略定义为该神经网络的权值参数，状态s定义为卷积神经网络超参数组合的元组形式，如(2)所示，
[0042]s＝{e,f,o,h}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0043]其中，e表示卷积核大小、f表示卷积核个数、o表示全连接层数、h表示全连接层的节点数，定义最优超参数组合，即使得卷积神经网络的分类性能达到最优超参数组合为s*，动作a定义为对当前卷积神经网络超参数进行的调整，即在步骤3.3.1定义好的状态空间范围内，根据策本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度强化学习参数自动调整的铝电解故障识别方法，其特征在于，包括以下步骤：步骤1、对收集到的铝电解数据进行处理；步骤2、选择一维卷积神经网络作为网络模型，确定分类器为softmax；步骤3、对卷积神经网络模型的网络结构进行优化及确定；步骤4、对分类模型进行训练对分类模型进行训练分为网络初始化、数据特征提取、建立目标函数、以及梯度下降法优化参数；步骤5、判断终止条件设定最优性能连续出现的次数为N
best
，判断识别网络的最优性能连续出现的次数是否达到最大次数为I，若未达到，返回步骤3重新优化结构参数；若满足，则进入步骤6；步骤6、待识别样本输入分类将铝电解数据测试样本输入到已经训练好的网络模型，利用训练好的网络对待识别样本进行分类；步骤7、计算识别率利用式(4)计算网络对铝电解数据最优识别准确率：其中，n为测试样本总数，b为分类正确的待识别样本。2.根据权利要求1所述的基于深度强化学习参数自动调整的铝电解故障识别方法，其特征在于，步骤1的具体实施方式为：将收集到的铝电解数据处理成网络能够识别的输入信号，确定待识别样本的类别个数以及样本维度，同时按照一定比例铝电解数据划分为训练样本和测试样本，处理后的训练样本集合为{(x
(1)
,y
(1)
),...,(x
(m)
,y
(m)
)}，其中，m为训练样本个数，x
(i)
为第i个训练样本，y
(i)
∈{1,2,...,k}为第i个训练样本的标签，k为铝电解数据中待识别样本的类的个数；处理后的测试样本集合为{x
(1)
,x
(2)
,...,x
(n)
}，其中，n为训练样本个数，x
(i)
为第i个测试样本。3.根据权利要求1所述的基于深度强化学习参数自动调整的铝电解故障识别方法，其特征在于，步骤2的具体实施方式为：步骤2.1)确定网络模型为一维卷积神经网络步骤2.2)确定分类器为softmax本步骤的分类器采用softmax分类器，当训练样本集合为{(x
(1)
,y
(1)
),...,(x
(m)
,y
(m)
)}时，利用softmax分类器按下式对提取到的待识别数据的特征进行分类：
其中，假设向量h
θ
(x
(i)
)的每一个元素p(y
(i)
＝j|x
(i)
；θ)代表样本待识别物体特征x
(i)
属于第j类的概率，j∈{1,2,
…
,k}，概率越大，待识别的样本x
(i)
属于第j类的概率就越大，其中，θ1,θ2,...,θ
k
为卷积神经网络的参数向量。4.根据权利要求1所述的基于深度强化学习参数自动调整的铝电解故障识别方法，其特征在于，步骤3的具体实施方式为：3.1)确定输入层节点数，卷积神经网络输入层节点数的个数与待识别物体数据维度d有关，是待识别物体特征数的输入；3.2)确定输出层节点数，对于整个卷积神经网络模型，输出层节点数为铝电解数据中待识别样本的类的个数k；3.3)确定及优化隐层网络结构。5.根据权利要求4所述的基于深度强化学习参数自动调整的铝电解故障识别方法，其特征在于，步骤3.3的具体实施方式为：3.3.1)网络初始化，使用一组超参数对卷积神经网络进行初始化，在该组超参数的基础上定义合理...

【专利技术属性】
技术研发人员：吴亚丽，王君虎，杨延西，郑帅龙，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：