以控制论求解的监督式深度神经网络参数调整方法技术

本发明专利技术提出一种以控制论求解的监督式深度神经网络参数调整方法，其首先建立监督式深度神经网络数学模型，采用泰勒展开式将神经网络的函数模型转为离散控制系统模型；接着构建成本函数，引入并求解哈密顿

【技术实现步骤摘要】
以控制论求解的监督式深度神经网络参数调整方法


[0001]本专利技术属于机器学习
，尤其涉及一种以控制论求解的监督式深度神经网络参数调整方法
。

技术介绍

[0002]监督学习是在有标签的情况下可以实现自主学习，而神经网络借鉴了生物神经元处理信息的方法，特别是深度神经网络具有多个隐藏层则呈现极强的拟合能力
。
传统的监督式深度神经网络大多采用梯度下降法进行参数调整，使得系统容易陷入局部最优而不是全局最优
。

技术实现思路

[0003]针对现有技术存在的缺陷和不足，本专利技术公开一种以控制理论求解的监督式深度神经网络参数调整方法，该方法主要具有4个步骤：其首先建立监督式深度神经网络数学模型，采用泰勒展开式将神经网络的函数模型转为离散控制系统模型；接着构建成本函数，引入并求解哈密顿
‑
雅可比
‑
贝尔曼方程，以此设计最优控制器，以实现监督式深度神经网络模型调参成本最低；进一步构建离散系统滑膜面，以此设计鲁棒滑膜控制器，实现监督式深度神经网络模型的泰勒展开式的残差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种以控制论求解的监督式深度神经网络参数调整方法，其特征在于：其首先建立监督式深度神经网络数学模型，采用泰勒展开式将神经网络的函数模型转为离散控制系统模型；接着构建成本函数，引入并求解哈密顿
‑
雅可比
‑
贝尔曼方程，以此设计最优控制器，以实现监督式深度神经网络模型调参成本最低；进一步构建离散系统滑膜面，以此设计鲁棒滑膜控制器，实现监督式深度神经网络模型的泰勒展开式的残差项抑制；最后结合最优控制器和鲁棒滑膜控制器，实现监督式深度神经网络模型参数的控制理论调整策略
。2.
根据权利要求1所述的以控制论求解的监督式深度神经网络参数调整方法，其特征在于：建立监督式深度神经网络数学模型具体如下：其中，
l∈[1,2,
…
,L]
是隐藏层的数量，
x
是输入信号，
{W
L
…
W
l
…
W0}
是深度神经网络的权重，
{b
L
…
b
l
…
b0}
是深度神经网络的偏置项，
z
L
是深度神经网络的输出，
σ
( )
是编码器激活函数，
{h
L
…
h
l
…
h0}
是中间变量
。3.
根据权利要求2所述的以控制论求解的监督式深度神经网络参数调整方法，其特征在于：所述监督式深度神经网络模型的控制系统转化具体包括以下过程：首先，采用泰勒展开式，则深度神经网络数学模型的动态表征为如下：其中，
Δ
是差分项，是高阶次的残差，是函数
σ
(z
l
)
分别对
{W
l
,h
l
,b
l
}
的偏导数；接着，定义：
那么，深度神经网络数学模型的动态表示为以下的大规模系统的状态空间表达式：其中，其中，表示向量的维度是
L+1
；
Z(t)
是深度神经网络的变量参数，作为状态变量；
U(t)
是深度神经网络的参数调整差分项，作为控制输入；
Φ
(t)
是高阶次的残差，作为扰动；定义一个监督学习的标签如下：其中，
x
d
是学习系统的标签，作为追踪的参考输入；公式
(4)
两端都减去标签
X
d
后，并定义
E(t)
＝
Z(t)
‑
X
d
后，完成监督式深度神经网络的控制系统转化如下：
E(t+1)
＝
E(t)+B(t)U(t)+
Φ
(t).
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)。4.
根据权利要求3所述的以控制论求解的监督式深度神经网络参数调整方法，其特征在于：所述监督式深度神经网络模型参数的控制理论调整策略具体为最优控制器的求解和鲁棒滑膜控制器的设计：首先，定义以下的成本函数：
V(t)
＝
E
T
(t)QE(t)+U
T
(t)RU(t)+V(t+1)
，
ꢀꢀꢀꢀꢀꢀꢀ
(7)
其中，
Q
，
R
是正定对称的矩阵，
*
T
代表
*
的转置；那么目标是要找到一个控制输入
U(t)
令成本函数
V(t)
最小，那就是：
V
*
(t)
＝
min(E
T
(t)QE(t)+U
T
(t)RU(t)+V
*
(t+1))
，
ꢀꢀꢀꢀꢀꢀ
(8)
其中，
V
*
(t)
代表最小的
V(t)
；对公式
(8)
按梯度下降法求
U(t)
的偏导数，得到如下哈密顿
‑
雅可比
‑
贝尔曼方程：因此，求解公式
(9)
获得如下：其中，
U
*
(t)
代表该控制器使得成本函数
V(t)
最小；定义如下：
V
*
(t)
...

【专利技术属性】
技术研发人员：钟智雄，张祖昌，邵振华，许亚，
申请(专利权)人：闽江学院，
类型：发明
国别省市：