【技术实现步骤摘要】
本专利技术属于机器学习，尤其涉及一种以控制论求解的无监督式神经网络参数调整方法。
技术介绍
1、无监督学习是在没有标签的情况下可以实现自主学习，而神经网络借鉴了生物神经元处理信息的方法，呈现极强的拟合能力。然而，无监督式神经网络因为没有标签，使得大量广泛应用的回归算法无法被使用。
技术实现思路
1、针对现有技术存在的缺陷和不足，本专利技术公开一种以控制论求解的无监督式神经网络参数调整方法，该方法具有3个步骤：首先是建立无监督式神经网络数学模型，接着是无监督式神经网络模型的控制系统转化，在此基础上提出无监督式神经网络模型参数的控制理论调整策略。该方法可以实现无监督式神经网络模型参数调整的快速性和准确性，具有广阔的应用发展前景。
2、更具体地，其首先建立无监督式神经网络数学模型，采用泰勒展开式将神经网络的函数模型转为离散控制系统模型；接着构建并求解pid控制器，进行无监督式神经网络模型的控制系统扩张模型再转化，最后进行滑膜鲁棒优化控制器的设计从而完成无监督式神经网络模型参数的控制理论调整策略。该方法可实现无监督式神经网络参数调整的全局鲁棒优化。
3、为实现上述目的，本专利技术采用的技术方案是：
4、一种以控制论求解的无监督式神经网络参数调整方法，其特征在于：
5、首先建立无监督式神经网络数学模型，采用泰勒展开式将神经网络的函数模型转为离散控制系统模型；接着构建并求解pid控制器，进行无监督式神经网络模型的控制系统扩张模型再转化，最后进行滑
6、进一步地，所述建立无监督式神经网络数学模型具体如下：
7、首先，建立自编码器神经网络模型框架，建模分为编码器和解码器：编码器的模型如下：
8、
9、其中，x是输入信号，{w1,b1}是编码器的权重，z2是编码器中间变量，a2是编码器的输出，f1( )是编码器激活函数；
10、解码器的模型如下：
11、
12、其中，{w2,b2}是解码器的权重，z3是解码器中间变量，a3是解码器的输出，f2( )是解码器的激活函数；
13、接着，引入目标函数：
14、
15、其中，v(t)是目标函数，δ是正则化的标量，|| ||是矩阵的2范数，|| ||2是矩阵的2范数的平方。
16、进一步地，所述无监督式神经网络模型的控制系统转化具体包括以下过程：
17、首先，采用泰勒展开式，将目标函数在公式(3)动态表征为如下：
18、
19、其中，是高阶次的残差，是目标函数v(t)分别对{w1,b1,w2,b2}的偏导数，{δw1,δb1,δw2,δb2}代表权重的增量；
20、接着，从公式(1)-(4)，分别得到：
21、
22、和
23、和和
24、
25、和
26、
27、定义：
28、
29、
30、其中，*t代表*的转置。
31、目标函数在公式(4)的动态表示为以下的控制系统：
32、
33、进一步设置：
34、
35、其中，*-1代表*求逆。
36、f(t)是以下要设计的无监督式神经网络的参数调整方法：假如当是奇异的情形，则构造代替其中ρ是一个标量，i是单位矩阵：
37、最后将公式(11)代入(10)，得到：
38、
39、进一步地，所述无监督式神经网络模型参数的控制理论调整策略具体为：
40、首先，定义如下的控制器：
41、f(t)＝(t)1(t)+(t)2(t), (13)
42、其中，(t)1(t)是主控制器，f2(t)是残差抑制控制器；
43、接着，定义主控制器f1(t)为以下的pid的形式：
44、
45、其中，{kp,ki,kd}是待求解的控制器增益；将主控制器f1(t)代入系统(12)后得到：
46、
47、进一步选择控制器增益{kp,ki,kd}为：
48、
49、其中，{α,β,γ}是待求解的控制器增益，i是单位矩阵；
50、将控制器增益(16)代入系统(15)后得到：
51、
52、定义：
53、
54、式(17)重写成如下的扩张系统模型：
55、
56、构造一个离散型积分型滑动曲面函数，如下：
57、
58、其中，g是一个给定的矩阵，使得是非奇异的；为了实现理想的控制效果，也就是：
59、
60、给出以下的等量控制器ueq(t)，其用于实现公式(21)成立：
61、
62、等量控制器(22)是无法实现的，因为残差是一个变化的信号且无法被测量获得；然而，残差总是有界的，因此，进一步假定：
63、
64、其中，|| ||代表向量的2范数，是一个正数标量；
65、基于式(22)和(23)的关系，修正(19)的控制器为：
66、u(t)＝u1(t)+f2(t), (24)
67、其中u1(t)是主控制器，f2(t)是残差抑制控制器，并且：
68、
69、将公式(24)代入(20)后，得到：
70、
71、进一步考虑以下lyapunov函数：
72、π(t)＝st(t)ps(t), (27)
73、其中，*t是*的转置，p是正定对称的矩阵；
74、对公式(27)求差分后得到：
75、δπ(t)＝st(t+1)ps(t+1)-st(t)ps(t), (28)
76、其中，δπ(t)＝π(t+1)-π(t).
77、根据式(26)获得：
78、
79、其中，m是非奇异的矩阵；
80、结合式(28)和(29)后，得到：
81、
82、进一步设置残差抑制控制器为：
83、
84、其中，是要设计的控制器增益，sign是符号函数；
85、将式(31)代入(30)，并结合式(29)后，得到：
86、
87、其中，sym(*)代表矩阵的自身和它的转置和，也就是sym(*)＝*+*t
88、由式(32)得知，为了令δπ(t)<0，那么必须符合：
89、
90本文档来自技高网...
【技术保护点】
1.一种以控制论求解的无监督式神经网络参数调整方法，其特征在于：
2.根据权利要求1所述的以控制论求解的无监督式神经网络参数调整方法，其特征在于：
3.根据权利要求2所述的以控制论求解的无监督式神经网络参数调整方法，其特征在于：所述无监督式神经网络模型的控制系统转化具体包括以下过程：
4.根据权利要求3所述的以控制论求解的无监督式神经网络参数调整方法，其特征在于：所述无监督式神经网络模型参数的控制理论调整策略具体为：
【技术特征摘要】
1.一种以控制论求解的无监督式神经网络参数调整方法，其特征在于：
2.根据权利要求1所述的以控制论求解的无监督式神经网络参数调整方法，其特征在于：
3.根据权利要求2所述的以控制论求解的无监督式神经网络参...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。