基于敏感性的MADALINE神经网络构建方法及其装置制造方法及图纸

本发明专利技术公开了一种基于敏感性的MADALINE神经网络构建方法及其装置，选取一个足够大的正整数m作为隐层神经元数，构建一个三层MADALINE神经网络，并给定初始网络参数；利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器；计算隐层神经元的敏感性，并按照敏感性由小到大排序；去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络；对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练；取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。本发明专利技术可以有效提高神经网络构建效率，并提高MADALINE神经网络的性能。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种基于敏感性的MADALINE神经网络构建方法及其装置，选取一个足够大的正整数m作为隐层神经元数，构建一个三层MADALINE神经网络，并给定初始网络参数；利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器；计算隐层神经元的敏感性，并按照敏感性由小到大排序；去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络；对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练；取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。本专利技术可以有效提高神经网络构建效率，并提高MADALINE神经网络的性能。【专利说明】基于敏感性的MADALI NE神经网络构建方法及其装置
本专利技术一种MADALINE神经网络设计时的网络构建方法及其装置，尤其涉及一种可有效提高MADALINE神经网络分类效率或回归效率的网络构建方法及其装置，属于智能科学与技术中的机器学习领域。
技术介绍
在设计MADALINE神经网络分类器时，如何确定神经网络的结构是一个重要而且关键的步骤。针对具体问题构建一个合适的网络对提高分类精度、泛化能力都有巨大的帮助。目前广泛使用的是三层神经网络。文献已经证明，三层神经网络当第二层(也称隐层、中间层)神经元数增多时可以逼近任何连续函数。在具体应用中，三层神经网络的第一层神经元数依赖于输入变量的维数，第三层神经元数依赖于输出变量的维数。因为输入变量和输出变量的维数一般都是确知的，所以第一层和第三层神经元的个数一般也是确定的。对于三层神经网络的网络构建实际上是确定第二层神经元数目的一个过程。 在训练神经网络的时候，通常使用有监督的学习方法。有监督的学习方法是指在训练神经网络的过程中通过告诉网络输入和相对应的输出来调节网络参数，达到训练神经网络的目的。在这个过程中需要使用有标记的训练样本。训练样本的标记一般是由专家来完成的，这往往要花费大量的金钱和时间代价。在实际应用中，无标记的样本比有标记的样本要容易获得得多。例如在某些互联网应用中，由专家标记的有标记样本和无标记样本相比只占很少的一部分。能否使用那些没有标记的样本帮助辅助确定网络的最优结构就变得很有必要。 对于三层MADALINE神经网络，确定隐层神经网络的方法主要有: I)增枝法。这个方法确定隐层神经元数量的过程是首先选择一个很小的隐藏神经元数。由于隐层神经元数太少，所以网络的结构太简单，导致使用训练样本训练神经网络不成功。数学上的表征就是误差不收敛。在这个隐层神经元数量的基础上一个一个地增加隐层神经元数量，没增加一个训练一次网络，直到隐层神经元数量增加到某一数量时神经网络能够训练成功为止。能够使得神经网络训练成功的最小隐层神经元数量就是我们需要寻找的隐层神经元数。 2)减枝法。这个方法与增枝法相反，它的操作方法是首先确定一个足够大的隐层神经元数来构造一个三层神经网络，在这个结构下能够使用有标记的样本很容易地训练好神经网络。然后对隐层神经元去除一个，在去除之后的网络基础上使用有标记的样本进行训练，使得网络再次训练完成。重复上述去除过程，直到网络训练不能完成为止。这时候取最小能完成的隐层神经元数量作为最终确定的隐层神经元数。增枝法和减枝法背后的理论基础是统计学习理论要求对于一个具体的分类问题分类器要有一个合适的复杂度，保证既不过拟合也不欠拟合。只有这样的分类器才能具有最好的泛化能力。对于三层MADALINE神经网络这样的分类器而言，网络复杂度就体现在隐层神经元的数量上，神经元数量太少网络欠拟合，训练不能完成，神经元数量太多网络过拟合，泛化能力差。 3)经验法。这种方法确定隐层神经元数需要对具体问题所涉及的领域有深刻的理解，从而凭借经验确定隐层神经元的数量。即使这样也不能保证所取的隐层神经元数量是最优的。 对于上述方法减枝法目前使用较多。在具体的减枝过程中，首先减去哪个隐层神经元、其次减去哪个隐层神经元对于确定最终的网络结构非常重要。一般认为每个隐层神经元在训练过程中起到的作用或者重要程度是不一样的。理论上首先去掉对分类没有作用的或者不重要的神经元可以使得最终训练完成的神经网络的泛化性能更好。如何利用无标记的样本来辅助确定隐层神经元以更好地确定网络就变得非常重要。
技术实现思路
专利技术目的:针对现有技术中存在的问题与不足，本专利技术提供一种利用有标记样本和无标记样本辅助确定三层MADALINE神经网络隐层神经元敏感性的方法，同时也提供了一种基于无标记样本的MADALINE神经网络构建装置及其工作方法。 技术方案:一种基于敏感性的MADALINE神经网络构建方法，包括以下步骤: (SlOl)选取一个足够大的正整数m(针对不同问题，足够大的取值方法并不相同，一般来说，足够大至少是能够将网络训练成功的数值，低于这个数值网络训练将不成功)作为隐层神经元数，构建一个三层MADALINE神经网络，并给定初始网络参数； (S103)利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e (e取值小于10的-2次方)，得到经过训练的分类器； (S105)计算隐层神经元的敏感性，并按照敏感性由小到大排序； (S107)去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络； (S109)对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤(S107)、(S109);如果不能收敛则进入下一步； (Slll)取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。 一种MADALINE神经网络设计时的网络构建装置，该装置包括:初始模块、训练模块、隐层神经元选择模块和输出模块；上述模块按照如下顺序依次构建:初始模块、训练模块、隐层神经元选择模块、输出模块。 (I)构建初始模块:其选取一个足够大的正整数m作为MADALINE隐层神经元数，构建一个三层神经网络，并给定初始网络参数； (2)构建训练模块:其利用有标记的样本集训练MADALINE神经网络直到代价函数收敛到某个给定的很小的阈值e，得到经过训练的分类器； (3)隐层神经元选择模块:其计算隐层神经元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隐层神经元，形成新结构的MADALINE神经网络；重新利用有标记样本集训练新结构的神经网络，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复本步骤；如果代价函数不能够收敛到某个很小的阈值e，则进入下一个步骤； (4)构建输出模块:取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，并输出这个网络为最终的分类器。 本专利技术采用上述技术方案，具有以下有益效果:本专利技术所述基于无标记样本的MADALINE神经网络构建方法为裁剪隐层神经元以确定网络结构提供依据，提高了神经网络分类器的分类性能。 本专利技术所述基于无标记样本的MADALINE神经网络构建装本文档来自技高网...

【技术保护点】
一种基于敏感性的MADALINE神经网络构建方法，其特征在于，包括以下步骤：（S101）选取一个足够大的正整数m作为隐层神经元数，构建一个三层MADALINE神经网络，并给定初始网络参数；（S103）利用有标记的样本集训练神经网络直到代价函数收敛到某个给定的很小的阈值e（e取值小于10的‑2次方），得到经过训练的分类器；（S105）计算隐层神经元的敏感性，并按照敏感性由小到大排序；（S107）去掉敏感性最小的隐层神经元，得到新结构的MADALINE神经网络；（S109）对新的MADALINE神经网络在原有参数的基础上再次使用有标记的样本集进行训练，如果代价函数能够收敛到某个很小的阈值e，则得到经过参数更新的分类器并重复步骤（S107）、（S109）；如果不能收敛则进入下一步；（S111）取隐层神经元数最小且能收敛的MADALINE神经网络网络结构为最终的网络结构，其网络为最终输出的分类器。

【技术特征摘要】

【专利技术属性】
技术研发人员：储荣，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32