基于循环学习的模糊神经网络学习算法制造技术

本发明专利技术涉及一种基于循环学习的模糊神经网络学习算法，通过定义的“超盒可信度”值来计算每一层超盒扩张后的超盒可信度值；在每一次的全部训练样本的学习过程以后，对所有存在的超盒的分类性能进行分析，删除“可信度低”的超盒，保留“可信度高”的超盒，然后减小最大尺度限制参数值θ，再次进行训练，直到分类器的性能满足要求，或者达到的最小允许取值。本发明专利技术既可以避免最大尺度限制参数θ值难以定义的难题，也限制了超盒扩张过程中超盒数目的盲目增加。

Fuzzy neural network learning algorithm based on cyclic learning

The invention relates to a learning algorithm of fuzzy neural network based on the learning cycle, through the definition of \super box credibility\ to calculate the value of each layer of super box after the expansion of super box credibility value; in the process of learning all the training samples after each time, for all the existing super box classification performance is analyzed. Delete \super box low credibility\, to retain the \super box high credibility\, and then reduce the maximum scale limit parameter theta, train again until the performance of classifier to meet the requirements, or to the minimum allowed value. This invention can not only avoid the difficult problem that the maximum scale limit parameter theta value is difficult to define, but also restricts the blind increase of the super box number in the super box expansion process.

【技术实现步骤摘要】
基于循环学习的模糊神经网络学习算法
本专利技术涉及一种基于循环学习的模糊神经网络学习算法。
技术介绍
模糊神经网络是一种令人关注的模型，Simpso提出的模糊最小-最大神经网络(FMM)是一种采用超盒隶属度函数的模糊神经网络可以应用于模式分类、函数逼近和聚类分析等问题，最近得到了广泛的研究，并且在字符识别和检测等领域得到应用。FMM的学习算法由四步组成：初始化-扩张-重叠测试-压缩。每输入一个样本都要重复上述四步，直至边界稳定为止。这四步学习算法中，超盒的扩张准则(学习算法的第二步)是由超盒的尺度限制参数来决定的，也就是说超盒的尺度限制参数决定了每一次学习过程中，每一个超盒的扩张与否，也就成了决定FMM最终模式分类正确率的关键参数。以下对FMM做详细说明：一)定义1、输入向量模糊神经网络的学习模型，其输入模式采用下列形式的序对：{Xh，dh}，式中，表示第h个输入样本，是低端点，是高端点。而dh∈{0，1，2，...p}表示p+1类中某一类的类别标记，当dh＝0时就意味着输入样本为未标识样本。2、模糊超盒隶属度函数FMM主要采用超盒对模式空间进行划分，一个超盒定义了n维模式空间的一个区域。所有包含在超盒中的模式具有相同的类别，一个超盒由它在模式空间的最小点和最大点共同表示，并且对应一个模糊隶属度函数。图1所示为三维模式空间中的一个超盒，从图中可以看出，它完全由一对最小点和最大点确定。虽然超盒的每一维分量都可以取任何范围的值，但FMM中规定超盒每维分量的取值都在0和1之间。因此，模式空间将是一个三维的单位立方体。每个超盒模糊集的隶属度函数都描述了样本隶属于该超盒的程度，且隶属度取值范围也在0和1之间。设第j个超盒的超盒模糊集为Bj，则有：Bj＝{Xh，Vj，Wj，bj(Xh，Vj，Wj)}，式中，Xh表示第h个输入样本，Vj表示第j个超盒的最小点，Wj表示第j个超盒的最大点，bj(Xh，Vj，Wj)表示模糊隶属度函数，模糊隶属度函数衡量了第h个输入样本Xh位于由最小点Vj和最大点Wj形成的第j个超盒中的程度。二)学习算法：1、超盒初始化：对于给定的样本集X∈{Xh|h＝1，2….，m}，新的第j个超盒的Vj及Wj的初始值设为0。当利用第h个输入样本进行训练时，若第j个超盒被首次增加进来，超盒的最大、最小点将依次被修改为及初始化标识集class(Bk)＝dkforallk＝0，1，...，p，如果dk＝0则意味着样本未被标识，dk表示类别标识。2、超盒扩张：从上一步的样本集X∈{Xh|h＝1，2，...，m}中选出第h个输入样本，原超盒集中与第h个输入样本最接近的超盒为Bh，超盒Bh与新加入的超盒Bj满足相似性测度最大时，判断其是否满足下列扩张准则：式中，θ为最大尺度限制参数，用户自定义，用来限制超盒的最大尺寸，并且0＜θ＜1。其后再根据下列公式来调整超盒Bj：ifclass(Bh)＝0thenadjustBjelse上述扩张可以分成两种情况，其一：当第h个输入样本属于未标识样本，并且超盒Bh与超盒Bj又满足超盒的扩张准则，以及相似性最大的测度值，那么可以认为这个输入模式可以归属于足够接近的某个类别或聚类族，则调整超盒Bh与超盒Bj进行扩张。其二：当输入模式的标识是已知的，即属于某个特定的类别，则超盒Bh与之相同类别。则又可以分为以下两种情况：(1)超盒Bj没有具体的类别信息，则超盒Bh与超盒Bj进行扩张。并且，超盒Bj被赋予与超盒Bh相同的类别标识；(2)超盒Bh与超盒Bj具有相同的类别信息，则调整超盒Bh和超盒Bj进行扩张。超盒Bj的调整操作如下：将超盒Bh从原超盒集中除去，加入扩张后的超盒Bj。3重叠测试：超盒的压缩由超盒重叠检测和超盒压缩两步组成。考虑到输入模式中既包含已标识样本，又包含未标识样本，故超盒的重叠测试分为两种情况，如以下公式所示：上述测试原则充分体现了不同类别超盒之间不允许有重叠的原则。对前一步扩张所得的超盒Bj，逐维比较超盒Bj和当前超盒集中的其他超盒是否发生重叠。4、超盒压缩：如果超盒发生了重叠，则进行压缩，以消除重叠。具体操作与FMM学习算法的重叠测试与压缩操作一样，这里就不进行详细描述。压缩操作完成后，还要对模糊隶属度函数进行更新，即对扩张与压缩操作后得到的超盒集，重新计算其模糊隶属度函数。上述过程循环往复，直至不再有超盒可以进行扩张为止。以上就是网络的训练过程，网络训练完毕后，在判决过程中，只要输入待判别模式X，分别计算X属于每个超盒的模糊隶属度，隶属度最大的超盒所属的类别就是X的类别。通过采用几组不同类型的数据对上述学习算法进行测试，可以发现在网络训练过程中最大尺度限制参数θ的值对性能和建立的超盒数有不好的影响，如果的值太大，会造成较大的错误分类率，尤其对于复杂，相互重叠的类别。另一方面，如果最大尺度限制参数θ的值太小，则会建立或产生许多不必要的超盒数。那么，如何定义较为合适的最大尺度限制参数θ值，就成为了关键的因素。
技术实现思路
本专利技术要解决的技术问题是：FMM方法针对特定问题确定超盒的扩张准则与最大尺度限制参数值θ之间的关系难以确定。为了解决上述技术问题，本专利技术的技术方案是提供了一种基于循环学习的模糊神经网络学习算法，其特征在于，包括以下步骤：步骤1、定义超盒可信度参数，第j个超盒的超盒可信度参数为Pj，则有：步骤2、设定超盒可信度参数的阈值P，设定分类错误率阈值；步骤3、用较大的最大尺度限制参数θ；步骤4、利用样本集训练模糊最小-最大神经网络，训练结束后计算分类错误率，若分类错误率不高于分类错误率阈值，则训练结束，否则，计算超盒集中每个超盒的超盒可信度参数，删除超盒可信度参数低于阈值P的超盒；步骤5、减小最大尺度限制参数θ的值，返回步骤4。本专利技术发展了Simpson的模糊最小-最大神经网络(FMM)方法.它克服了原始模型的一个缺点：即超盒扩张准则不受一个固定的最大尺度限制参数值θ所限制，通过不断的循环学习过程，最终达到一个理想的最大尺度限度参数值θ。本专利技术通过有效的循环学习方法来确定最大尺度限制参数θ值的大小，既可以避免原始FMM学习方法中，最大尺度限制参数θ值难以定义的难题；同时，也是提高分类器泛化能力的有效途径之一，限制了超盒扩张过程中超盒数目的盲目增加，达到优化网络结构的目的。实验结果表明，基于循环学习方法的模糊神经网络还可以有效提高分类正确率。附图说明图1为三维模式空间中的一个超盒。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。在原始的FMM学习算法中，所有的训练样本都只进行一次通过的学习算法，当一个训练样本作用于FMM模型的时候，模型对于这个样本的学习依次进行：超盒扩张(或者新建)、重叠检测、超盒收缩(如果需要)等步骤。全部训练模式依次对网络进行训练，当每一个训练模式都使用过一次以后，训练过程就结束了。但是最大尺度限制参数值θ的最优值并没有找到。最大尺度限制参数值θ控制了所建立超盒的最大尺度，它在学习过程的开始就被设定，并且在整个学习过程中保持不变本文档来自技高网...

【技术保护点】
一种基于循环学习的模糊神经网络学习算法，其特征在于，包括以下步骤：步骤1、定义超盒可信度参数，第j个超盒的超盒可信度参数为Pj，则有：

【技术特征摘要】
1.一种基于循环学习的模糊神经网络学习算法，其特征在于，包括以下步骤：步骤1、定义超盒可信度参数，第j个超盒的超盒可信度参数为Pj，则有：步骤2、设定超盒可信度参数的阈值P，设定分类错误率阈值；步骤3、用较大的最大尺度限制参数θ；步骤4、...

【专利技术属性】
技术研发人员：罗宜元，
申请(专利权)人：上海电机学院，
类型：发明
国别省市：上海,31