一种用于模式识别的基于样本学习的BP网络结构设计方法技术

本发明专利技术提供了一种用于模式识别的基于样本学习的BP网络结构设计方法，包括：在模式能够被超曲面所完全覆盖的情况下，假设学习样本的基元素的数目为C，如果BP网络结构采用的是单隐节点层结构，且BP网络的输入层与隐节点层为全连接方式，则将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接。本发明专利技术在传统的BP网络结构设计准则的基础上，提出了一种基于仿生/拓扑模式识别的神经网络结构设计准则。该设计准则在模式能够被超曲面完全覆盖的条件下，不仅能够有效提高了仿生模式识别过程中神经网络的学习性能，而且也能使得网络结构满足特定识别任务的要求。

【技术实现步骤摘要】
-种用于模式识别的基于样本学习的BP网络结构设计方 法
本专利技术涉及网络结构设计领域，更具体地说，本专利技术涉及一种用于模式识别的基 于样本学习的BP(BackPropagation)网络结构设计方法。
技术介绍
神经网络是实现模式识别十分有效的工具，但是由于神经网络的自身不足，使得 模式识别在应用过程中必然存在各种各样的问题。比如以前向神经网络作为实现工具为 例，在模式识别的学习过程中存在如下三个方面的困难，其一是学习速度缓慢；其二是局部 极小值问题；其三是针对特定问题选择合理的神经网络结构。大量应用实践证明，网络结构 过大易引起网络训练速度太慢，甚至出现过拟合现象，而网络结构过小又容易造成不收敛 的问题。实际应用中的网络结构确定往往带有人为主观因素，缺乏一定的理论指导。 传统模式识别系统中的神经网络结构设计，大致上可以分为三类：一是对神经网 络权连接的修剪策略，即在获得理想的训练精度之后，动态地删掉多余地权和节点；二是对 隐节点地增长与修剪策略；三是子网增长地神经网络结构。 M.Gori和A.Tesi提出的确保BP前向神经网络学习性能有效提高的网络结构设计 准则是：假设所分模式是线性可分的，若网络结构采用单隐节点层结构，且网络的输入层与 隐节点层为全连接方式；进一步假设学习样本的类别数为C，则可将隐节点层划分为C个子 节点组，且各个子节点组只与其相应的输出层节点相连接。该准则虽然被严格限制在模式 线性可分的前提下使用，但无论是从理论分析上，还是实际应用中都具有十分重要的指导 意义。故此，随后有不少学者在此结论的基础上将学习环境进行修改之后，使得该准则进一 步推广到非线性的环境中。 但是，现有技术的BP网络结构设计方法仍存在学习过程的陷入局部极小值和学 习速度慢等问题。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种能够缓解 学习过程的陷入局部极小值和学习速度慢等问题的基于样本学习的BP网络结构设计方 法。 为了实现上述技术目的，根据本专利技术，提供了 一种用于模式识别的基于样本学习 的BP网络结构设计方法，包括：在模式能够被超曲面所完全覆盖的情况下，假设学习样本 的基元素的数目为C，如果BP网络结构采用的是单隐节点层结构，且BP网络的输入层与隐 节点层为全连接方式，则将隐节点层划分为C个子节点组，且各个子节点组只与其相应的 输出层节点相连接。 本专利技术提出了一个基于提高模式识别系统性能的BP神经网络结构设计方法。该 方法基于无论是不同类样本点间还是同类样本点间都存在有先验知识这一结论，通过利用 同类样本中所蕴含的先验知识对神经网络的结构进行设计，不仅能够确保模式识别过程中 的学习过程有效收敛，而且也使得网络结构的设计满足特定任务的要求，并可应用于模式 识别、异常检测、图像处理等领域。 【附图说明】 结合附图，并通过参考下面的详细描述，将会更容易地对本专利技术有更完整的理解 并且更容易地理解其伴随的优点和特征，其中： 图1示意性地示出了根据本专利技术优选实施例的用于模式识别的基于样本学习的 BP网络结构设计方法的示意图。 需要说明的是，附图用于说明本专利技术，而非限制本专利技术。注意，表示结构的附图可 能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。 【具体实施方式】 为了使本专利技术的内容更加清楚和易懂，下面结合具体实施例和附图对本专利技术的内 容进行详细描述。 传统模式识别理论认为：同类样本点之间没有任何关系的先验知识存在，一切都 只能从特征空间的不同类样本的划分出发了。然而在自然界实际规律中并非如此，自然界 中任何欲被认识的两个同类事物之间必至少存在一个渐变过程，在这个渐变过程中间的各 事物是属于同一类的。故此，在特征空间中同类样本点之间存在的连续性规律，是模式识别 中用来作为样本点分布的先验知识，从而来提高对事物的认识能力。 如今，与模式识别技术有关的新理论与新方法层出不穷。其中最为引人注目的一 个就是称之为仿生模式识别的新理论。与传统的以最佳划分为目标的统计模式识别 不同，它是基于样本间的最佳覆盖为前提，即它是通过对同类样本的覆盖去认识事物，而 不是以不同类样本的划分认识事物为目的，它的数学方法在于研究特征空间中样本集合的 拓扑性质。因此又称为拓扑模式识别。 为了解决仿生（拓扑）模式识别系统中存在的上述问题，本专利技术的研究基本思路 是：训练样本点之间无论是不同类还是同类的都存在有先验知识。通过这些样本中所隐含 的先验知识，重点是同类样本间的先验知识进行神经网络结构的设计，不仅解决了由于神 经网络固定拓扑结构所带来的困难，而且也缓解了学习过程的陷入局部极小值和学习速度 慢等问题。 传统的、确保BP前向神经网络学习性能有效提高的网络结构设计准则是：假设所 分模式是线性可分的，若网络结构采用单隐节点层结构，且网络的输入层与隐节点层为全 连接方式；进一步假设学习样本的类别数为C，则可将隐节点层划分为C个子节点组，且各 个子节点组只与其相应的输出层节点相连接。 该准则虽然被严格限制在模式线性可分的前提下使用，但无论是从理论分析上， 还是实际应用中都具有十分重要的指导意义。故此，随后在此结论的基础上将学习环境进 行修改之后，使得该准则进一步推广到非线性的环境中。 上述设计准则的关键在于如何将隐节点层进行分组，而分组的关键又在于如何划 分原始样本数据，这本身也是一个对样本空间识别问题。M. Gori和A. Tesi不仅从理论上， 而且也从多种实验结果中证明了根据上述准则设计的神经网络在模式识别的实际应用中 能够确保算法有效收敛，并且学习时间有效缩短。因而非常值得将此准则在仿生模式识别 领域中进行推广。 但是，现在所面临的问题是：在仿生模式识别中完成的是对同类样本进行覆盖，此 时输入样本的类别数为1 (即C= 1)。从表面上看，无法将原始样本空间进行划分，即无法 将隐节点层进行与样本类别数目相等的分组。因而上述结论似乎不适用于基于认识的 仿生模式识别过程。但是从拓扑学的角度对训练样本的拓扑属性进行分析之后，发现通过 拓扑基可以在两者之间架起一道桥梁，从而将上述结论推广至仿生模式识别过程中。 图1示意性地示出了根据本专利技术优选实施例的用于模式识别的基于样本学习的 BP网络结构设计方法的示意图。如图1所示，本专利技术所提的、作为新的、仿生（拓扑）模 式识别实现工具的三层前向神经网络有效提高学习性能的网络结构设计方法包括：假设模 式是能够被超曲面所完全覆盖的（即，在模式能够被超曲面所完全覆盖的情况下，步骤Sl 的判断结果为是），而且假设学习样本的基元素的数目为C，如果BP网络结构采用的 是单隐节点层结构，且BP网络的输入层与隐节点层为全连接方式（步骤S2的判断结果为 是），则可将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相 连接（步骤S3)。 上述设计准则的关键在于如何将隐节点层进行分组，而分组的关键又在于如何确 定基元素的数目，不同的识别任务产生不同的基元素个数，如此一来就将网络结构设 计中关键的隐节点神经元数目确定与特定任务下的样本空间划分紧密联系本文档来自技高网...

【技术保护点】
一种用于模式识别的基于样本学习的BP网络结构设计方法，其特征在于包括：在模式能够被超曲面所完全覆盖的情况下，假设学习样本的基元素的数目为C，如果BP网络结构采用的是单隐节点层结构，且BP网络的输入层与隐节点层为全连接方式，则将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接。

【技术特征摘要】
1. 一种用于模式识别的基于样本学习的BP网络结构设计方法，其特征在于包括：在模 式能够被超曲面所完全覆盖的情况下，假设学习样本的基元素的数目为C，如果BP网络结 构采用的是单隐节点层结构，且BP网络的输...

【专利技术属性】
技术研发人员：胡静，
申请(专利权)人：上海电机学院，
类型：发明
国别省市：上海;31