一种基于多神经元覆盖的神经网络结构设计方法技术

本发明专利技术提供了一种基于多神经元覆盖的神经网络结构设计方法，运用仿生模式识别的理论，利用不同形式的神经元来构造神经网络结构。BP网络的神经元表达的是两个矢量之间的角度问题，即方向问题；RBF网络的神经元表达的是高维空间中两点之间的距离问题；通过构建BP网络的神经元和RBF网络的神经元所叠加的神经网络模型，实现对简单几何体的覆盖；然后通过对简单几何体合并或相交的方法实现对复杂几何体的覆盖。本发明专利技术从高维空间理论出发，针对仿生模式识别提出的高维空间中复杂几何体覆盖问题，构造出了由多种神经元模型组成的神经网络。仿真结果表明，用不同神经元模型构造的神经网络不仅具有可行性，而且相对传统神经网络具有优越性。

【技术实现步骤摘要】

本专利技术涉及一种神经网络结构设计方法，尤其涉及一种基于多神经元覆盖的神经网络结构设计方法，可应用于模式识别、数据挖掘、图像处理等

技术介绍
人们普遍认为，有什么样的结构就会产生什么样的功能。按照这种观念，为了研究智能，就要澄清脑的结构，按照这种结构来构成人工系统，达到模拟或复制人脑智能的目的。虽然人们对大脑的结构还不甚了解，但他们从这种思想出发，利用现有的科学技术，研究出了Hopfield网络、BP网络、Kohonen网络和ART网络及它们的改进型，并在最优控制、专家系统、模式识别等方面取得了一定的成果。神经网络是实现仿生模式识别十分有效的工具，但是由于神经网络的自身不足，使得仿生模式识别在应用过程中必然存在各种各样的问题。比如以前向神经网络作为实现工具为例，在仿生模式识别的学习过程中存在如下三个方面的困难：其一是学习速度缓慢；其二是局部极小值问题；其三是针对特定问题选择合理的神经网络结构。大量应用实践证明，网络结构过大易引起网络训练速度太慢，甚至出现过拟合现象，而网络结构过小又容易造成不收敛的问题。实际应用中的网络结构确定往往带有人为主观因素，缺乏一定的理论指导。现阶段，模式识别大致分为两类：基于数理统计的传统模式识别和仿生模式识别。传统模式识别认为样本的可用信息都包含在样本集中，各样本之间都是孤立存在的，彼此没有任何的联系。而仿生模式识别认为：自然界任何被认识的事物若存在两个“同源”同类而又不完全相等的事物，则这两个事物之间必至少存在一个渐变过程，在这个渐变过程中的各事物都是属于同一类的。所以仿生模式识别是把一类样本在特征空间中的最佳覆盖作为目标，而不是传统模式识别所强调的最佳划分。传统模式识别系统中的神经网络结构设计，大致上可以分为三类：一是对神经网络权连接的修剪策略，即在获得理想的训练精度之后，动态地删掉多余地权和节点；二是对隐节点地增长与修剪策略；三是子网增长地神经网络结构。无论采用何种方法，最为关键的是以Vapnik的理论为指导方针：即当网络的体系结构可依样本知识进行选择，且随问题的复杂度而改变时，不仅能够确保网络的学习性能有所提高，而且也使得网络结构的大小针对特定任务十分合适，冗余性很小。然而，正如Vapnik指出的“对鸟类如何飞行的研究，实际上对建造飞机并没有多少帮助一样”，研究者在对已有生物神经认知的基础上建造的神经网络(人工神经网络)，功能并没有达到人们想象的效果，更远远没有达到人脑的功能，这就要求我们从另一个角度去考虑问题。基于“认识”的仿生模式识别理论中，被“认识”的事物A的每一个输入样本都对应高维特征空间Rn中一个n(n为大于1的整数)维超球体，也就是一个球形邻域。完成对“事物A”的认识过程就是在特征空间Rn中对所有训练样本点集所形成的无穷多个球形邻域进行“覆盖”。因此，基于仿生模式识别的神经网络结构设计准则就是：在模式能够被超曲面完全覆盖的条件下，不仅能够有效提高了仿生模式识别过程中神经网络的学习性能，而且也能使得网络结构满足特定识别任务的要求。
技术实现思路
本专利技术要解决的技术问题是提供一种基于多神经元覆盖的神经网络结构设计方法，运用仿生模式识别的理论，利用不同形式的神经元来构造神经网络结构，使得在模式识别时，该网络能起到良好的识别效果。为了解决上述技术问题，本专利技术的技术方案是提供一种基于多神经元覆盖的神经网络结构设计方法，其特征在于：其特征在于：一、高维空间中的神经元模型一个人工神经元，其基本运算公式为：Y＝f[Φ(x1，x2，...xn)-θ](1)上式中：x1，x2，...xn为输入量，n为大于1的整数；Y为输出量；f为神经元非线性输出转移函数；Φ(x1，x2，...xn)为包括各权值在内的神经元的基本运算规则；θ为神经元阈值；(1)对于BP网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：其中，为链接每一个神经元的权重值的平均值；i为第i个神经元；由余弦定理可知，BP网络的神经元表达的是两个矢量之间的角度问题，即方向问题；(2)对于RBF网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：其中，ωi为链接每一个神经元的权重值；i为第i个神经元；RBF网络的神经元表达的是高维空间中两点之间的距离问题；二、神经元对几何体的覆盖同一类样本在多维空间中的分布表现为一个复杂的几何体，要实现对复杂几何体的覆盖，首先实施对多个简单几何体的覆盖，然后通过对简单几何体合并或相交的方法实现对复杂几何体的覆盖；在多维空间中，要实现对简单几何体的覆盖，要解决两个方面的问题：距离问题和方向问题，而这两个问题正是上述BP网络的神经元、RBF网络的神经元所表达的，通过构建BP网络的神经元和RBF网络的神经元所叠加的神经网络模型，实现对简单几何体的覆盖。优选地，所述基于多神经元覆盖的神经网络结构包括至少两层神经元，第一层为BP网络的神经元，第二层为RBF网络的神经元，以BP网络的神经元的输入量和输出量作为RBF网络的神经元的输入量。本专利技术从高维空间理论出发，通过分析两种神经元模型在高维空间中的物理意义，针对仿生模式识别提出的高维空间中复杂几何体覆盖问题，构造出了由多种神经元模型组成的神经网络。这种神经网络有效地运用了BP网络的神经元在多维空间表示角度(方向)与RBF网络的神经元表示距离的几何意义，通过首先构造简单几何体，而后通过相交与合并的方法，实现对复杂几何体的构造，突破了传统地运用单一神经元模型构造神经网络的思维模式，是一种新的建造神经网络的方法。仿真结果表明，用不同神经元模型构造的神经网络不仅具有可行性，而且相对传统神经网络具有优越性。附图说明图1为点到直线距离的求取示意图；图2为神经网络连接示意图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。在现行的人工神经网络中，人们总是按照生物神经网络的样子，取大量形式相同的神经元来构造，而很少考虑用不同的神经元来构造网络(生物神经网络中，不同神经元的形状与结构也有明显的不同)。本专利技术从高维空间的角度出发，运用仿生模式识别的理论指出用不同形式的神经元构造的神经网络，在模式识别时能起到良好的识别效果。一、高维空间中的神经元模型：我们知道，一个人工神经元其基本运算公式为：Y＝f[Φ(x1，x2，...xn)-θ](1)上式中：x1，x2，...xn为输入量，n为大于1的整数；Y为输出量；f为神经元非线性输出转移函数；Φ(x1，x2，...xn)为包括各权值在内的神经元的基本运算规则；θ为神经元阈值。(1)对于BP网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：其中，为链接每一个神经元的权重值的平均值；i为第i个神经元。由余弦定理可知，它表达的是两个矢量之间的角度问题(即方向问题)。(2)对于RBF网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：其中，ωi为链接每一个神经元的权重值；i为第i个神经元。可以看出，它表达的是高维空间中两点之间的距离问题。在这一节中，介绍了两种神经元模型，一种是表达了方向问题，另一本文档来自技高网...

【技术保护点】
一种基于多神经元覆盖的神经网络结构设计方法，其特征在于：一、高维空间中的神经元模型一个人工神经元，其基本运算公式为：Y＝f[Φ(x1，x2，...xn)‑θ]   (1)上式中：x1，x2，...xn为输入量，n为大于1的整数；Y为输出量；f为神经元非线性输出转移函数；Φ(x1，x2，...xn)为包括各权值在内的神经元的基本运算规则；θ为神经元阈值；(1)对于BP网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：其中，为链接每一个神经元的权重值的平均值；i为第i个神经元；由余弦定理可知，BP网络的神经元表达的是两个矢量之间的角度问题，即方向问题；(2)对于RBF网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：Φ(x1,x2,...xn)-θ=Σi=0n[(xi-ωi)2]12-θ=0---(3)]]>其中，ωi为链接每一个神经元的权重值；i为第i个神经元；RBF网络的神经元表达的是高维空间中两点之间的距离问题；二、神经元对几何体的覆盖同一类样本在多维空间中的分布表现为一个复杂的几何体，要实现对复杂几何体的覆盖，首先实施对多个简单几何体的覆盖，然后通过对简单几何体合并或相交的方法实现对复杂几何体的覆盖；在多维空间中，要实现对简单几何体的覆盖，要解决两个方面的问题：距离问题和方向问题，而这两个问题正是上述BP网络的神经元、RBF网络的神经元所表达的，通过构建BP网络的神经元和RBF网络的神经元所叠加的神经网络模型，实现对简单几何体的覆盖。...

【技术特征摘要】
1.一种基于多神经元覆盖的神经网络结构设计方法，其特征在于：一、高维空间中的神经元模型一个人工神经元，其基本运算公式为：Y＝f[Φ(x1，x2，...xn)-θ](1)上式中：x1，x2，...xn为输入量，n为大于1的整数；Y为输出量；f为神经元非线性输出转移函数；Φ(x1，x2，...xn)为包括各权值在内的神经元的基本运算规则；θ为神经元阈值；(1)对于BP网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：其中，为链接每一个神经元的权重值的平均值；i为第i个神经元；由余弦定理可知，BP网络的神经元表达的是两个矢量之间的角度问题，即方向问题；(2)对于RBF网络的神经元，在转移函数为硬限幅时，神经元函数的基变为：Φ(x1,x2,...xn)-θ=Σi=0n[(xi-ωi)2]12-θ=0---(3)]]...

【专利技术属性】
技术研发人员：胡静，
申请(专利权)人：上海电机学院，
类型：发明
国别省市：上海;31