一种核整体学习划分的优化神经网络分类器的方法技术

本发明专利技术公开了一种核整体学习划分的优化神经网络分类器的方法，包括以下步骤：(1)建立RBF核完成对原始训练样本空间的优化覆盖，并生成新的RBF核个数及参数；(2)以每个RBF核的中心及核宽为参数，在各RBF核所覆盖的有效区域内建立与原始样本相近似的概率分布来生成新的样本数据；(3)判断新生成的样本数据是否保留，最终构成一个新的模式矢量子集；(4)将原始样本和最终保留的所有模式矢量一起构成新的样本集合，以训练输出分类器权值参数。本发明专利技术改善了当样本集规模过小或样本空间维数过高导致的学习算法失效问题；从概率上而言，核整体划分的方式可以使得学习后的分类器边界更加远离原来的样本，使得分类器的鲁棒性和泛化能力得到加强。

An Optimized Neural Network Classifier Based on Kernel Global Learning Partition

The invention discloses a method for optimizing neural network classifier based on holistic learning partition of the core, which includes the following steps: (1) establishing RBF core to complete the optimal coverage of the original training sample space, and generating the number and parameters of new RBF kernels; (2) taking the center and width of each RBF core as parameters, establishing a probability distribution similar to the original sample in the effective area covered by each RBF core. Generating new sample data; (3) judging whether the newly generated sample data is retained or not, and finally forming a new subset of pattern vectors; (4) Constructing a new set of samples together with all the final retained pattern vectors to train the weights of the output classifier. The invention improves the problem of learning algorithm invalidation caused by too small sample set or too high dimension of sample space; in terms of probability, the way of whole kernel partition can make the boundary of the learned classifier far away from the original sample, and enhance the robustness and generalization ability of the classifier.

【技术实现步骤摘要】
一种核整体学习划分的优化神经网络分类器的方法
本专利技术属于模式识别领域，具体涉及一种核整体学习划分的优化神经网络分类器的方法。
技术介绍
在模式识别领域，集合分类是常见的分类任务，它在文本分类、说话人语音识别、图像识别等领域具有广泛的应用。以图像识别为例，在基于图像集合的分类任务中，每个图像集合是由一类具有一定数量相似特征的图像数据组成。由于使用了图像数据变化的相关信息，它可以有效探索由于实际条件变化而引起的图像变化。在当前已有的各种神经网络分类器当中，都是基于对单一模式矢量的学习分类。然而当训练样本集规模过小或分类数据集维数过高时，会使样本集的空间分布相对过于稀疏，由于网络分类器的分类面本质上是由训练样本的概率分布决定的，训练样本集规模过小或分类数据集维数过高会使得最终分类面的误差相对较大，因此导致已有的神经网络分类器分类性能不同程度降低。
技术实现思路
为了改善现有技术存在的上述问题，本专利技术目的在于提供一种核整体学习划分的优化神经网络分类器的方法。本专利技术所采用的技术方案为：一种核整体学习划分的优化神经网络分类器的方法，包括以下步骤：(1)建立RBF核完成对原始训练样本空间的优化覆盖，并生成新的RBF核个数及参数；(2)以每个RBF核的中心及核宽为参数，在各RBF核所覆盖的有效区域内建立与原始样本相近似的概率分布来生成新的样本数据；(3)判断新生成的样本数据是否保留，最终构成一个新的模式矢量子集；(4)将原始样本和最终保留的所有模式矢量一起构成新的样本集合，以训练输出分类器权值参数。进一步地，所述步骤(1)中采用势函数对原始训练样本空间的优化覆盖；设x,y分别代表模式空间的两个向量，γ(x,y)代表由这两个向量建立的势函数；势函数需要满足以下几个条件：当x＝y时，γ(x,y)获得最大值；当x与y之间的距离趋于无穷大时，γ(x,y)的值趋于零；γ(x,y)是连续光滑函数，随着x与y之间的距离的增加，γ(x,y)的值单调下降；④若γ(x1,y1)＝γ(x2,y1)，则向量x1和x2对y1具有相同的相似性程度。进一步地，所述势函数为：γ(x,y)＝exp(-T||x-y||2)其中，T是常数，用来控制势函数的衰减速度。进一步地，所述步骤(2)中采用一种面向中心的负类样本作用力模型，以进一步对完成每一个RBF网络隐节点中心及核宽参数的自适应优化调整。进一步地，所述负样本作用力模型需要满足以下条件：①当初始中心被确定，给定初始核宽参数，只有在当前RBF网络隐节点所覆盖区域内，该负类样本作用力才存在；②当中心向量调整到一个合适的位置时，负类样本作用力自动消失。进一步地，所述步骤(3)采用以各RBF子核为研究对象，在各子核内部以先随机生成模式类别样本再优化筛选的方式来判断新生成的样本数据是否保留。进一步地，初始生成模式样本的概率分布与原始样本的概率分布近似一致；且，在样本的筛选过程中，生成样本被保留的概率与原始样本所在区域的密度成正比。进一步地，若生成样本为混叠区域样本，需进行二次优化筛选。本专利技术的有益效果为：本专利技术将集合分类的思想引入到神经网络分类器当中，提出一种核整体划分思想的优化神经网络分类方法。对核整体划分思想的特性进行了分析，在具体实现方式上，通过对各RBF子核内部模式矢量进行预先填充后再优化筛选的方式，完成对核整体学习划分思想的有效逼近。该方法在一定程度上改善了当样本集规模过小或样本空间维数过高导致的学习算法失效问题；另一方面，从概率上而言，核整体划分的方法可以使得学习后的分类器边界更加远离原来的样本，使得分类器的鲁棒性和泛化能力得到进一步加强。附图说明图1是本专利技术所提核整体划分与模式矢量直接分类的对比示意图。图2是本专利技术中混叠区域样本及非混叠区域样本对比示意图。图3是本专利技术所提自适应优化RBF网络核个数及核参数的示意图。具体实施方式为了使本专利技术的技术方案及优点更加清楚明白，下面结合附图及具体实施例对本专利技术作进一步阐述。核整体划分的分类思想充分考虑了样本空间局部区域的相似性信息，可以在一定程度上改善当样本集规模过小或样本空间维数过高导致的学习算法失效问题；另一方面，这些不同的模式矢量集合作为RBF核所覆盖有效区域的子集，从概率上而言，核整体划分的方式可以使得学习后的分类器边界更加远离原来的样本，使得分类器的鲁棒性和泛化能力得到进一步加强。尽管核整体划分的思想具有以上优点，但是实际中对网络分类器的权值参数的训练都是以单个模式矢量来进行。当所有的RBF核建立起来，为了实现这些RBF核的整体划分，根据各个子核内部模式矢量的概率密度分布情况，我们考虑在每个RBF核内部生成新的模式矢量，这就相当于在当前RBF核内部对已有的模式矢量子集进行扩展，以实现对RBF核整体划分的表征。按照这种方式，对RBF核的整体划分就转化为对更多模式矢量的训练划分。在生成合适的样本集规模的基础上，再利用已有的网络分类器进行训练分类。可以修正最终的分类曲面，从而提高网络分类器的分类性能。为了进一步说明本专利技术的方法的特点和优越性，图1给出了核整体划分与模式矢量直接分类对比示意图。其中图1(a)为对原始样本集合直接划分；图1(b)为对原始样本集进行密度聚类并建立相应的RBF核完成对原始样本空间的覆盖；图1(c)为对各个子核类进行填充来建立新的模式矢量以完成核整体划分；图1(d)为将原始样本和填充后的新的样本构成新的样本集合后进行划分得到新的分类曲面；图1(e)为修正后的分类平面与初始平面对比。为了实现对RBF核所覆盖区域中模式矢量的有效扩展，首先，需要建立合适的样本概率分布模型以生成新的模式矢量。对于这一问题，我们考虑到各RBF子核所覆盖的有效区域包含一定数量的原始模式矢量，整体而言，在靠近中心的区域，样本的概率密度相对较大，而靠近边界的区域，其概率密度相对较小，因此可以认为这些模式矢量近似服从以当前RBF核为参数的多元高斯分布形式，以此作为新的模式矢量的样本概率分布模型，同时新生成的模式矢量应以当前RBF核所覆盖有效区域作为约束，通过这种方式来完成RBF核的初始填充；其次，需要度量各RBF核内原始模式矢量所在区域的密度，在样本较密集的区域，所生成的模式样本就相对较多；反之，所生成的模式样本就相对较少。而当生成样本处于被不同模式类别相互覆盖的混叠区域，则需要进一步降低该样本被保留的概率。通过这种方式，可以在不改变原始样本概率密度分布的情况下，结合其所在区域的密度及位置信息来完成对新生成模式矢量的优化筛选。按照以上所述方法，一方面，我们以核整体划分的思想为原型，具体实现上通过对每个子核内部进行模式矢量进行填充及优化筛选，以完成对核整体划分思想的逼近；另一方面，对各个RBF子核的整体学习划分转化为对更多模式矢量的学习划分，可以改善样本集规模过小或样本空间维数过高导致的样本空间分布稀疏问题，从而改善训练样本集合的概率分布，因此可以提高分类器的分类精度。需要指出的是，由于子核内部样本分布的不均匀性，通过子核内部样本填充来逼近已有的RBF核以完成核整体划分，可以认为是一种软划分，即最终的分类曲面可以穿过子核内部，以有效改善不同模式类别子核相互重叠的情况，因此更有利于实际分类曲面参数的调整。在基于核整体划分的思想上，为了实现各子核内部模式矢量填本文档来自技高网...

【技术保护点】
1.一种核整体学习划分的优化神经网络分类器的方法，其特征在于：包括以下步骤：(1)建立RBF核完成对原始训练样本空间的优化覆盖，并生成新的RBF核个数及参数；(2)以每个RBF核的中心及核宽为参数，在各RBF核所覆盖的有效区域内建立与原始样本相近似的概率分布来生成新的样本数据；(3)判断新生成的样本数据是否保留，最终构成一个新的模式矢量子集；(4)将原始样本和最终保留的所有模式矢量一起构成新的样本集合，以训练输出分类器权值参数。

【技术特征摘要】
1.一种核整体学习划分的优化神经网络分类器的方法，其特征在于：包括以下步骤：(1)建立RBF核完成对原始训练样本空间的优化覆盖，并生成新的RBF核个数及参数；(2)以每个RBF核的中心及核宽为参数，在各RBF核所覆盖的有效区域内建立与原始样本相近似的概率分布来生成新的样本数据；(3)判断新生成的样本数据是否保留，最终构成一个新的模式矢量子集；(4)将原始样本和最终保留的所有模式矢量一起构成新的样本集合，以训练输出分类器权值参数。2.根据权利要求1所述的一种核整体学习划分的优化神经网络分类器的方法，其特征在于：所述步骤(1)中采用势函数对原始训练样本空间的优化覆盖；设x,y分别代表模式空间的两个向量，γ(x,y)代表由这两个向量建立的势函数；势函数满足以下几个条件：当x＝y时，γ(x,y)获得最大值；当x与y之间的距离趋于无穷大时，γ(x,y)的值趋于零；γ(x,y)是连续光滑函数，随着x与y之间的距离的增加，γ(x,y)的值单调下降；④若γ(x1,y1)＝γ(x2,y1)，则向量x1和x2对y1具有相同的相似性程度。3.根据权利要求2所述的一种核整体学习划分的优化神经网络分类器的方法，其特征在于：所述势函数为：γ(x,y)＝exp(-T||x-y||2)其...

【专利技术属性】
技术研发人员：闻辉，黄金火，严涛，徐航，陈德礼，车艳，李同彬，林元模，
申请(专利权)人：莆田学院，
类型：发明
国别省市：福建,35