一种高阶神经元模型的构建方法技术

本发明专利技术提供了一种高阶神经元模型的构建方法，包括：S1，对训练样本进行特征提取，得到训练样本对应的特征表示；S2，对特征表示进行聚类，得到训练样本对应的聚类簇；S3，采用拓扑结构作为覆盖单元对每一聚类簇进行学习，得到高阶神经元模型。该方法对同类样本的覆盖更紧密，且构造的超曲面体积更小且准确度更高，具有高效的学习能力和分类性能。有高效的学习能力和分类性能。有高效的学习能力和分类性能。

【技术实现步骤摘要】
一种高阶神经元模型的构建方法


[0001]本专利技术涉及人工智能领域，具体涉及一种高阶神经元模型的构建方法。

技术介绍

[0002]人工神经网络研究的基础出发点是模仿生物神经网络，是实现机器学习的强有力的手段。人工神经网络的优势在于实现非线性映射逼近，具有极强的非线性映射，并行处理，分布式存储和容错能力，这些能力是实现人工智能的基础。
[0003]近年来，深度神经网络，尤其是快速、可压缩且端到端的学习框架的研究与应用，使得计算机视觉的发展发生了天翻地覆的变化，大量基于DNN的网络模型的出现以及在分类、定位、语义分割和行为识别等任务中的应用，证明了其非常优越的性能，使得深度学习取得重大突破。神经网络方法发展最初是为了模拟生物体的神经元功能，但这些方法没有充分利用同源的同类事物具有局部直接连通性这个先验知识。
[0004]一种面向复杂的通用学习任务的深层神经网络具有大量隐层的网络具有优异的特征学习能力，为模拟生物神经元的局部响应特性，将径向基函数引入到了神经网络的设计中，形成了径向基神经网络(RBF)，利用RBF构成的隐藏层空间对低维的输入矢量进行投影，将数据变换到高维空间中去，以使原来线性不可分的问题能够变得线性可分，而上述对于神经元模型的优化是假定特征在高维空间线性可分的前提下学习的，但实际数据并非严格服从该假设，进而限制了特征的表达性和判别性，因此弱化了模型的拟合能力。

技术实现思路

[0005](一)要解决的技术问题
[0006]本专利技术的主要目的在于提出一种基于同源连续性的拓扑高阶神经元模型，以克服传统模式识别以学习同类样本在特征空间中的最佳划分作为目标的弊端，并解决同类对象连通通路被切断的问题。
[0007](二)技术方案
[0008]本专利技术提供了一种高阶神经元模型的构建方法，包括：S1，对训练样本进行特征提取，得到训练样本对应的特征表示；S2，对特征表示进行聚类，得到训练样本对应的聚类簇；S3，采用拓扑结构作为覆盖单元对每一聚类簇进行学习，得到高阶神经元模型。
[0009]可选地，拓扑结构采用点集拓扑为基础形状的拓扑结构。
[0010]可选地，K均值聚类算法采用基于欧式距离的K均值聚类算法；分级聚类算法采用最近距离为相似性量度的分级聚类算法。
[0011]可选地，超曲面包括中心权值向量及方向权值向量，通过超曲面对训练样本的子空间进行覆盖包括：通过设置中心权值向量及方向权值向量，对任意维度流形分布的训练样本的子空间进行覆盖。
[0012]可选地，步骤S1中，对训练样本进行特征提取包括：将训练样本输入前馈神经网络中进行学习，通过学习训练样本的样本空间所在的高维流形结构分布，得到特征表示。
[0013]可选地，将训练样本输入前馈神经网络中进行学习为监督学习过程。
[0014]可选地，采用拓扑结构作为覆盖单元对每一聚类簇进行学习为无监督学习过程。
[0015]可选地，构建方法还包括：S4，将测试样本的特征表示输入高阶神经元模型进行非线性映射，得到测试样本在高阶神经元模型下的得分值，根据得分值对高阶神经元模型进行评估。
[0016]可选地，步骤S2中，对特征表示进行聚类包括：采用K均值聚类算法或分级聚类算法对特征表示进行聚类。
[0017]可选地，步骤S3中，采用拓扑结构作为覆盖单元对每一聚类簇进行学习包括：利用拓扑结构对训练样本的运动轨迹进行边界扩充，得到超曲面；通过超曲面对训练样本的子空间进行覆盖。
[0018](三)有益效果
[0019]1、本专利技术提供的这种拓扑高阶神经元模型通过对输入的样本流形结构进行挖掘并采用拓扑结构作为基本单元实现其所在拓扑子空间的覆盖，直接把样本作为已知的知识，在已知知识的基础上一点点扩充知识边界，实现正样本的最佳覆盖，即对同类样本的覆盖更为紧密，建立的模型对样本点分布的逼近更有优势，所构造的超曲面体积更小且准确度更高。
[0020]2、本专利技术提供的这种高阶神经元神经网络模型，是一种基于同源连续性规律，具有更好的逼近性和更优的抗噪声性能，克服了传统模式识别同类样本在特征空间中的最佳划分作为目标的弊端。以样本拓扑结构的连通性作为先验知识，学习少量的高阶神经元实现样本空间的覆盖，具有高效的学习能力和分类性能。
附图说明
[0021]图1示意性示出了本专利技术第一实施例提供的高阶神经元模型的构建方法的流程图；
[0022]图2示意性示出了本专利技术第一实施例提供的拓扑高阶神经元模型构建方法对应的结构图；
[0023]图3示意性示出了本专利技术第一实施例提供的超曲面结构图。
具体实施方式
[0024]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。
[0025]本专利技术提供了一种高阶神经元模型的构建方法，参阅图1，结合图2，包括：S1，对训练样本进行特征提取，得到训练样本对应的特征表示。
[0026]其中，对训练样本进行特征提取包括：将训练样本输入前馈神经网络中进行学习，通过学习训练样本的样本空间所在的高维流形结构分布，得到特征表示。
[0027]参阅图2中的A、B，本实施例中训练样本例如可以为输入图像X＝(x1，x2，
……
，x
m
)，具体内容本专利技术不做具体限制。将输入图像X＝(x1，x2，
……
，x
m
)输入至卷积神经网络中的每一神经元，通过学习输入图像的所在样本空间的流形结构分布的模拟，再经过卷积神经网络中的三层卷积层之后得到训练样本对应的特征表示。
[0028]S2，对特征表示进行聚类，得到训练样本对应的聚类簇。
[0029]在上述步骤S2中，可以采用K均值聚类算法或分级聚类算法对特征表示进行聚类，使得该训练样本被分成多个聚类簇。参阅图2中的C，其中，K均值聚类算法采用基于欧式距离的K均值聚类算法，分级聚类算法采用最近距离为相似性量度的分级聚类算法。
[0030]本实施例中以K均值聚类算法为例，在图2中的C中的样本点内选取K个对象作为初始的聚类中心，计算每个样本点与各个聚类中心之间的距离，把样本点分配给距离该样本点最近的聚类中心，得到一个聚类。
[0031]本实施例中步骤S1和步骤S2实现了将输入空间的训练样本的聚类，该阶段通过无监督学习得到。
[0032]S3，采用拓扑结构作为覆盖单元对每一聚类簇进行学习，得到高阶神经元模型。
[0033]采用拓扑结构作为覆盖单元对每一聚类簇进行学习包括：采用点集拓扑结构为基础形状的拓扑结构，对训练样本的运动轨迹进行边界扩充，得到超曲面，通过该超曲面对训练样本的子空间进行覆盖。
[0034]当步骤S2中的聚类没有样本点被重新分配给其它的聚类时，或者聚类中心的位置不再发生变化时，参阅图2中的D图，得到高阶神经元模型，根据同源连续性原理，从一个样本到另一个样本存在一条连续的路径，该路径上经过的点均属于该类的样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高阶神经元模型的构建方法，包括：S1，对训练样本进行特征提取，得到所述训练样本对应的特征表示；S2，对所述特征表示进行聚类，得到所述训练样本对应的聚类簇；S3，采用拓扑结构作为覆盖单元对每一所述聚类簇进行学习，得到所述高阶神经元模型。2.根据权利要求1所述的构建方法，其中，所述步骤S3中，所述采用拓扑结构作为覆盖单元对每一所述聚类簇进行学习包括：利用所述拓扑结构对所述训练样本的运动轨迹进行边界扩充，得到超曲面；通过所述超曲面对所述训练样本的子空间进行覆盖。3.根据权利要求2所述的构建方法，其中，所述拓扑结构采用点集拓扑为基础形状的拓扑结构。4.根据权利要求2所述的所述的构建方法，其中，所述超曲面包括中心权值向量及方向权值向量，所述通过所述超曲面对所述训练样本的子空间进行覆盖包括：通过设置所述中心权值向量及方向权值向量，对任意维度流形分布的所述训练样本的子空间进行覆盖。5.根据权利要求1所述的构建方法，其中，所述步骤S1中，所述对训练样本进行...

【专利技术属性】
技术研发人员：宁欣，李卫军，田伟娟，李爽，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：