一种部分连接多层感知器的图形化设计与实现方法技术

本发明专利技术公开了一种部分连接多层感知器的图形化设计与实现方法，选择需要训练的数据集，对数据集数据预处理符合网络训练的需要；根据用户画出的网络图形生成对应的数据结构，并检查网络的连接方式是否合法；对网络图结构拓扑排序，根据线性序列执行网络的前向计算，计算出神经元上的输出值x；根据拓扑排序得到的线性序列反向执行网络的反向计算，计算出神经元上的误差值δ；遍历网络中的有向边，计算梯度更新有向边上的权重值w；本发明专利技术可以用来训练部分连接的多层感知器，并且通过图形化方法生成网络，无需通过编程生成网络。

【技术实现步骤摘要】
一种部分连接多层感知器的图形化设计与实现方法
本专利技术涉及一种部分连接多层感知器的图形化设计以及实现方法，属于模式识别领域。本专利技术可以用来训练各种连接比例的多层感知器，并且通过图形化方法生成人工神经网络而不是传统的编程实现。
技术介绍
作为一种实现人工智能的技术，人工神经网络已经在图像识别、语音识别、自然语言处理等多个领域取得了突破性的成果，而且受到了非常高的关注。多层感知器曾是相当流行的机器学习算法，拥有广泛的应用场景。近年，由于深度学习的成功，多层感知器又重新得到了关注。多层感知器是一种由有多层节点的有向图构成的前馈神经网络，其中每一个非输入节点都是具有非线性激活函数的神经元，每一层与下一层是全连接的。多层感知器的一个优点是它可以被训练。训练多层感知器的过程其实就是数学上的最优化，目标是找到一组最佳的权重来最大限度的减少预测值与实际值的误差。给定一个训练样本用(x,y)表示，首先计算每个神经元上的激活值，直到最后一层。在最后一层计算完毕后，计算得到实际值与预测值的误差。再根据得到的误差反向计算每一个层上的每一个神经元上的误差δ值，该值可以理解为该神经元对于总误差的分担值，误本文档来自技高网...

【技术保护点】
1.一种部分连接多层感知器的图形化设计与实现方法，其特征在于，该方法包括如下步骤：步骤1：选择训练集，在面板界面选择一种数据集作为神经网络的数据集，可选的数据集大部分都是UCI公开的数据集，本专利技术自带了Iris、Sonar、Diabetes、Blood等数据集以供部分连接多层感知器模型训练使用；以Iris数据集为例，数据集包含150个数据样本，分为3类，每类50个数据，每个数据包含4个属性以及1个标签值，可通过花萼长度、花萼宽度、花瓣长度和花瓣宽带4个属性预测鸢尾花卉属于三个种类中的哪一类；步骤1.1：为了加快训练的收敛速度，对每一个特征做归一化；根据选择的样本，可以选择批梯度下降、随机梯...

【技术特征摘要】
1.一种部分连接多层感知器的图形化设计与实现方法，其特征在于，该方法包括如下步骤：步骤1：选择训练集，在面板界面选择一种数据集作为神经网络的数据集，可选的数据集大部分都是UCI公开的数据集，本发明自带了Iris、Sonar、Diabetes、Blood等数据集以供部分连接多层感知器模型训练使用；以Iris数据集为例，数据集包含150个数据样本，分为3类，每类50个数据，每个数据包含4个属性以及1个标签值，可通过花萼长度、花萼宽度、花瓣长度和花瓣宽带4个属性预测鸢尾花卉属于三个种类中的哪一类；步骤1.1：为了加快训练的收敛速度，对每一个特征做归一化；根据选择的样本，可以选择批梯度下降、随机梯度下降和mini-batch梯度下降，因为可选的都不是大型的数据，故默认采用随机梯度下降，每次只处理一个样本；为了避免样本顺序固定对训练产生影响，在训练样本之前随机打乱数据集内样本的顺序；步骤1.2：将预处理后样本中的特征值放入数组X中，对应的标签值依次存放另一个数组Y中；针对分类任务，为了让标签值与预测值之间的误差距离计算更加合理，需额外将标签值转成one-hot编码形式；如果是回归任务，不对标签值做处理；步骤2：构造网络结构，在画板界面中画出符合用户需求的部分连接多层感知器的神经网络结构；步骤2.1：在画图界面按钮区域选择“多层感知器层数”按钮，则出现输入多层感知器层数按钮，输入层数；然后程序会根据整个画图界面的宽度进行均匀分配每层的间距，并根据画图界面的高度合理给出画图界面的初始布局分布；部分连接多层感知器的每一层用一个胶囊表示，在胶囊结构中计算并保存一些向量信息(比如输出值、误差项等)，以及与这个胶囊相关的连接信息；步骤2.2：设置各层胶囊中神经元个数，点击胶囊则会弹出界面要求输入对应胶囊内部的神经元个数；步骤2.3：设置各层胶囊的激活函数，胶囊默认不带激活函数；作为输入的胶囊不做激活处理，中间隐藏层的胶囊可以使用relu、sigmoid、tanh等激活函数，输出层胶囊的激活函数如果是分类任务一般会设定为softmax函数，如果是回归任务则不选择激活函数；步骤2.4：部分连接多层感知器的层数和每层胶囊中神经元个数确定之后，点击“部分连接”按钮，则相邻两层胶囊之间形成部分连接；在界面中产生部分连接多层感知器各层之间的连接，可以显示数据流计算的顺序并通过点击有向边图形设定部分连接的属性；部分连接的方式可以是两层神经元之间随机连接，也可以选择一些系统提供的特定的规则连接；随机部分连接根据有向边上设定的连接概率p，对应生成一个mask矩阵，该mask矩阵服从概率为p的Bernoulli分布，该矩阵中只有0和1两个元素，0代表断开两个节点之间的连接，1表示保持原来的连接；步骤2.5：确定形成的网络图中胶囊的计算顺序，主要是...

【专利技术属性】
技术研发人员：李玉鑑，沈浩，张婷，刘兆英，李冬冬，单传辉，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11