人工神经网络制造技术

一种人工神经网络，包括具有预定数目的输入节点的至少一个输入层， 以及具有预定数目的输出节点的至少一个输出层，或者还包括在所述输入 层和所述输出层之间的具有预定数目的节点的至少一个中间隐藏层。至少 所述输出层和/或所述隐藏层和/或所述输入层的节点对输入数据进行第一 非线性变换的非线性变换，用于计算输出值，所述输出值将馈送给下一层 作为输入值，或者在考虑输出层时作为输出数据。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及神经网络，包括形成至少两层的多个节点，所述层的第一层是所谓的输入层，所述层的最后一层是所谓的输出层，所述输入层的节点形成用于输入数据库的数据的输入，所述输出层的节点形成用于提供输出数据的输出信道，其中所述输出数据是处理输入数据的结果，在所述输入层的节点和所述输出层的节点之间提供连接，所述输出层的各节点将从所述输入层接收的所述输入数据变换成所述输出数据，所述变换包括第一变换步骤，所述第一变换步骤包括至少这样的子步骤，通过对所述输入数据加权，将从所述输入节点接收的所述输入数据求和到所述输出节点，以及第二变换步骤，其中非线性地变换通过所述第一变换步骤获得的结果，通过在输出节点中进行的所述变换获得的输出数据作为所述输出数据。
技术介绍
人工神经网络广泛用于各种目的。通常所说的人工神经网络属于所谓的预测算法类型，其可以从数据库的数据学习，以达到特定的初始经验水平，用于评价可以通过以多个不同方法获取的数据库的数据纪录所描述的状态。从而可以将例如人工神经网络的已训练适应算法用于评价由特定特征限定的特定状态的结果，该特征通过数据库的数据纪录中的数据或变量表示或编码，并且根据该评价的结果，通过这些适应算法的机器操作可以决定应用特定措施或行动，而不需要人的参与。适应算法不停地学习，并且通过在其被使用的任何时间增加其知识，可以收集和细化其经验，从而通过其的使用对在第一学习阶段期间获取的知识增加另外的知识。这些种算法是提高在没有人的智力或参与的帮助下自动执行任务的能力的基础。通常，其被应用到机器人或高智能系统中，用于自动化，并允许将具有高可靠性水平的机器还扩展用于执行这样的任务，该任务不能用基于技术、物理、化学参数等的严格数据来限定。从这方面看，这种算法具有技术特征和技术效果，因为这些算法的目的是提供技术装置，例如这样的计算机，其通过更简单地提供与人脑的已知结构相符的结构，以类似于人脑处理该数据的方式计算数据。使用该算法以解决多种技术问题，或提供例如图像识别或边缘检测的方法的技术效果。实际上，已知多种用于该适应算法、尤其用于该人工神经网络的结构。下面通过图1和3说明该人工神经网络的总体结构和原理。在常规网络中，各节点作为一个单元工作，该单元接收来自输入节点的加权输入，对其求和，并通过非线性函数变换结果。节点是这样的功能单元，其可以对由数据库或其它节点提供的输入数据进行变换，并提供作为输出的将被发送到其它节点的输出数据，或者人工神经网络的输出数据。图3说明了其机制。在常规网络中，各节点对其输入的线性变换进行非线性变换xj=F(L(wji,xi))---(1)]]>其中非线性变换F(·)是类似例如S形的函数，而线性变换L(·)是对输入的加权求和L(wji,xi)Σi=0nwji·xi---(2)]]>从(1)和(2)可得xj=F(Σi=0nwji·xi)---(3)]]> 其中网络的普通层，其中对于输入层，s＝1，对于隐藏层和输出层，s为渐增值；xj层中第j个节点的输出变量；xi从层中第i个节点向层中普通节点的第i个输入；x0向层中的普通节点的“伪”输入，其被人为引入以便以数学方便的方法表示有效阈值。其值通常固定为1；wji对将层中第i个节点接入层中第j个节点的连接的权重；n对节点的输入数目。另外，公知人工神经网络可以具有多于两层即输入和输出层的层，这些层被提供在输入层和输出层中间并称为隐藏层。人工神经网络可以具有多于一个的隐藏层。各层的各节点可通过通信信道与可以是隐藏层或输出层的下一层的一个或多个或者每个节点连接。各节点对通过上一层的其它节点接收的输入进行上述变换，并对下一层的节点提供输出值，其中该输出值通过对由上一层的节点接收的输入进行上述变换计算得到。已知并使用了在不同或相同层的节点之间的连接的多种结构，但是本专利技术并不限于任一所述的已知结构，因为根据本专利技术的内容可以修改神经网络的任何已知结构。人工神经网络的一个重要的目的是改善其可靠性，以及其快速收敛到所处理问题的高精度解的能力，即快速收敛到为对由输入数据描述的状态的高精度评价，并从而收敛到高可靠性的输出数据或预测。上述函数包括参数，这些参数通常被随机设置为特定初始值，并且算法的学习阶段包括对算法馈送已知输入数据和对应的已知输出数据。在学习阶段期间，校正对通过第一变换步骤接收的输入数据应用的参数，通常为权重，以获得输入数据与由学习数据集的记录已知的对应输出数据的最佳拟合。已知不同种用于培训(teach)算法的学习函数集。这些学习函数集是算法的重要特征，因为学习阶段影响算法的计算可靠性和计算速度，并从而影响算法的泛函性。通过减小对于相同输入数据的计算的输出与已知输出之间的差距而限定权重。根据通常在误差最小化期间数据的结构，算法仅仅检测局部极小值而非绝对极小值，从而其陷入这些局部极小值，而不能检测与最佳训练或学习的算法一致的绝对极小值。关于对不同种人工神经网络的完全描述，见例如Arbib M.A.，(Ed.)，(1995a)，The Handbook of Brain Theory and Neural Networks，ABradford Book，The MIT Press，Cambridge，Massachusetts，London，England，1995；Buscema M.& Semeion Group(1999a)，Reti NeuraliArificiali e Sistemi Sociali Complessi，Vol.ITeoria e Modelli，FrancoAngeli，Milano，1999。文献日本20022366927公开了一种，其可以学习时间序列特征的神经网络。这种神经网络具有五层，包括输入层、输出层以及三个中间隐藏层。在被馈送给输入层的节点之前，对输入矢量的各自单元进行非线性组合变换。在隐藏和输出层的输入处不进行非线性变换子步骤。对输入矢量的单元的非线性组合不包括对神经网络的学习函数的最优化，并且不具有避免陷入局部极小值的效果。这可由以下事实明显地推出，即隐藏层和输出层的节点不进行非线性预处理，从而不能发生最优化学习过程。文献EP 621549公开了一种非线性操作单元和利用该非线性操作单元的数据处理装置，其中所述非线性操作单元包括非线性函数操作装置，用于接收至少一个输入信号，并通过利用非线性函数对所述输入信号进行计算操作；乘法装置，用于将作为通过所述非线性函数操作装置的计算操作的结果的函数值乘以权重值；以及加法器装置，用于将通过所述乘法装置的乘法操作的结果相加到一起，并对总和加上阈值。该操作单元形成神经网络的节点，所述节点分布在层中并彼此连接。对输入各节点的输入信号进行的非线性操作只是通常的非线性操作，在常规神经网络中对操作单元的输入的加权求和信号进行该操作。该对线性求和和加权步骤的顺序与非线性变换的顺序的颠倒只是意味着，考虑并避免由于乘法和求和装置的非线性行为的误差，所述非线性行为来源于例如热偏移或其它效应的系统漂移。通过进行常规的第二步骤即非线性变换作为第一变换步骤，并进行包本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：P·M·布谢马，
申请(专利权)人：西麦恩公司，
类型：发明
国别省市：