广义操作感知：新生人工神经网络制造技术

某些实施方式通常可涉及用于机器学习的各种技术。前馈、完全连接的人工神经网络(ANN)，或所谓的多层感知器(MLP)是众所周知的通用逼近器。但是，取决于它们尝试逼近学习的功能或解空间，它们的学习性能可能会有很大差异。这是因为它们基于松散且粗略的生物神经元模型，仅承诺线性转化，然后是非线性激活功能。因此，虽然它们很好地学习了单调、相对简单且线性可分离的解空间的问题，但当解空间高度非线性且复杂时，它们可能完全不能这样做。为了解决这个缺点并且还实现生物神经元和学习系统的更广义的模型，可以形成广义操作感知器(GOP)，并且它们可以封装许多线性和非线性运算符。

Generalized Operational Perception: A New Artificial Neural Network

【技术实现步骤摘要】
【国外来华专利技术】广义操作感知：新生人工神经网络
某些实施方式通常可涉及用于机器学习的各种技术。更具体地，本专利技术的某些实施方式一般涉及前馈、完全连接的人工神经网络(ANN)、训练广义操作感知器(GOP)，以及利用渐进操作感知器(POP)实现自组织和深度自适应GOP。
技术介绍
广义上的学习可以是分类、数据回归、特征提取和综合或函数逼近的形式。例如，分类的目标是找出每个类的输入数据(原始信号、数据或特征向量)到N维空间中与其他空间分离得很远的不同位置的正确转换，其中N是类的数量。因此，学习中的挑战是找到正确转换(线性或非线性)或一般来说，找到正确的连续变换集合，以便达到潜在的学习目标。为此目的，大多数现有分类器仅使用一个或几个(非)线性运算符。一个实例是支持向量机(SVM)，其中必须对将要使用的(非)线性核函数进行关键选择，并随后定义适当的参数。即使可以针对内核函数的参数优化分类器的性能，与通过使用适合当前问题特征的内核函数可以实现的性能进行相比，选择不适当的内核函数可能导致性能低下。例如，考虑图1中所示的两个样本特征变换(FS-1和FS-2)，其中为了说明的目的，特征仅以1-D和2-D示出，并且仅考虑两类问题。在FS-1的情况下，具有二次形式的多项式核的SVM将正确地变换为3-D，使得新的(变换的)特征是线性可分的。然而，对于FS-2，可以替代地使用具有正确频率f的正弦曲线。因此，特别是在实际和复杂的问题中，只能实现正确的(一组)变换的高水平的操作多样性是至关重要的。在生物学习系统中，这在神经元细胞水平上得到解决。例如，图2示出了具有信号流方向的生物神经元(左)和哺乳动物神经系统中的突触(右)。每个神经元通过三种不同的操作传导电信号：1)树突中的突触连接，来自输入神经元轴突末端的突触连接的每个输入信号的单独操作；2)通过胞体内的空间和时间信号积分器对操作的输入信号进行池操作；和3)激活轴突的初始部分或所谓的轴突小丘。如果合并电位超过一定限度，则轴突“激活”一系列脉冲(称为动作电位)。如图2的右侧所示，每个终端按钮可以通过称为突触的小间隙连接到其他神经元。每个突触的物理和神经化学特征决定了信号操作，该信号操作通常与新输入信号的信号强度和极性一起是非线性的。信息存储或处理集中在单元的突触连接中，或者更精确地通过这些连接的某些操作以及连接强度(权重)。这种生物神经元或神经系统通常由多种完全的或部分的结构、生物化学和电生理学特性的神经元类型构建。例如，在哺乳动物视网膜中，存在大约55种不同类型的神经元来执行低水平视觉感测。它们中的22个的功能是已知的，并且通过结构标准定义为“类型”的单元执行不同的个体生理功能(操作者)。因此，在神经系统中，创建具有适当权重(参数)的若干不同操作以实现这种多样性并及时训练以执行或“学习”许多神经功能。具有更高计算运算符的多样性的神经网络具有更多的计算能力，并且添加更多神经多样性的事实也允许网络大小和总连接得以减少。传统的人工神经网络被设计用于模拟生物神经元。然而，最好的ANN模型仅仅基于生物学。最典型的ANN神经元模型是McCulloch-Pitts，其主要用于许多前馈ANN，如多层感知器(MLP)。如下面等式(1)中所示，在该形式模型中，人工神经元执行以突触权重缩放的线性求和。因此，具有不同神经化学操作的突触连接和胞体中的积分仅被建模为线性变换，或者换句话说，线性加权和，随后是可能的非线性阈值函数f(.)，也被称为激活函数。在等式(1)中，该模型是生物神经元的有限粗糙模型，这是使人工神经网络在许多问题上具有较高的学习和泛化性能变化的原因之一。已经有一些尝试通过改变神经元模型和/或传统的反向传播(BP)算法来修改MLP。但是，它们的性能改进一般来说并不重要。即使根据手头的问题优化了网络拓扑或参数更新，这些方法仍然继承了MLP的主要缺点。例如，它们采用等式(1)中描述的常规神经元模型。对于其他ANN拓扑结构，如递归神经网络、长期短期记忆网络和卷积神经网络，也是如此。另一个前馈和完全连接的ANN是径向基函数(RBF)，它采用一组RBF，每个RBF嵌入隐藏神经元中。最典型的RBF是高斯，并且由于这种非线性运算符，RBF网络承诺比MLP更快的学习能力。然而，由于它们仅使用一个运算符RBF，而不管手头的问题如何，它们仍然存在无法逼近某些功能或区分某些模式的相同主要问题，除非使用(有时不可实行地)大型网络配置。因此，需要解决该缺点并实现更普遍的生物神经元模型。还需要提供一种单独搜索每个层的最优运算符的方法；否则，具有多个隐藏层的GOP的搜索空间可能不可实行地大。考虑到以下详细说明、附图和权利要求，本专利技术的其他特征、优点和实施方式已被阐述或显而易见。此外，应该理解，本专利技术的前述
技术实现思路
和下面的详细描述都是示例性的，并且旨在提供进一步的解释而不限制所要求保护的本专利技术的范围。
技术实现思路
一个实施方式可以涉及一种方法，该方法可以包括在输入层的输入神经节点接收数据，所接收的数据对应于要完成的学习目标。该方法还可以包括通过将所述输入层指定为最大POP配置(POPmax)的输入层来初始化最终POP。该方法还可以包括通过使用POPmax的输入层、第一隐藏层和输出层的配置，来形成3层单隐藏层多层渐进操作感知器(第一GOPmin)。该方法还可以包括将所形成的第一GOPmin的隐藏层作为最终POP的第一隐藏层插入，生成第一GOPmin的学习性能统计，并确定利用第一GOPmin是否可以达到学习目标。如果达到学习目标，则可以终止形成过程。否则，如果使用第一GOPmin无法达到所述学习目标，则该方法可以包括通过前向传播训练数据、使用先前隐藏层的输出作为输入层、使用所述POPmax的第二隐藏层作为隐藏层并且使用所述POPmax的输出层作为输出层的配置来形成第二3层单隐藏层多层渐进操作感知器(第二GOPmin)。该方法还可以包括形成所述第二GOPmin，并插入所形成的第二GOPmin的隐藏层作为所述最终POP的第二隐藏层。另外，该方法可以包括生成所述第二GOPmin的学习性能统计。该方法还可以包括检查利用所述第二GOPmin是否达到目标性能，如果没有达到，则重复：以相同的顺序形成、检查并插入第三、第四和附加的GOPmin，直到达到所述目标性能或形成POPmax的所有隐藏层。该方法还可以包括形成所述最终POP的输出层作为形成的最后GOPmin的输出层。在一个实施方式中，所述第一隐藏层和附加隐藏层以及输出层的形成可以包括确定包含在其中的神经节点的最优运算符和参数。在另一实施方式中，当确定能够利用所述第一隐藏层实现所述学习目标时，所述方法可以还包括将所述第一隐藏层附加到最终的多层渐进操作感知器作为其第一隐藏层。在另一实施方式中，可以通过贪婪迭代搜索来执行所述第一隐藏层和附加隐藏层的形成。在又一个实施方式中，所述贪婪迭代搜索可以包括通过顺序地将一个运算符集分配给所述第一隐藏层和所述附加隐藏层的所有神经节点来执行分层评估。另一个实施方式可以涉及一种装置。该装置可以包括：至少一个存储器，包括计算机程序代码；和至少一个处理器。该至少一个存储器和计算机程序代码可以与至少一个处理器一起配置，以使该装置至少在输入层的输入神经节点接收数据，所接收本文档来自技高网...

【技术保护点】
1.一种方法，包括：在输入层的输入神经节点接收数据，所接收的数据对应于要完成的学习目标；通过将所述输入层指定为最大POP配置(POPmax)的输入层来初始化最终POP；通过使用POPmax的输入层、第一隐藏层和输出层的配置，来形成3层单隐藏层多层渐进操作感知器(第一GOPmin)；插入所形成的第一GOPmin的隐藏层作为所述最终POP的第一隐藏层；生成所述第一GOPmin的学习性能统计；确定利用所述第一GOPmin是否能够达到所述学习目标；如果达到所述学习目标，则终止形成过程；如果使用第一GOPmin无法达到所述学习目标，则通过前向传播训练数据、使用先前隐藏层的输出作为输入层、使用所述POPmax的第二隐藏层作为隐藏层并且使用所述POPmax的输出层作为输出层的配置来形成第二3层单隐藏层多层渐进操作感知器(第二GOPmin)；形成所述第二GOPmin，并插入所形成的第二GOPmin的隐藏层作为所述最终POP的第二隐藏层；生成所述第二GOPmin的学习性能统计；检查利用所述第二GOPmin是否达到目标性能，如果没有达到，则重复：以相同的顺序形成、检查并插入第三、第四和附加的GOPmin，直到达到所述目标性能或形成POPmax的所有隐藏层；以及形成所述最终POP的输出层作为形成的最后GOPmin的输出层。...

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在输入层的输入神经节点接收数据，所接收的数据对应于要完成的学习目标；通过将所述输入层指定为最大POP配置(POPmax)的输入层来初始化最终POP；通过使用POPmax的输入层、第一隐藏层和输出层的配置，来形成3层单隐藏层多层渐进操作感知器(第一GOPmin)；插入所形成的第一GOPmin的隐藏层作为所述最终POP的第一隐藏层；生成所述第一GOPmin的学习性能统计；确定利用所述第一GOPmin是否能够达到所述学习目标；如果达到所述学习目标，则终止形成过程；如果使用第一GOPmin无法达到所述学习目标，则通过前向传播训练数据、使用先前隐藏层的输出作为输入层、使用所述POPmax的第二隐藏层作为隐藏层并且使用所述POPmax的输出层作为输出层的配置来形成第二3层单隐藏层多层渐进操作感知器(第二GOPmin)；形成所述第二GOPmin，并插入所形成的第二GOPmin的隐藏层作为所述最终POP的第二隐藏层；生成所述第二GOPmin的学习性能统计；检查利用所述第二GOPmin是否达到目标性能，如果没有达到，则重复：以相同的顺序形成、检查并插入第三、第四和附加的GOPmin，直到达到所述目标性能或形成POPmax的所有隐藏层；以及形成所述最终POP的输出层作为形成的最后GOPmin的输出层。2.根据权利要求1所述的方法，其中，所述第一隐藏层和附加隐藏层以及输出层的形成包括确定包含在其中的神经节点的最优运算符和参数。3.根据权利要求1所述的方法，其中，当确定能够利用所述第一隐藏层实现所述学习目标时，所述方法还包括将所述第一隐藏层附加到最终的多层渐进操作感知器作为其第一隐藏层。4.根据权利要求1所述的方法，其中，通过贪婪迭代搜索来执行所述第一隐藏层和附加隐藏层的形成。5.根据权利要求4所述的方法，其中，所述贪婪迭代搜索包括通过顺序地将一个运算符集分配给所述第一隐藏层和所述附加隐藏层的所有神经节点来执行分层评估。6.一种装置，包括：至少一个存储器，包括计算机程序代码；和至少一个处理器；其中，所述至少一个存储器和所述计算机程序代码与所述至少一个处理器一起配置，以使所述装置至少：在输入层的输入神经节点接收数据，所接收的数据对应于要完成的学习目标；使用最大POP配置(POPmax)的第一隐藏层和的输出层形成3层单隐藏层多层渐进操作感知器(第一GOPmin)；确定利用所述第一隐藏层是否能够达到所述学习目标；如果使用所述第一隐藏层无法达到所述学习目标，则使用先前隐藏层的输出作为输入层、使用POPmax的第二隐藏层作为唯一隐藏层和POPmax的输出层形成第二...

【专利技术属性】
技术研发人员：塞尔坎·基兰亚兹，特克尔·因斯，蒙塞夫·格波布杰，亚历山德罗斯·约瑟菲迪斯，
申请(专利权)人：卡塔尔大学，
类型：发明
国别省市：卡塔尔,QA