神经网络处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种神经网络处理方法、装置、设备及计算机可读存储介质。该方法包括：构建针对神经网络的带有约束条件的训练函数；基于训练函数，进行约束优化求解，得到神经网络的连接权重。本发明专利技术实施例的神经网络处理方法、装置、设备及计算机可读存储介质，从优化问题的角度对神经网络的连接权重的求解问题进行建模，可以对神经网络的连接权重的求解问题进行有效求解，能够提高神经网络的训练速度。

【技术实现步骤摘要】
神经网络处理方法、装置、设备及计算机可读存储介质
本专利技术涉及人工智能
，尤其涉及一种神经网络处理方法、装置、设备及计算机可读存储介质。
技术介绍
人工神经网络(ArtificialNeuralNetworks，ANNs)，简称为神经网络(NNs)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。目前的神经网络训练主要利用启发式算法(heuristicalgorithm)进行训练。但是，利用heuristicalgorithm对神经网络进行训练，速度较慢。
技术实现思路
本专利技术实施例提供一种神经网络处理方法、装置、设备及计算机可读存储介质，能够提高神经网络的训练速度。一方面，本专利技术实施例提供了一种神经网络处理方法，方法包括：构建针对神经网络的带有约束条件的训练函数；基于训练函数，进行约束优化求解，得到神经网络的连接权重。另一方面，本专利技术实施例提供了一种神经网络处理装置，装置包括：构建模块，用于构建针对神经网络的带有约束条件的训练函数；求解模块，用于基于训练函数，进行约束优化求解，得到神经网络的连接权重。再一方面，本专利技术实施例提供了一种神经网络处理设备，设备包括：存储器用于存储可执行程序代码；处理器用于读取存储器中存储的可执行程序代码以执行本专利技术实施例提供的神经网络处理方法。再一方面，本专利技术实施例提供一种计算机可读存储介质，计算机存储介质上存储有计算机程序指令；计算机程序指令被处理器执行时实现本专利技术实施例提供的神经网络处理方法。本专利技术实施例的神经网络处理方法、装置、设备及计算机可读存储介质，从优化问题的角度对神经网络的连接权重的求解问题进行建模，可以对神经网络的连接权重的求解问题进行有效求解，能够提高神经网络的训练速度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例提供的神经网络处理方法的流程示意图；图2示出了本专利技术实施例提供的神经网络处理装置的结构示意图；图3示出了能够实现根据本专利技术实施例的神经网络处理方法和装置的计算设备的示例性硬件架构的结构图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。由于现有的神经网络主要利用heuristicalgorithm进行训练，但是利用heuristicalgorithm对神经网络进行训练，速度较慢。基于此，本专利技术实施例提供基于约束优化问题求解思想的神经网络处理方法、装置、设备及计算机可读存储介质，来对神经网络进行训练，以提高神经网络的训练速度。下面首先对本专利技术实施例提供的神经网络处理方法进行详细说明。如图1所示，图1示出了本专利技术实施例提供的神经网络处理方法的流程示意图。其可以包括：S101：构建针对神经网络的带有约束条件的训练函数。S102：基于训练函数，进行约束优化求解，得到神经网络的连接权重。其中，连接权重是用来衡量神经网络中的上一层神经元和下一层神经元之间连接强弱关系的数值。示例性的，本专利技术实施例的神经网络表示为：f(W)，其中，W＝{W1，W2，...，Wd}，Wi是神经网络的第i个连接权重。在本专利技术的一个实施例中，假设神经网络为三元神经网络，其连接权重初始值分别为-1、0和1。那么针对该三元神经网络构建的带有约束条件的训练函数可以如下表示：s.t.W∈C＝{-1，0，+1}d其中，s.t.W∈C＝{-1，0，+1}d表示连接权重W的取值被约束在连接权重空间C中，其中，连接权重空间C包含-1、0和+1，也即连接权重W只能取值为-1、0或者+1。需要说明的是，上述神经网络为离散神经网络，当然本专利技术实施例不限于针对离散神经网络的处理，即本专利技术实施例也可以针对非离散神经网络的处理。可以理解的是，离散神经网络对应的约束条件可以用等式进行表示，非离散神经网络对应的约束条件可以用不等式进行表示。当基于训练函数，进行约束优化求解，得到神经网络的连接权重时，约束优化求解所采用的求解算法可以为以下算法中的任意一种：罚函数法、乘子法、投影梯度法、简约梯度法或约束变尺度法。在本专利技术的一个实施例中，由于不同的约束最优化问题的求解算法的使用场景不同，即有的求解算法仅适用于求解不等式约束问题，有的求解算法仅适用于求解等式约束问题，有的求解算法即适用于求解不等于约束问题又适用于求解等式约束问题。基于此，本专利技术实施例在基于训练函数，进行约束优化求解，得到神经网络的连接权重之前，可以根据约束条件确定使用何种求解算法，即确定约束优化求解所采用的求解算法。在本专利技术的一个实施例中，基于训练函数，进行约束优化求解，得到神经网络的连接权重，可以包括：基于指示函数和一致性约束，对训练函数进行等价变换；利用交替方向乘子法(AlternatingDirectionMethodofMultipliers，ADMM)，对等价变换后的训练函数进行分解；针对分解后得到的每一个子问题，求解神经网络的连接权重。在本专利技术的一个实施例中，基于指示函数和一致性约束，对训练函数进行等价变换，可以包括：对训练函数进行解耦合。在本专利技术的一个实施例中，针对分解后得到的每一个子问题，求解神经网络的连接权重，可以包括：对分解后得到的子问题进行迭代计算，以获得神经网络的连接权重。本专利技术实施例的指示函数表示如下：指示函数IC(X)是定义在集合X上的函数，表示其中有哪些元素属于子集C。本专利技术实施例在此引入新的变量G，设置一致性约束W＝G，结合以上的指示函数IC(X)，本专利技术实施例的上述训练函数等价变换为：minW，Gf(W)+IC(G)(2)s.t.W＝G(3)其对应的增广拉格朗日乘子表示为：其中，λ为拉格朗日乘数，ρ为正则项系数。对于公式(2)和公式(3)，指示函数作用在G上，原始的连接权重W此时不具有约束。通过指示函数IC(X)和一致性约束W＝G，将连接权重和约束条件解耦合，即对训练函数进行解耦合。基于ADMM，上述等价变换后的训练函数被分解为如下三个子问题：Wk+1：＝argminWL本文档来自技高网...

【技术保护点】
1.一种神经网络处理方法，其特征在于，所述方法包括：构建针对神经网络的带有约束条件的训练函数；基于所述训练函数，进行约束优化求解，得到所述神经网络的连接权重。

【技术特征摘要】
1.一种神经网络处理方法，其特征在于，所述方法包括：构建针对神经网络的带有约束条件的训练函数；基于所述训练函数，进行约束优化求解，得到所述神经网络的连接权重。2.根据权利要求1所述的方法，其特征在于，所述约束优化求解所采用的求解算法为以下算法中的任意一种：罚函数法、乘子法、投影梯度法、简约梯度法或约束变尺度法。3.根据权利要求1所述的方法，其特征在于，在所述基于所述训练函数，进行约束优化求解，得到所述神经网络的连接权重之前，所述方法还包括：依据所述训练函数的约束条件，确定约束优化求解所采用的求解算法。4.根据权利要求1所述的方法，其特征在于，所述基于所述训练函数，进行约束优化求解，得到所述神经网络的连接权重，包括：基于指示函数和一致性约束，对所述训练函数进行等价变换；利用交替方向乘子法ADMM，对等价变换后的训练函数进行分解；针对分解后得到的每一个子问题，求解所述神经网络的连接权重。5.根据权利要求4所述的方法，其特征在于，所述基于指示函数和一致性约束，对所述训练函数进行等价变换，包括：对所述训练函数进行解耦合。6.根据权利要求4所述的方法，其特征在于，所述针对分解后得到的每一个子问题，求解所述神经网络的连接权重，包括：对分解后得到的子问题进行迭代计算，以获得所述神经网络的连接权重。7.一种神经网络处理装置，其特征在于，所述装置包括：构建模块，用于构建针对神经网络的带有约束条件的训练函数；求解模块，用于基于所述训练函数，进行约束优...

【专利技术属性】
技术研发人员：冷聪，李昊，窦则圣，朱胜火，金榕，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY