神经网络的处理方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了神经网络的处理方法、装置、电子设备和存储介质，涉及深度学习、语音技术等领域。具体实现方案为：根据神经网络的非线性激活函数的第一输入信息查询映射表，确定与第一输入信息匹配的目标输入信息，以及与目标输入信息对应的目标输出信息，并获取非线性激活函数的变化趋势特征，以根据目标输入信息、目标输出信息、第一输入信息，以及变化趋势特征，确定非线性激活函数中与第一输入信息对应的第一输出信息。由此，结合查表法，确定非线性激活函数中与输入信息对应的输出信息，可以降低计算的复杂度，从而提升非线性激活函数的计算效率。算效率。算效率。

【技术实现步骤摘要】
神经网络的处理方法、装置、电子设备和存储介质


[0001]本申请涉及深度学习、语音技术等AI(Artificial Intelligence，人工智能)领域，尤其涉及神经网络的处理方法、装置、电子设备和存储介质。

技术介绍

[0002]语音芯片和NPU(Network Processing Unit，神经网络单元)的设计中，包含大量的神经网络运算。为了提升神经网络的表达能力，可以通过激活函数增加神经网络的非线性。常见的非线性激活函数比如sigmoid函数和tanh函数是需要进行浮点的超越函数运算的。
[0003]目前使用标准浮点库进行上述非线性激活函数的计算，在计算过程中，由于需要计算超越函数，通常需要400
‑
1000个CPU(Central Processing Unit，中央处理器)时钟周期才能完成超越函数的运算。然而，神经网络中会用到大量的sigmoid函数和tanh函数，采用上述方式计算非线性激活函数，不仅需要占用大量的内存，而且计算效率较低。

技术实现思路

[0004]本申请提供了一种用于神经网络的处理方法、装置、电子设备和存储介质。
[0005]根据本申请的一方面，提供了一种神经网络的处理方法，包括：
[0006]获取神经网络的非线性激活函数的第一输入信息；
[0007]根据所述第一输入信息查询映射表，确定与所述第一输入信息匹配的目标输入信息，以及与所述目标输入信息对应的目标输出信息；
[0008]获取所述非线性激活函数的变化趋势特征；
[0009]根据所述目标输入信息、目标输出信息、所述第一输入信息，以及所述变化趋势特征，确定所述非线性激活函数中与所述第一输入信息对应的第一输出信息。
[0010]根据本申请的另一方面，提供了一种神经网络的处理装置，包括：
[0011]第一获取模块，用于获取神经网络的非线性激活函数的第一输入信息；
[0012]第一确定模块，用于根据所述第一输入信息查询映射表，确定与所述第一输入信息匹配的目标输入信息，以及与所述目标输入信息对应的目标输出信息；
[0013]第二获取模块，用于获取所述非线性激活函数的变化趋势特征；
[0014]第二确定模块，用于根据所述目标输入信息、目标输出信息、所述第一输入信息，以及所述变化趋势特征，确定所述非线性激活函数中与所述第一输入信息对应的第一输出信息。
[0015]根据本申请的又一方面，提供了一种电子设备，包括：
[0016]至少一个处理器；以及
[0017]与所述至少一个处理器通信连接的存储器；其中，
[0018]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请上述一方面提出的神经网络的处
理方法。
[0019]根据本申请的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请上述一方面提出的神经网络的处理方法。
[0020]根据本申请的还一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请上述一方面提出的神经网络的处理方法。
[0021]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0023]图1是本申请实施例一所提供的神经网络的处理方法的流程示意图；
[0024]图2为本申请实施例二所提供的神经网络的处理方法的流程示意图；
[0025]图3为本申请实施例三所提供的神经网络的处理方法的流程示意图；
[0026]图4为本申请实施例四所提供的神经网络的处理方法的流程示意图；
[0027]图5为本申请实施例五所提供的神经网络的处理装置的结构示意图；
[0028]图6示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。
具体实施方式
[0029]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]目前，可以通过以下两种方式，实现非线性激活函数的运算：
[0031]第一种方式，采用标准浮点库进行非线性激活函数的运算。
[0032]第二种方式，使用查表方法实现非线性激活函数的运算。
[0033]虽然第一种方式的计算结果的精度较高，但是，第一种方式的计算量较大，计算复杂度较大，不仅需要占用大量的内存，还影响计算效率。而第二种方式的计算精度较低，若想要提升计算精度，需要建立非常大的表项，即RAM(Random Access Memory，随机访问/存取存储器)，不适合在嵌入式系统中使用，即便在服务器中使用，内存消耗也非常大。
[0034]因此针对上述存在的问题，本申请提出一种神经网络的处理方法、装置、电子设备和存储介质。
[0035]下面参考附图描述本申请实施例的神经网络的处理方法、装置、电子设备和存储介质。
[0036]图1为本申请实施例一所提供的神经网络的处理方法的流程示意图。
[0037]本申请实施例以该神经网络的处理方法被配置于神经网络的处理装置中来举例说明，该神经网络的处理装置可以应用于任一电子设备中，以使该电子设备可以执行神经网络的处理功能。
[0038]其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(Personal Computer，简称PC)、移动终端、服务器等，移动终端例如可以为手机、平板电脑、个人数字助
理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
[0039]如图1所示，该神经网络的处理方法可以包括以下步骤：
[0040]步骤101，获取神经网络的非线性激活函数的第一输入信息。
[0041]在本申请实施例中，神经网络包括但不限于(Long Short Term Memory，长短期记忆网络)、GRU(General Regression Neural，广义回归神经)等神经网络。
[0042]在本申请实施例中，神经网络中的非线性激活函数可以包括但不限于sigmoid函数、tanh函数等激活函数。
[0043]其中，sigmoid函数的实现是：(1/(1+expf(
‑
x)))，即sigmoid函数的数学表达形式为：
[0044][0045]其中，tanh函数的实现是：(2*sigmoid(2*x)
‑
1)，即tanh函数的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的处理方法，包括：获取神经网络的非线性激活函数的第一输入信息；根据所述第一输入信息查询映射表，确定与所述第一输入信息匹配的目标输入信息，以及与所述目标输入信息对应的目标输出信息；获取所述非线性激活函数的变化趋势特征；根据所述目标输入信息、目标输出信息、所述第一输入信息，以及所述变化趋势特征，确定所述非线性激活函数中与所述第一输入信息对应的第一输出信息。2.根据权利要求1所述的方法，其中，所述根据所述目标输入信息、目标输出信息、所述第一输入信息，以及所述变化趋势特征，确定所述非线性激活函数中与所述第一输入信息对应的第一输出信息，包括：根据所述变化趋势特征，对所述非线性激活函数进行拟合，得到目标函数；根据所述目标输入信息、目标输出信息和所述第一输入信息，确定所述目标函数的第二输出信息；将所述目标函数的第二输出信息，作为所述非线性激活函数中与第一输入信息对应的第一输出信息。3.根据权利要求2所述的方法，其中，所述变化趋势特征包括第一变化趋势特征和第二变化趋势特征，其中，所述第二变化趋势特征为对所述第一变化趋势特征进行特征提取后得到的；所述根据所述变化趋势特征，对所述非线性激活函数进行拟合，得到目标函数，包括：确定与所述第一输入信息的差异处于预设范围内的第二输入信息；根据所述非线性激活函数中与所述第二输入信息对应的第三输出信息，确定所述目标函数的第一项；根据所述第二输入信息和所述第一变化趋势特征，确定第一中间信息；根据所述第一输入信息与所述第二输入信息的差异，以及根据所述第一中间信息，确定所述目标函数的第二项；根据所述第二输入信息和所述第二变化趋势特征，确定第二中间信息；根据所述第一输入信息与所述第二输入信息的差异，以及根据所述第二中间信息，确定所述目标函数的第三项；根据所述第一项、所述第二项和所述第三项，确定所述目标函数。4.根据权利要求3所述的方法，其中，所述根据所述目标输入信息、目标输出信息和所述第一输入信息，确定所述目标函数的第二输出信息，包括：将所述目标输入信息作为所述目标函数中的所述第二输入信息；将所述目标输出信息作为所述非线性激活函数中与所述第二输入信息对应的第三输出信息；分别将所述目标输入信息、目标输出信息和所述第一输入信息，代入所述目标函数，得到所述目标函数的第二输出信息。5.根据权利要求2所述的方法，其中，所述根据所述目标输入信息、目标输出信息和所述第一输入信息，确定所述目标函数的第二输出信息之前，所述方法还包括：将浮点型的所述目标输出信息转化为整型的所述目标输出信息。
6.根据权利要求5所述的方法，其中，所述根据所述目标输入信息、目标输出信息和所述第一输入信息，确定所述目标函数的第二输出信息之后，所述方法还包括：将整型的所述目标函数的第二输出信息转化为浮点型的所述第二输出信息。7.根据权利要求1所述的方法，其中，所述映射表中存储处于设定取值范围内的设定个数的输入信息，与所述非线性激活函数中对应的输出信息之间的对应关系，所述根据所述第一输入信息查询映射表，确定与所述第一输入信息匹配的目标输入信息，以及与所述目标输入信息对应的目标输出信息之前，所述方法还包括：确定所述第一输入信息处于所述设定取值范围内。8.根据权利要求7所述的方法，其中，所述设定取值范围为0至设定取值，所述方法还包括：在所述第一输入信息大于所述设定取值的情况下，确定浮点型的所述第一输出信息为1。9.一种神经网络的处理装置，包括：第一获取模块，用于获取神经网络的非线性激活函数的第一输入信息；第一确定模块，用于根据所述第一输入信息...

【专利技术属性】
技术研发人员：田超，贾磊，纪纲，严小平，李强，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：