深度神经网络及其处理方法、装置和设备制造方法及图纸

本发明专利技术提供了一种深度神经网络及其处理方法、装置和设备，包括：获取神经网络的第一目标计算层的多个输入数据；第一目标计算层为深度神经网络所包含的依次连接的多个计算层中除前两个计算层之外的其他计算层，多个输入数据为深度神经网络中位于第一目标计算层之前且与第一目标计算层相连接的多个计算层的计算结果，输入数据的位宽不超过预设位宽；通过位操作对多个输入数据进行位运算，得到位运算结果，并将位运算结果作为第一目标计算层的输入数据进行处理。本发明专利技术缓解了现有的神经网络在对多个输入进行加法或者乘法等运算时，由于运算过程相对较为复杂导致神经网络的计算效率较低的技术问题。

【技术实现步骤摘要】
深度神经网络及其处理方法、装置和设备
本专利技术涉及人工智能
，尤其是涉及一种深度神经网络及其处理方法、装置和设备。
技术介绍
随着人工智能技术的快速发展，神经网络在图像、语音以及文字等具有海量数据的领域已经有了广泛而成功的应用。如图1所示，传统的神经网络是由多组卷积层和非线性单元层逐层叠加而成的，例如，图1所示的神经网络包括三个处理层，分别是卷积1和非线性处理层1，以及卷积2和非线性处理层2，以及卷积3和非线性处理层3。图1中非线性处理层对卷积层的处理结果进行非线性化。在低位宽神经网络中，非线性处理层一般采用的是离散定点化层，低位宽神经网络的每一层的输出会被离散定点化为数种固定的取值之一，而不再是浮点数。在通过该神经网络进行相关运算时，例如，加法运算和/或乘运算时，都会用到相应的加法器或者乘法器来进行计算。但是，通过加法器或者乘法器来进行相应的计算时，会影响神经网络的计算效率，从而影响低位宽神经网络的性能。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种深度神经网络及其处理方法、装置和设备，以缓解了现有的神经网络在对多个输入进行加法或者乘法等运算时，由于运算过程相对较为复杂导致神经网络的计算效率较低的技术问题。第一方面，本专利技术实施例提供了一种深度神经网络，包括：多个依次连接的计算层，每个所述计算层包括卷积层和非线性处理层，且多个所述计算层中第一计算层和第二计算层之间通过短路边相连接，所述第一计算层为所述多个依次连接的计算层中除前两个计算层之外的其他计算层，所述第二计算层为所述第一计算层之前与所述第一计算层通过短路边相连接的计算层；在所述第一计算层的起始位置处，还包括位操作处理层；所述位操作处理层用于对所述第二计算层的输出数据和所述第一计算层的前一个计算层的输出数据进行位运算。进一步地，所述非线性处理层为离散定点化处理层，其中，所述位操作处理层用于对所述第二计算层中离散定点化处理层的输出数据和所述第一计算层的前一个计算层中离散定点化处理层的输出数据进行位运算。第二方面，本专利技术实施例提供了一种深度神经网络的处理方法，包括：获取神经网络中第一目标计算层的多个输入数据；其中，所述第一目标计算层为上述所述的深度神经网络所包含的依次连接的多个计算层中除前两个计算层之外的其他计算层，所述多个输入数据为所述深度神经网络中位于所述第一目标计算层之前且与所述第一目标计算层相连接的多个计算层的计算结果，所述输入数据的位宽不超过预设位宽；通过位操作对所述多个输入数据进行位运算，得到位运算结果，并将所述位运算结果作为所述第一目标计算层的输入数据进行处理。进一步地，获取神经网络的第一目标计算层的多个输入数据包括：确定多个第二目标计算层，其中，所述第二目标计算层为所述第一目标计算层的前一个计算层和通过短路边与所述第一目标计算层相连接的计算层；确定所述多个第二目标计算层的计算结果为所述第一目标计算层的所述多个输入数据。进一步地，确定多个第二目标计算层包括：当所述深度神经网络中包含依次连接的多个计算层的数量为2N时，确定所述神经网络中第i-2n-1个计算层为所述第一目标计算层Ai的多个第二目标计算层，其中，第i-1个计算层为所述第一目标计算层Ai的前一个计算层，剩余计算层为通过短路边与所述第一目标计算层相连接的计算层，i-2n-1和n均为正整数，且n依次取1至N。进一步地，所述计算结果为离散定点化处理之后的计算结果，通过位操作对所述多个输入数据进行位运算，得到位运算结果包括：通过所述位操作对所述离散定点化处理之后的计算结果进行位运算，得到所述位运算结果。进一步地，当在处理器中对所述深度神经网络的第一目标计算层进行数据计算时，所述方法还包括：在所述处理器所对应的集成电路中，按照所述第一目标计算层的计算逻辑为所述第一目标计算层分配逻辑计算电路，以使所述逻辑计算电路对所述多个输入数据进行相应的位运算。进一步地，所述方法还包括：获取原始深度神经网络；在所述原始深度神经网络中计算层的数量为2N时，在第i个计算层和第i-2k-1个计算层之间依次构建短路边，其中，i为大于2的正整数，i-2k-1和n均为正整数，且k依次取2至N；在所述第i个计算层的卷积层之前，构建位操作处理层，并将构建之后的原始深度神经网络作为所述深度神经网络。第三方面，本专利技术实施例提供了一种深度神经网络的处理装置，包括：获取单元，用于获取神经网络中第一目标计算层的多个输入数据，其中，所述第一目标计算层为上述所述的深度神经网络所包含的依次连接的多个计算层中除前两个计算层之外的其他计算层，所述多个输入数据为所述深度神经网络中位于所述第一目标计算层之前且与所述第一目标计算层相连接的多个计算层的计算结果，所述输入数据的位宽不超过预设位宽；位运算单元，用于通过位操作对所述多个输入数据进行位运算，得到位运算结果，并将所述位运算结果作为所述第一目标计算层的输入数据进行处理。第四方面，本专利技术实施例提供了一种深度神经网络的处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法的步骤。第五方面，本专利技术实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述所述的方法的步骤。在本专利技术实施例中，当第一目标计算层的输入数据为多个时，通过位操作来代替传统的加法运算或者乘法运算来对多个输入数据进行位运算的方式，能够简化运算过程，提高神经网络的运算效率，进而缓解了现有的神经网络在对多个输入进行加法或者乘法等运算时，由于运算过程相对较为复杂导致神经网络的计算效率较低的技术问题。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是现有技术的一种深度神经网络的结构示意图；图2是根据本专利技术实施例的一种电子设备的结构示意图；图3是根据本专利技术实施例的一种基于短路边的深度神经网络的结构示意图；图4是根据本专利技术实施例的一种可选的深度神经网络的结构示意图；图5是根据本专利技术实施例的另一种可选的深度神经网络的结构示意图；图6是根据本专利技术实施例的一种深度神经网络的处理方法的流程图；图7是根据本专利技术实施例的一种深度神经网络的处理装置的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。首先，参照图2来描述用于实现本专利技术实施例的电子设备100，该电子设备可本文档来自技高网...

【技术保护点】
1.一种深度神经网络，其特征在于，包括：多个依次连接的计算层，每个所述计算层包括卷积层和非线性处理层，且多个所述计算层中第一计算层和第二计算层之间通过短路边相连接，所述第一计算层为所述多个依次连接的计算层中除前两个计算层之外的其他计算层，所述第二计算层为所述第一计算层之前与所述第一计算层通过短路边相连接的计算层；在所述第一计算层的起始位置处，还包括位操作处理层；所述位操作处理层用于对所述第二计算层的输出数据和所述第一计算层的前一个计算层的输出数据进行位运算。

【技术特征摘要】
1.一种深度神经网络，其特征在于，包括：多个依次连接的计算层，每个所述计算层包括卷积层和非线性处理层，且多个所述计算层中第一计算层和第二计算层之间通过短路边相连接，所述第一计算层为所述多个依次连接的计算层中除前两个计算层之外的其他计算层，所述第二计算层为所述第一计算层之前与所述第一计算层通过短路边相连接的计算层；在所述第一计算层的起始位置处，还包括位操作处理层；所述位操作处理层用于对所述第二计算层的输出数据和所述第一计算层的前一个计算层的输出数据进行位运算。2.根据权利要求1所述的深度神经网络，其特征在于，所述非线性处理层为离散定点化处理层，其中，所述位操作处理层用于对所述第二计算层中离散定点化处理层的输出数据和所述第一计算层的前一个计算层中离散定点化处理层的输出数据进行位运算。3.一种深度神经网络的处理方法，其特征在于，包括：获取神经网络的第一目标计算层的多个输入数据；其中，所述第一目标计算层为上述权利要求1或2所述的深度神经网络所包含的依次连接的多个计算层中除前两个计算层之外的其他计算层，所述多个输入数据为所述深度神经网络中位于所述第一目标计算层之前且与所述第一目标计算层相连接的多个计算层的计算结果，所述输入数据的位宽不超过预设位宽；通过位操作对所述多个输入数据进行位运算，得到位运算结果，并将所述位运算结果作为所述第一目标计算层的输入数据进行处理。4.根据权利要求3所述的方法，其特征在于，获取神经网络的第一目标计算层的多个输入数据包括：确定多个第二目标计算层，其中，所述第二目标计算层为所述第一目标计算层的前一个计算层和通过短路边与所述第一目标计算层相连接的计算层；确定所述多个第二目标计算层的计算结果为所述第一目标计算层的所述多个输入数据。5.根据权利要求4所述的方法，其特征在于，确定多个第二目标计算层包括：当所述深度神经网络中包含依次连接的多个计算层的数量为2N时，确定所述神经网络中第i-2n-1个计算层为所述第一目标计算层Ai的多个第二目标计算层，其中，第i-1个计算层为所述第一目标计算层Ai的前一个计算层，剩余计算层为通过短路边与所述第一目标计...

【专利技术属性】
技术研发人员：杨弋，周舒畅，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11