用于电子装置的激活函数功能块制造方法及图纸

一种电子装置具有实现激活函数的激活函数功能块。在操作期间，所述激活函数功能块接收到输入，所述输入包括表示数值的多个位。所述激活函数功能块随后从多个范围确定所述输入落入的范围，每个范围包括所述输入的可能数值的单独部分。所述激活函数功能块接下来生成与所述范围相关联的线性函数的结果。生成所述结果包括使用与所述多个范围中的每个范围相关联的单独线性函数以近似在所述范围内的所述激活函数的结果。

【技术实现步骤摘要】
【国外来华专利技术】用于电子装置的激活函数功能块
技术介绍
相关技术一些电子装置使用神经网络(或“人工神经网络”)来执行对应的计算操作。通常，神经网络是一种系统，其包括与生物神经网络(诸如在活生物的大脑中的那些)具有相似性的内部基元，其可以“学习”或进行训练以执行操作。通过使用已知信息来训练和设置神经网络的内部基元来训练神经网络以执行操作，使得神经网络随后可以对未知信息执行操作。例如，可以通过使用已知包括人脸图像的数字图像来训练神经网络的内部结构以当随后分析未知数字图像时适当地做出反应—即，识别包括人脸图像的数字图像来训练神经网络以辨认数字图像是否包括人脸图像。神经网络包括一组人工神经元或“节点”，其以类似于活生物的大脑中神经元经由突触互连的方式的布置彼此互连。神经网络可以可视化为有向且加权图结构的形式，其具有输入节点、中间节点和输出节点，除输出节点外，每个节点经由具有关联权重的有向边与一个或多个其他节点(或“下游”节点)连接。如这里所使用的，“有向边”是至少两个节点之间的逻辑或实际互连，在其上，信息在指定的方向上(例如，从上游节点到下游节点)传播。输入节点从神经网络外部的源接收输入，并且处理接收到的输入以产生输入值(例如，数值)。随后将输入值从输入节点转发到下游中间节点，可能会根据对应有向边的权重沿着路线进行加权(即，诸如通过乘以权重值、与权重值相加等来进行调整)。在每个中间节点内，对接收到的值求和，然后使用与中间节点相关联的激活函数进行处理，以产生用于中间节点的结果值。随后将结果值从中间节点转发到下游中间节点或输出节点，可能会根据对应有向边的权重沿着路线进行加权。神经网络通常包括多个层(可能很多层)的中间节点，每一层的中间节点接收输入值并且将生成的结果转发到另一层中的中间节点或转发到输出节点。当可能加权的结果值最终从最后一层的中间节点转发到输出节点时，输出节点处理结果值以生成用于神经网络的输出。继续上面的图像处理示例，来自输出节点的输出采用指示对象数字图像是否包括人脸图像的形式。如上所述，权重被应用于沿着神经网络中的节点之间的对应边转发的值，并且中间节点使用相应的激活函数来处理求和的接收值。通过调整/设置与边相关联的权重使得由神经网络生成期望的输出，可以训练神经网络以产生预期的结果，诸如正确识别数字图像中的人脸。相比其他技术，电子装置可能够使用神经网络更容易地执行某些操作。然而，神经网络可能是计算密集型的且很慢才能产生结果，特别是当神经网络中的层数增加时。例如，使用现有的软件技术来执行激活函数可能需要执行多个子操作。当必须为对应数量的中间节点执行数十个或数百个激活函数时，子操作的数量可能非常大并且可能需要大量时间来进行处理。附图说明图1呈现了示出根据一些实施方案的电子装置的框图。图2呈现了根据一些实施方案的修正线性单元(ReLU)激活函数的结果和ReLU激活函数的近似的硬件电路实现方式的图。图3呈现了根据一些实施方案的泄露ReLU激活函数的结果和泄露ReLU激活函数的近似的硬件电路实现方式的图。图4呈现了根据一些实施方案的指数线性单元(ELU)激活函数的结果、ELU激活函数的近似和ELU激活函数的近似的硬件电路实现方式的图。图5呈现了根据一些实施方案的ELU激活函数的结果、ELU激活函数的近似和ELU激活函数的近似的硬件电路实现方式的图。图6呈现了示出根据一些实施方案的用于生成激活函数的结果的过程的流程图。在整个附图和描述中，相同附图标记指代相同的附图元件。具体实施方式呈现以下描述以使本领域的任何技术人员能够制造和使用所描述的实施方案，并且以下描述是在特定应用及其要求的背景下提供的。对所描述的实施方案的各种修改对于本领域的技术人员而言将是显而易见的，并且本文中定义的一般原理可以应用于其他实施方案和应用。因此，所描述的实施方案不限于所示的实施方案，而是要被赋予与本文公开的原理和特征一致的最宽范围。综述所描述的实施方案包括具有执行处理操作的处理电路的电子装置。处理电路包括激活函数功能块，其具有实现诸如用于神经网络和其他处理操作的那些的激活函数的专用硬件电路。换句话说，激活函数功能块包括特定用途的电路元件，其基于接收的输入生成用于激活函数的结果。在所描述的实施方案中，激活函数功能块中的硬件电路被配置为基于对应的线性函数在两个或更多个数值范围上近似用于激活函数的结果。因此，硬件电路被配置为使得对于多个单独数值范围中的每一个而言，给定在该范围中的输入，硬件电路则生成与该范围相关联的线性函数的结果，其中结果是在该范围中的激活函数的结果的近似值。在硬件电路中实现的激活函数可以包括可以使用线性函数近似结果的任何激活函数。例如，可以在硬件电路中实现修正线性单元(ReLU)激活函数(并且在下面更详细地描述了其他激活函数)。在ReLU激活函数的情况下，上述范围包括与ReLU激活函数返回相似类型结果的范围相对应的两个范围。更具体地，两个范围包括用于0和所有正输入值的第一范围，以及包括负输入值的第二范围。对于第一范围而言，硬件电路生成等于输入值的结果，即线性函数y＝x；对于第二范围而言，硬件电路生成为0的结果，即常数线性函数y＝0。因此，硬件电路在给定为3的输入的情况下生成为3的结果，并且在给定为-2的输入的情况下，生成为0的结果。在所述的实施方案中，硬件电路包括使硬件电路生成与针对给定输入的适当范围相关联的结果的电路元件。换句话说，电路元件负责确定给定的输入值落入的范围，并且使硬件电路对该范围生成结果。在一些实施方案中，电路元件仅基于输入内的比特的子集(即，包括少于输入的所有比特的输入的比特的一些组合)来确定范围。例如，硬件电路可以仅使用来自输入的符号位来确定输入值是负数还是正数(为简单起见，在本描述中假定零为正数)。作为另一个示例，符号位和具有表示数值的整数和分数部分的输入的整数部分中的一些或全部可以用于确定输入值是否在-1和1之间。通过以硬件实现激活函数，与现有技术，特别是其中使用通用处理电路来计算用于激活函数的结果的那些相比，所述实施方案显著地提高了评估激活函数的速度。通过使用线性函数来近似在输入值的对应范围中的激活函数的结果，硬件电路更加简单。通过仅使用比特的子集来确定适当的范围，硬件电路仅需要处理少量的比特，而不需要执行更复杂的比较操作。总而言之，通过使用本文所述的硬件电路来实现激活函数，取决于激活函数的操作，诸如神经网络处理和其他操作，可以更快地执行、用更少的电力以及处理电路的更小的面积和复杂性，这提高了处理电路和使用处理电路的电子装置的设计、制造和操作。电子装置图1呈现了示出根据一些实施方案的电子装置100的框图。如图1中可以看出，电子装置100包括处理电路102。处理电路102包括被配置为执行处理操作的一个或多个电子电路(例如，集成电路、分立电路元件等)，诸如微处理器中的处理器核或处理管线、通用图形处理单元(GPGPU)中的计算单元、专用集成电路(ASIC)中的处理电路等。通常，处理电路102以硬件实现，即使本文档来自技高网...

【技术保护点】
1.一种电子装置，其包括：/n实现指定激活函数的激活函数功能块，所述激活函数功能块被配置为：/n接收输入，所述输入包括表示数值的多个位；/n从多个范围确定所述输入落入的范围，每个范围包括所述输入的可能数值的单独部分；并且/n生成与所述范围相关联的线性函数的结果。/n

【技术特征摘要】
【国外来华专利技术】20171208 US 15/836,0801.一种电子装置，其包括：
实现指定激活函数的激活函数功能块，所述激活函数功能块被配置为：
接收输入，所述输入包括表示数值的多个位；
从多个范围确定所述输入落入的范围，每个范围包括所述输入的可能数值的单独部分；并且
生成与所述范围相关联的线性函数的结果。


2.如权利要求1所述的电子装置，其中所述激活函数功能块还被配置为仅基于来自所述输入的所述位的子集来确定所述范围，所述位的所述子集包括以下中的至少一者：
所述输入的符号位；以及
所述输入的整数部分中的一些或全部。


3.如权利要求1所述的电子装置，其中生成所述结果包括使用与所述多个范围中的每个范围相关联的单独线性函数以近似在所述范围内的所述指定激活函数的结果。


4.如权利要求3所述的电子装置，其中所述指定激活函数是修正线性单元函数，并且其中：
第一线性函数与包括负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为0的常数结果；并且
第二线性函数与包括0和正值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果。


5.如权利要求3所述的电子装置，其中所述指定激活函数是泄露修正线性单元函数，并且其中：
第一线性函数与包括负值的输入值的第一范围相关联，所述第一线性函数生成等于第二范围中移位给定量的对应输入值的结果；并且
第二线性函数与包括0和正值的输入值的所述第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果。


6.如权利要求5所述的电子装置，其中所述激活函数功能块还被配置为：
从在所述激活函数功能块外部的源接收对所述给定量的指示，所述第二范围中的输入值将移位所述给定量。


7.如权利要求3所述的电子装置，其中所述指定激活函数是指数线性单元函数，并且其中：
第一线性函数与包括负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为-α的常数结果，其中α是数值；并且
第二线性函数与包括0和正值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果。


8.如权利要求3所述的电子装置，其中所述指定激活函数是指数线性单元函数，并且其中：
第一线性函数与包括小于-1的负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为-α的常数结果，其中α是数值；
第二线性函数与包括-1和从0至-1的负值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值两倍的结果；并且
第三线性函数与包括0和正值的输入值的第三范围相关联，所述第三线性函数生成等于所述第三范围中的对应输入值的结果。


9.如权利要求3所述的电子装置，其中所述指定激活函数是双曲正切函数，并且其中：
第一线性函数与包括小于-1的负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为-1的常数结果；
第二线性函数与包括-1和1以及从1至-1的值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果；并且
第三线性函数与包括大于1的正值的输入值的第三范围相关联，所述第三线性函数对所述第三范围中的输入值生成为1的常数结果。


10.如权...

【专利技术属性】
技术研发人员：加布里埃尔·H·洛，
申请(专利权)人：超威半导体公司，
类型：发明
国别省市：美国;US