【技术实现步骤摘要】
【国外来华专利技术】
本公开的实施例涉及一种用于提高神经网络的有效精度的方法和装置，并且更具体地，涉及一种用于通过扩展神经网络的架构来提高神经网络的有效精度的方法和装置。
技术介绍
1、在本部分中描述的内容简单地提供了关于本公开的背景信息，并且不构成现有技术。
2、神经网络是通过模仿人类神经元的结构而创建的机器学习模型。神经网络由一层或多层组成，每层的输出数据用作下一层的输入。最近，已经对由多层组成的深度神经网络的利用进行了深入的研究，并且深度神经网络在诸如语音识别、自然语言处理和病变诊断的各种领域中在提高识别性能方面发挥重要作用。
3、在神经网络的架构中，神经网络由一个或多个层组成，并且每层包括人工神经元。一层中的人工神经元通过权重连接到其它层中的人工神经元。人工神经元处理通过权重从先前层的人工神经元的输出接收的数据，并且将处理的数据传送到其他人工神经元。人工神经元还可通过权重向接收到的数据施加偏置(bias)。当神经网络基于给定的训练数据集被训练时，确定权重和偏置。也就是说，训练的神经网络具有有效的权重和偏置。此后，训练的神经网络使用确定的权重和偏置执行给定输入的任务。
4、通常，在训练的神经网络中的权重和偏置具有固定值。另外，权重和偏置具有固定的值。例如，如果神经网络以32位浮点数(fp32)训练，则权重和偏置以32位浮点数表示。
5、然而，如果权重和偏置具有固定的精度，则每个人工神经元难以执行要求比固定精度更高的精度的操作。
6、具体地，当人工神经元执行使用裁剪函数来限制输出范围的操
7、因此，需要研究使得一些人工神经元能够以比固定精度更高的精度执行操作，即使神经网络中的人工神经元的精度是固定的。
8、本公开
9、技术问题
10、本专利技术实施例的主要目的在于提供一种用于通过将神经网络中的目标神经元替换为多个神经元并设置所替换的神经元的参数来提高神经元的有效精度的方法和装置。
11、本公开的其他实施例的目的是提供一种用于通过允许所替换的神经元根据从提供给目标神经元的裁剪范围划分的分段范围执行裁剪以在所提供的裁剪范围内以高精度计算激活来提高神经元的有效精度的方法和装置。
12、本公开的其他实施例的目的是提供一种用于通过允许所替换的神经元在比提供给目标神经元的裁剪范围更宽的范围内裁剪激活来提高神经元的有效精度的方法和装置。
13、技术方案
14、根据本公开的一个方面，提供了一种用于扩展神经网络的架构的计算机实现的方法，该方法包括从包括在神经网络中的神经元中选择目标产生器(producer)神经元，目标产生器神经元输出根据给定的裁剪范围裁剪的激活；将给定的裁剪范围划分为多个分段；用与所述分段对应的多个产生器神经元替换所述目标产生器神经元；设置每个产生器神经元的参数，使得每个产生器神经元处理所述目标产生器神经元的输入；以及设置被连接到所述目标产生器神经元的消耗器(consumer)神经元的参数，使得所述消耗器神经元处理所述多个产生器神经元的输出。
15、根据本公开的另一方面，提供了一种计算设备，该计算设备包括其中存储指令的存储器；以及至少一个处理器，其中，所述至少一个处理器被配置为通过执行所述指令：从包括在神经网络中的神经元中选择目标产生器神经元，所述目标产生器神经元输出根据给定的裁剪范围裁剪的激活；将所述给定的裁剪范围划分为多个分段；用与所述分段相对应的多个产生器神经元替换所述目标产生器神经元；设置每个产生器神经元的参数，使得每个产生器神经元处理所述目标产生器神经元的输入；以及设置被连接到所述目标产生器神经元的消耗器神经元的参数，使得所述消耗器神经元处理所述多个产生器神经元的输出。
16、根据本公开的另一方面，提供了一种存储指令的计算机可读记录介质，所述指令在由计算机执行时使所述计算机执行以下过程：从包括在所述神经网络中的神经元中选择目标产生器神经元，所述目标产生器神经元输出根据给定的裁剪范围裁剪的激活；将给定的裁剪范围划分为多个分段；用与所述分段对应的多个产生器神经元替换所述目标产生器神经元；设置每个产生器神经元的参数，使得每个产生器神经元处理所述目标产生器神经元的输入；以及设置被连接到所述目标产生器神经元的消耗器神经元的参数，使得所述消耗器神经元处理所述多个产生器神经元的输出。
17、有益效果
18、如上所述，根据本公开的实施例，可以通过用多个神经元替换神经网络中的目标神经元并设置替换的神经元的参数来提高神经元的有效精度
19、根据本公开的其他实施例，可以通过允许被替换的神经元根据从提供给目标神经元的裁剪范围划分的分段范围执行裁剪，以在所提供的裁剪范围内以高精度计算激活，来提高神经元的有效精度。
20、根据本公开的其他实施例，可以通过允许被替换的神经元在比提供给目标神经元的裁剪范围更宽的范围内裁剪激活来提高神经元的有效精度。
技术实现思路
本文档来自技高网...【技术保护点】
1.一种用于扩展神经网络的架构的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中每个产生器神经元输出根据所述多个分段中的对应分段的范围裁剪的激活。
3.根据权利要求1所述的方法，其中由所述多个产生器神经元输出的多个输出的激活具有与由所述目标产生器神经元输出的所述裁剪的激活的精度相同的精度。
4.根据权利要求1所述的方法，还包括将所述多个分段转换成具有与所述给定的裁剪范围相同的尺寸且不重叠的分段。
5.根据权利要求1所述的方法，其中所述多个分段中的至少两者具有不同的尺寸。
6.根据权利要求1所述的方法，还包括考虑每个产生器神经元的计算范围来调整每个分段的所述范围。
7.根据权利要求6所述的方法，其中每个产生器神经元的参数的所述设置包括：基于与每个产生器神经元相对应的所述分段的所述范围和所调整的所述分段的范围来设置每个产生器神经元的参数，以及
8.根据权利要求1所述的方法，其中每个产生器神经元使用与所述目标产生器神经元的参数相同的参数来处理所述输入，并且所述消耗器神经元使用与应用于
9.一种计算设备，包括：
10.一种计算机可读记录介质，记录用于执行权利要求1至8中任一项所述的方法的计算机程序。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于扩展神经网络的架构的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的方法，其中每个产生器神经元输出根据所述多个分段中的对应分段的范围裁剪的激活。
3.根据权利要求1所述的方法，其中由所述多个产生器神经元输出的多个输出的激活具有与由所述目标产生器神经元输出的所述裁剪的激活的精度相同的精度。
4.根据权利要求1所述的方法，还包括将所述多个分段转换成具有与所述给定的裁剪范围相同的尺寸且不重叠的分段。
5.根据权利要求1所述的方法，其中所述多个分段中的至少两者具有不同的尺寸。
6.根据权利要求1所述的方法，还包括考虑每个产生器神经元的计算范围...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。