双向RNN的数字格式选择制造技术

双向RNN的数字格式选择。选择数字格式的计算机实施方法，数字格式用于配置BRNN硬件实施以对输入序列进行运算，方法包括：接收BRNN的表示；将输入张量序列上的BRNN的表示实施为测试神经网络，测试神经网络的每一步长都用于对a)序列的输入张量、b)关于序列的后续输入张量生成的对应后向状态张量，c)关于序列的先前输入张量生成的对应前向状态张量进行运算，测试神经网络包括：前向递归神经网络，用于对序列的输入张量上的前向状态张量进行运算；后向递归神经网络，用于对序列的输入张量上的后向状态张量进行运算；对输入张量序列操作测试神经网络，收集统计数据以提供给数字格式选择算法；将数字格式选择算法应用于统计数据。将数字格式选择算法应用于统计数据。将数字格式选择算法应用于统计数据。

【技术实现步骤摘要】
双向RNN的数字格式选择


[0001]本公开涉及用于选择在配置双向递归神经网络的硬件实施时使用的数字格式的计算机实施方法和数据处理系统。

技术介绍

[0002]双向递归神经网络(BRNN)是一种用于对输入序列进行运算的人工神经网络。常规BRNN包括可以独立执行的前向和后向层。因此，前向层和后向层可以并行执行。在前向层中，在处理序列中的输入期间生成的前向状态被提供用于处理序列中的一个或多个后续输入。在后向层中，在处理序列中的输入期间生成的后向状态被提供用于处理序列中的一个或多个先前输入。因此，关于序列的给定输入，BRNN的输出不仅受网络输入的影响，还受序列中先前和未来点处执行的处理的影响。
[0003]BRNN可以用于机器学习应用。特别地，BRNN可以应用于表示时间系列的输入序列。例如，BRNN用于语音辨识、机器翻译和手写辨识。

技术实现思路

[0004]提供本
技术实现思路
是为了介绍在以下详细描述中进一步描述的一些概念。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
[0005]提供了一种选择数字格式的计算机实施方法，所述数字格式用于配置双向递归神经网络(BRNN)的硬件实施以对输入序列进行运算，所述方法包括：
[0006]接收所述BRNN的表示；
[0007]将所述BRNN实施为等效于输入张量序列上的所述BRNN的测试神经网络，所述测试神经网络的每一步长都用于对(a)所述序列的输入张量、(b)关于所述序列的后续输入张量生成的对应后向状态张量，以及(c)关于所述序列的先前输入张量生成的对应前向状态张量进行运算，所述测试神经网络包括：
[0008]前向递归神经网络(RNN)，所述前向递归神经网络用于对所述序列的所述输入张量上的所述前向状态张量进行运算；和
[0009]后向递归神经网络(RNN)，所述后向递归神经网络用于对所述序列的所述输入张量上的所述后向状态张量进行运算；
[0010]对所述输入张量序列操作所述测试神经网络，并且收集统计数据以提供给数字格式选择算法；以及
[0011]将数字格式选择算法应用于所述统计数据，以便导出用于所述测试神经网络的一个或多个所选择的张量的多个实例的公共数字格式。
[0012]所述方法可进一步包括使用用于所述一个或多个所选择的张量的所述公共数字格式来配置所述BRNN的硬件实施。
[0013]所述方法可进一步包括在所述BRNN的硬件实施中使用用于所述一个或多个所选
择的张量的所述公共数字格式。
[0014]所述BRNN可以是并行BRNN或顺序BRNN。
[0015]所述测试神经网络可以被配置为使得所述前向RNN和所述后向RNN独立地对每一输入张量进行运算，所述前向RNN的每一步长用于对所述序列的输入张量和其对应前向状态张量进行运算，并且所述后向RNN的每一步长用于对所述序列的输入张量和其对应后向状态张量进行运算。
[0016]所述前向RNN的每一步长可以用于对所述序列的输入张量和其对应前向状态张量进行运算，并且所述后向RNN的每一步长可以用于对对应后向状态张量进行运算，并且所述前向RNN的对应步长的输出张量对所述序列的所述输入张量进行运算。
[0017]所述后向RNN的每一步长可以用于对所述序列的输入张量和其对应后向状态张量进行运算，并且所述前向RNN的每一步长可以用于对对应前向状态张量进行运算，并且所述后向RNN的对应步长的输出对所述序列的所述输入张量进行运算。
[0018]所述测试神经网络可以包括多个步长，每一步长用于对所述序列的不同输入张量进行运算。
[0019]所述应用所述格式选择算法可以包括将所述数字格式选择算法应用于在所有所述多个步长上捕获的所述统计数据，所述公共数字格式由所述数字格式选择算法输出。
[0020]所述前向RNN可以被配置为生成一组前向输出张量，并且所述后向RNN可以被配置为生成一组后向输出张量，并且所述一个或多个所选择的张量包括所述前向输出张量和所述后向输出张量两者。
[0021]所述公共数字格式可以是由一个或多个可配置参数定义的块可配置数字格式。
[0022]数字格式选择算法可以被配置为标识预定义类型的块可配置数字格式的块可配置数字格式。
[0023]应用数字格式选择算法可以包括：
[0024]独立地识别用于所述测试神经网络中的所述一个或多个所选择的张量的每个实例的数字格式；和
[0025]组合所述一个或多个所选择的张量的所述多个实例的所述数字格式，以便导出用于所述一个或多个所选择的张量的所述多个实例的公共数字格式。
[0026]所述数字格式选择算法被配置为识别由用于所述一个或多个所选择的张量的每个实例的一个或多个可配置参数定义的块可配置数字格式。
[0027]所述组合可以包括独立地组合针对所述一个或多个所选择的张量的每个实例所识别的所述块可配置数字格式的所述一个或多个可配置参数中的每一个可配置参数，以便定义用于所述公共数字格式的所述一个或多个可配置参数。
[0028]独立地组合块可配置数字格式的一个或多个可配置参数中的每一个可配置参数可以包括针对一个或多个可配置参数中的每一个可配置参数确定中值、最小值、最大值或平均值，以用作公共数字格式的相应的可配置参数。
[0029]块可配置数字格式可以包括尾数和指数，并且一个或多个可配置参数包括指数值和尾数的位深度中的一个或多个。
[0030]组合一个或多个所选择的张量的多个实例的数字格式可以包括确定所选择的张量的多个实例的数字格式的中值、平均值、最小值或最大值。
[0031]操作所述测试神经网络是用浮点数格式的所述一个或多个所选择的张量的每个实例来执行的。
[0032]将数字格式选择算法应用于统计数据可以与收集那些统计数据同时执行或者在随后执行。
[0033]一个或多个所选择的张量可以包括多个值，并且统计数据可以包括以下各项中的一者或多者：多个值中的至少一些值的平均值；多个值中的至少一些值的方差；多个值中的至少一些值的最小值或最大值；汇总多个值中的至少一些值的一个或多个直方图；以及相对于测试神经网络的输出或基于测试神经网络的输出在多个值中的至少一些值上的误差度量计算的梯度。
[0034]将所述BRNN实施为测试神经网络可以包括通过以下操作将所述BRNN的所述表示变换成所述前向RNN和所述后向RNN：
[0035]将根据关于所述序列的先前输入生成的前向状态执行的所述BRNN的运算分组在一起，以便形成所述前向RNN；
[0036]将根据关于所述序列的后续输入生成的后向状态执行的所述BRNN的运算分组在一起，以便形成所述后向RNN；以及
[0037]在所述输入张量序列上展开所述前向RNN和所述后向RNN。
[0038]测试神经网络可以具有一个或多个前向和后向状态张量输入，并且所述实施可以包括根据一组预定义的初始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种选择数字格式的计算机实施方法，所述数字格式用于配置双向递归神经网络(BRNN)的硬件实施以对输入序列进行运算，所述方法包括：接收所述BRNN的表示；将输入张量序列上的所述BRNN的所述表示实施为测试神经网络，所述测试神经网络的每一步长都用于对(a)所述序列的输入张量、(b)关于所述序列的后续输入张量生成的对应后向状态张量，以及(c)关于所述序列的先前输入张量生成的对应前向状态张量进行运算，所述测试神经网络包括：前向递归神经网络(RNN)，所述前向递归神经网络用于对所述序列的所述输入张量上的所述前向状态张量进行运算；和后向递归神经网络(RNN)，所述后向递归神经网络用于对所述序列的所述输入张量上的所述后向状态张量进行运算；对所述输入张量序列操作所述测试神经网络，并且收集统计数据以提供给数字格式选择算法；以及将数字格式选择算法应用于所述统计数据，以便导出用于所述测试神经网络的一个或多个所选择的张量的多个实例的公共数字格式。2.如权利要求1所述的方法，其中所述BRNN是并行BRNN或顺序BRNN。3.如权利要求1所述的方法，其中所述测试神经网络被配置为使得所述前向RNN和所述后向RNN独立地对每一输入张量进行运算，所述前向RNN的每一步长用于对所述序列的输入张量和其对应前向状态张量进行运算，并且所述后向RNN的每一步长用于对所述序列的输入张量和其对应后向状态张量进行运算。4.如权利要求1所述的方法，其中所述测试神经网络包括多个步长，每个步骤用于对所述序列的不同输入张量进行运算。5.如权利要求4所述的方法，其中所述应用所述格式选择算法包括将所述数字格式选择算法应用于在所有所述多个步长上捕获的所述统计数据，所述公共数字格式由所述数字格式选择算法输出。6.如权利要求1所述的方法，其中所述前向RNN被配置为生成一组前向输出张量，并且所述后向RNN被配置为生成一组后向输出张量，并且所述一个或多个所选择的张量包括所述前向输出张量和所述后向输出张量两者。7.如权利要求1所述的方法，其中所述公共数字格式是由一个或多个可配置参数定义的块可配置数字格式。8.如权利要求1所述的方法，其中所述数字格式选择算法被配置为识别预定义类型的块可配置数字格式的块可配置数字格式。9.如权利要求1所述的方法，其中所述应用所述数字格式选择算法包括：独立地识别用于所述测试神经网络中的所述一个或多个所选择的张量的每个实例的数字格式；和组合所述一个或多个所选择的张量的所述多个实例的所述数字格式，以便导出用于所述一个或多个所选择的张量的所述多个实例的公共数字格式。10.如权利要求9所述的方法，其中所述数字格式选择算法被配置为识别由用于所述一个或多个所选择的张量的每个实例的一个或多个可配置参数定义的块可配置数字格式。
11.如权利要求10所述的方法，其中所述组合包括独立地组合针对所述一个或多个所选择的张量的每个实例所识别的所述块可配置数字格式的所述一个或多个可配置参数中的每一个可配置参数，以便定义用于所述公共数字格式的所述一个或多个可配置参数。12.如权利要求1所述的方法，其中所述操作所述测试神经网络是用浮点数格式的所述一个或多个所选择的张量的每个实例来执行的。13.如权利要求1所述的方法，其中所述将所述BRNN实施为测试神经网络包括通过以下操作将所述BRNN的所述表示变换成所述...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：