用于神经网络参数的表示的改进的概念制造技术

一种用于产生NN表示的装置，该装置被配置为通过确定一量化参数和该NN参数的量化值，将该NN参数量化为一量化值，以使从该量化参数可得出乘数和位移位数。另外，执行量化参数和NN参数的量化值的确定，以使NN参数的量化值对应于量化值和取决于乘数的因子之间的乘积，该乘积被位移位的位数量取决于位移位数。积被位移位的位数量取决于位移位数。积被位移位的位数量取决于位移位数。

【技术实现步骤摘要】
【国外来华专利技术】用于神经网络参数的表示的改进的概念


[0001]根据本专利技术的实施例涉及使用用于神经网络参数的表示的改进概念来编码或解码神经网络参数的装置和方法。可以实现在推理和/或存储比特率优化方面的改进。

技术介绍

[0002]在其最基本的形式中，神经网络构成仿射变换的链，其后是元素方式的非线性函数。它们可以表示为有向非循环图，如图1所示。每个节点需要特定值，该特定值通过与边的相应权重值相乘而被前向传播到下一节点。然后，简单地聚合所有输入值。
[0003]图1示出了前馈神经网络的图形表示的示例。具体地，该2层神经网络是将4维输入向量映射到实线的非线性函数。
[0004]在数学上，图1的神经网络将以如下方式计算输出：
[0005]输出＝L2(L1(输入))
[0006]其中
[0007]L
i
(X)＝N
i
(B
i
(X))
[0008]并且其中B
i
是层i的仿射变换，并且其中N
i
是层i的某个非线性函数。
[0009]偏置层
[0010]在所谓的“偏置层”的情况下，B
i
是与层i相关联的权重参数(边缘权重)W
i
与层i的输入X
i
的矩阵乘法，伴随与偏差b
i
的求和：
[0011]B
i
(X)＝W
i
*X
i
+b
i
[0012]W
i
是维度为n
i
×
k
i
的加权矩阵，并且X
i
是维度为k
i
×
m
i
的输入矩阵。偏置b
i
是长度为n
i
的转置向量。运算符*表示矩阵乘法。与偏置b
i
求和是对矩阵的列的逐元素操作。更详细地说，W
i
*X
i
+b
i
意味着对W
i
*X
i
的各列加b
i
。
[0013]所谓的卷积层也可以通过将它们作为矩阵
‑
矩阵乘积来使用，如“CuDNN：Efficient Primitives for Deep Learning”(Sharan Chetlur等人；arXiv：1410.0759，2014)中所述。
[0014]从现在开始，我们将从给定输入计算输出的过程称为推理。另外，我们将把中间结果称为隐藏层或隐藏激活值，其构成线性变换+逐元素非线性，例如，诸如以上第一点积+非线性的计算。
[0015]通常，神经网络包含数百万个参数，因此可能需要数百兆字节用于它们的表示。因此，它们需要高计算资源以使被执行，因为它们的推理过程涉及大矩阵之间的许多点积运算的计算。因此，降低执行这些点积的复杂度是非常重要的。
[0016]批标准化层
[0017]神经网络层的仿射变换的更复杂的变体包括如下的所谓的偏置和批标准化操作：
[0018]等式1
[0019][0020]其中μ、σ2、γ和β表示批标准化参数。注意，这里忽略层索引i。W是维度为n
×
k的加权矩阵，并且X是维度为k
×
m的输入矩阵。偏置b和批标准化参数μ、σ2、γ和β是长度为n的转置向量。运算符*表示矩阵乘法。注意，对具有向量的矩阵的所有其他运算(求和、乘法、除法)是对矩阵的列的逐元素运算。例如，X
·
γ是指X的每一列逐元素地与γ相乘。∈是避免除以0所需的小标量数(例如，0.001)。然而，它也可以是0。
[0021]在b的所有向量元素等于零的情况下，等式1指批标准化层。相反，如果∈以及μ和β的所有向量元素被设置为零，并且γ和σ2的所有元素被设置为1，则没有批标准(仅有偏置)的层被寻址。
[0022]参数的有效表示
[0023]参数W、b、μ、σ2、γ和β将被共同表示为层的参数。它们通常需要在位流中被用信号通知。例如，它们可以被表示为32位浮点数，或者它们可以被量化为整数表示。注意，通常不在位流中用信号通知∈。
[0024]一种用于编码此类参数的特别有效的方法采用均匀重构量化器，其中每个值被表示为所谓的量化步长值的整数倍。可以通过将该整数乘以量化步长来重构相应的浮点数，量化步长通常是单个浮点数。然而，神经网络推理的高效实现(即，计算神经网络针对输入的输出)在任何可能的时候都采用整数运算。因此，可能不希望要求将参数重构为浮点表示。
[0025]因此，期望改进用于神经网络参数的表示的概念以支持对此类参数的高效编码和/或解码。可能希望减少神经网络参数被编码到其中的位流，从而减少信号通知成本。另外，或可替代地，可能期望降低计算资源的复杂度以改进神经网络推理，例如，可能期望实现神经网络推理的高效实现。
[0026]这通过本申请的独立权利要求的主题来实现。
[0027]根据本专利技术的进一步实施例由本申请的从属权利要求的主题限定。

技术实现思路

[0028]根据本专利技术的第一方面，本申请的专利技术人认识到，神经网络(NN)表示所遇到的一个问题源于神经网络包含数百万个参数，并且因此可能需要数百兆字节用于它们的表示。因此，它们需要高计算资源以使被执行，因为它们的推理过程涉及大矩阵之间的许多点积运算的计算。根据本申请的第一方面，通过使用NN参数的量化克服了这个困难，该NN参数的量化允许仅用很少或甚至根本不用浮点运算的推理。专利技术人发现，确定量化参数是有利的，基于该量化参数可以得出乘数和位移位数。这是基于这种思想，即，在比特率方面，仅用信号通知量化参数和量化值而不是32比特浮点值是高效的。NN参数的经量化值可以使用乘数、位移位数和量化值来计算，为此，可以在整数域而不是浮点域中执行计算，例如，NN参数的求和和/或NN参数与向量的相乘。因此，利用所呈现的NN表示，可以实现推理的高效计算。
[0029]因此，根据本申请的第一方面，一种用于生成NN表示，例如数据流的装置被配置为通过确定量化参数和NN参数的量化值来将NN参数量化为经量化值，从而从量化参数可得出乘数和位移位数。生成的NN表示可由装置读取/解码，用于从NN表示，例如数据流，得出NN参数，例如，NN参数的经量化值。用于得出NN参数的装置被配置为从NN表示得出量化参数和量化值，并从量化参数得出乘数和位移位数。基于由量化参数得出的被除数和由精度参数得
出的除数之间的除法的余数，从量化参数可得出乘数，例如，可将精度参数设置为默认值，或者可由设备针对整个NN或针对NN的每个部分如每一层来测试精度参数的若干不同的整数值如自然数或2的幂，并且在量化误差和比特率方面最佳，如在其朗格斯和方面，以使将最佳值作为精度参数并在NN表示中用信号通知该选择。基于除法的商的舍入，从量化参数可得出位移位数。NN参数(在用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成NN表示(110)的装置(100)，所述装置(100)被配置为通过确定(140)用于NN参数(120)的量化值(152)和量化参数(142)将所述NN参数(120)量化到经量化值(130)，以使从所述量化参数(142)基于由所述量化参数(142)得出的被除数与由精度参数(145)得出的除数之间的除法的余数，可得出乘数(144)，以及基于所述除法的商的舍入可得出位移位数(146)，以使所述NN参数(120)的所述经量化值(130)对应于所述量化值(152)和取决于所述乘数(144)的因子(148)之间的乘积，所述乘积被位移多个位，所述多个位取决于所述位移位数(146)。2.根据权利要求1所述的装置(100)，还被配置为将所述精度参数(145)编码到所述NN表示(110)。3.根据权利要求1或权利要求2所述的装置(100)，其中所述NN参数(120)是以下中的一个：用于对神经元对(10)之间的神经元间激活前馈(12)进行加权的权重参数，用于参数化神经网络层的仿射变换的批标准化参数，以及用于偏置预定神经网络神经元(10)的入站神经元间激活前馈(12)的总和的偏置。4.根据前述权利要求中任一项所述的装置(100)，其中所述NN参数(120)根据NN(20)的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN(20)，并且对于所述多个(122)神经元间激活前馈中的每个，相应的NN参数(120)包括在所述NN表示(110)中，其中所述装置(100)被配置为针对所述多个(122)神经元间激活前馈中的每个，通过确定与所述相应的神经元间激活前馈(12)相关联的关联量化参数(142)和与所述相应的神经元间激活前馈(12)相关联的关联量化值(152)来将对应的NN参数(120)量化到对应的经量化值(130)，以使从所述关联量化参数(142)，基于由所述关联量化参数(142)得出的被除数和由与所述相应的神经元间激活前馈(12)相关联的关联精度参数(145)得出的除数之间的除法的余数，可得出与所述相应的神经元间激活前馈(12)相关联的关联乘数(144)，以及基于所述除法的所述商的舍入，可得出与所述相应的神经元间激活前馈(12)相关联的关联位移位数(146)，以使用于所述相应的神经元间激活前馈(12)的所述对应的NN参数(120)的所述对应的经量化值(130)对应于所述关联量化值(152)和取决于所述关联乘数(144)的因子(148)之间的乘积，所述乘积被位移多个位，所述多个位取决于所述关联位移位数(146)。5.根据前述权利要求1至3中任一项所述的装置(100)，其中所述装置(100)被配置为将NN的多个(122)神经元间激活前馈细分为神经元间激活前馈的子组(122a、122b)，以使每个子组(122a、122b)与所述NN(20)的关联NN层对相关联，并且包括所述关联NN层对之间的神经元间激活前馈(12)，并且排除除所述关联层对之外的另外的NN层对之间的神经元间激活前馈(12)，并且多于一个子组(122a、122b)与预定NN层相关联，
所述NN参数(120)根据所述NN的所述多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN(20)，其中对于所述多个(122)神经元间激活前馈中的每个，相应的NN参数(120)包括在所述NN表示(110)中，其中所述装置(100)被配置为对于神经元间激活前馈的每个子组(122a、122b)，从所述NN表示(110)确定与相应子组(122a、122b)相关联的关联量化参数(142)，以使从所述关联量化参数(142)，基于由所述关联量化参数(142)得出的被除数和由与所述相应子组(122a、122b)相关联的关联精度参数(145)得出的除数之间的除法的余数，可得出与所述相应子组(122a、122b)相关联的关联乘数(144)，和基于所述除法的商的舍入，可得出与所述相应子组(122a、122b)相关联的关联位移位数(146)，对于所述多个(122)神经元间激活前馈中的每个，通过从所述NN表示(110)确定与所述相应的神经元间激活前馈(12)相关联的关联量化值(152)，将所述对应的NN参数(120)量化到对应的经量化值(130)，其中所述相应的神经元间激活前馈(12)的所述对应的NN参数(120)对应于所述关联量化值(152)与因子(148)之间的乘积，所述因子取决于与包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)相关联的所述关联乘数(144)，所述乘积被位移多个位，所述多个位取决于其中包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)的所述关联位移位数(146)。6.根据权利要求4或权利要求5所述的装置(100)，其中所述关联精度参数(145)在所述NN(20)上或在每个NN层(114、116)内全局相等地取值。7.根据前述权利要求4至6中任一项所述的装置(100)，被配置为将所述关联精度参数(145)编码到所述NN表示(110)。8.根据前述权利要求4至7中任一项所述的装置(100)，被配置为以与参考量化参数的差值的形式将所述关联量化参数(142)编码到所述NN表示(110)。9.根据前述权利要求中任一项所述的装置(100)，其中根据mul＝k+QP％k从所述量化参数(142)可得出所述乘数(144)和所述位移位数(146)其中mul是所述乘数(144)，shift是所述位移位数(146)，QP是所述量化参数(142)，k是所述精度参数(145)，是产生小于或等于其操作数的最大整数的向下取整运算符，并且％是产生用于x％y的的取模运算符，以使所述NN参数(130)是其中P是所述量化值(152)。10.根据前述权利要求中任一项所述的装置(100)，其中所述精度参数(145)是2的幂。11.根据前述权利要求中任一项所述的装置(100)，被配置为通过使用上下文自适应二进制算术编码，或者通过将表示所述量化参数(142)的位直接写入所述NN表示(110)，或者
通过所述装置(100)的上下文自适应二进制编码器的等概率旁路模式将表示所述量化参数(142)的位编码到所述NN表示(110)，而将所述量化参数(142)编码到所述NN表示(110)。12.根据前述权利要求中任一项所述的装置(100)，被配置为通过使用二值化方案将所述量化参数(142)二值化为二进制串来将所述量化参数(142)编码到所述NN表示(110)。13.根据权利要求12所述的装置(100)，其中所述二值化方案是指数哥伦布码。14.根据前述权利要求中任一项所述的装置(100)，被配置为确定所述量化参数(142)并将其编码成固定小数点表示形式的所述NN表示(110)。15.根据权利要求14所述的装置(100)，其中所述精度参数(145)为2
t
，所述固定小数点表示的位长度被设置为对于所述NN(20)为常数，或者被设置为对于所述NN(20)为常数的基准位长度与t的和。16.根据前述权利要求中任一项所述的装置(100)，被配置为将所述量化参数(142)作为整数值的语法元素编码到所述NN表示(110)。17.根据前述权利要求中任一项所述的装置(100)，被配置为通过将表示所述精度参数(145)的位直接写入所述NN表示(110)中，或者通过经由所述装置(100)的上下文自适应二进制编码器的等概率旁路模式将表示所述精度参数(145)的位编码到所述NN表示(110)，而将所述精度参数(145)编码到所述NN表示(110)。18.根据前述权利要求中任一项所述的装置(100)，被配置为将所述量化值(152)和所述量化参数(142)编码到所述NN表示(110)。19.根据前述权利要求中任一项所述的装置(100)，被配置为通过使用用于所述NN参数(120)的浮点表示训练NN，而提供所述NN参数(120)，以及通过旨在减少量化误差的迭代优化方案来确定所述NN参数(120)的所述量化参数(142)和所述量化值(152)。20.根据前述权利要求中任一项所述的装置(100)，被配置为确定所述量化值(152)并将其编码到固定小数点表示形式的所述NN表示(110)。21.根据前述权利要求中任一项所述的装置(100)，被配置为通过根据二值化方案将所述量化值(152)二值化为二进制串，使用上下文自适应算术编码对所述二进制串的位进行编码，将所述量化值(152)编码到所述NN表示(110)。22.根据前述权利要求中任一项所述的装置(100)，被配置为通过根据二值化方案将所述量化值(152)二值化为二进制串，使用上下文自适应算术译码对所述二进制串的第一位进行编码，以及使用等概率旁路模式对所述二进制串的第二位进行编码，将所述量化值(152)编码到所述NN表示(110)。23.一种定义NN表示(110)的数字数据，所述NN表示(110)包括用于表示NN参数(130)的量化参数(142)和量化值(152)，以使从所述量化参数(142)，基于由所述量化参数(142)得出的被除数与由精度参数(145)得出的除数之间的除法的余数，可得出乘数(144)，和基于所述除法的商的舍入，可得出位移位数(146)，以及以使所述NN参数(130)对应于所述量化值(152)和取决于所述乘数(144)的因子(148)
之间的乘积，所述乘积被位移多个位，所述多个位取决于所述位移位数(146)。24.根据权利要求23所述的数字数据，其中所述精度参数(145)被编码到所述NN表示(110)。25.根据权利要求23或24所述的数字数据，其中所述NN参数(130)是以下中的一个：用于对神经元对(10)之间的神经元间激活前馈(12)进行加权的权重参数，用于参数化神经网络层的仿射变换的批标准化参数，以及用于偏置预定神经网络神经元(10)的入站神经元间激活前馈(12)的总和的偏置。26.根据前述权利要求23至25中任一项所述的数字数据，其中所述NN参数(130)根据所述NN的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN，并且对于所述多个(122)神经元间激活前馈中的每个，相应的NN参数(130)包括在所述NN表示(110)中，其中对于所述多个(122)神经元间激活前馈中的每个，与所述相应的神经元间激活前馈(12)相关联的关联量化参数(142)被包括在所述NN表示(110)中，并且与所述相应的神经元间激活前馈(12)相关联的关联量化值(152)被包括在所述NN表示(110)中，以使从所述关联量化参数(142)中，基于由所述关联量化参数(142)得出的被除数和由与所述相应的神经元间激活前馈(12)相关联的关联精度参数(145)得出的除数之间的除法的余数，可得出与所述相应的神经元间激活前馈(12)相关联的关联乘数(144)，以及基于所述除法的所述商的舍入，可得出与所述相应的神经元间激活前馈(12)相关联的关联位移位数(146)，以使用于所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)的所述对应的经量化值(130)对应于所述关联量化值(152)和取决于所述关联乘数(144)的因子(148)之间的乘积，所述乘积被位移多个位，所述多个位取决于所述关联位移位数(146)。27.根据前述权利要求23至25中任一项所述的数字数据，其中NN的多个(122)神经元间激活前馈被细分为神经元间激活前馈的子组(122a、122b)，以使每个子组(122a、122b)与所述NN的关联NN层对相关联，并且包括所述关联NN层对之间的神经元间激活前馈，并且排除除了所述关联层对之外的另外的NN层对之间的神经元间激活前馈，并且多于一个子组(122a、122b)与预定NN层相关联，所述NN参数(130)根据所述NN的所述多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN，其中对于所述多个(122)神经元间激活前馈中的每个，相应的NN参数(130)包括在所述NN表示(110)中，其中对于神经元间激活前馈的每个子组(122a、122b)，与所述相应子组(122a、122b)相关联的关联量化参数(142)被包括在所述NN表示(110)中，以使从所述关联量化参数(142)，基于由所述关联量化参数(142)得出的被除数和由与所述相应子组(122a、122b)相关联的关联精度参数(145)得出的除数之间的除法的余数，可得出与所述相应子组(122a、
122b)相关联的关联乘数(144)，和基于所述除法的商的舍入，可得出与所述相应子组(122a、122b)相关联的关联位移位数(146)，对于所述多个(122)神经元间激活前馈中的每个，与相应的神经元间激活前馈相关联的关联量化值(152)被包括在所述NN表示(110)中，其中所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)对应于所述关联量化值(152)与因子(148)之间的乘积，所述因子取决于与包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)相关联的所述关联乘数(144)，所述乘积被位移多个位，所述多个位取决于其中包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)的所述关联位移位数(146)。28.根据前述权利要求26或27中任一项所述的数字数据，其中所述关联精度参数(145)在所述NN上或在每个NN层内全局相等地取值。29.根据前述权利要求26至28中任一项所述的数字数据，其中所述关联精度参数(145)被编码到所述NN表示(110)。30.根据前述权利要求26至29中任一项所述的数字数据，所述关联量化参数(142)以与参考量化参数的差值的形式被编码到所述NN表示(110)。31.根据权利要求23至30中任一项所述的数字数据，其中根据mul＝k+QP％k从所述量化参数(142)可得出所述乘数(144)和所述位移位数(146)，其中mul是所述乘数(144)，shift是所述位移位数(146)，QP是所述量化参数(142)，k是所述精度参数(145)，是产生小于或等于其操作数的最大整数的向下取整运算符，并且％是产生用于x％y的的取模运算符，以使NN参数(130)是其中P是所述量化值(152)。32.根据前述权利要求23至31中任一项所述的数字数据，其中所述精度参数(145)是2的幂。33.根据权利要求23至32中任一项所述的数字数据，其中通过使用上下文自适应二进制算术编码，或者通过将表示所述量化参数(142)的位直接写入所述NN表示(110)，或者通过上下文自适应二进制编码器的等概率旁路模式将表示所述量化参数(142)的位编码到所述NN表示(110)，而将所述量化参数(142)编码到所述NN表示(110)。34.根据前述权利要求23至33中任一项所述的数字数据，其中使用二值化方案将所述量化参数(142)以二值化为二进制串的形式编码到所述NN表示(110)。35.根据权利要求34所述的数字数据，其中所述二值化方案为指数哥伦布码。36.根据前述权利要求23至35中任一项所述的数字数据，其中所述量化参数(142)以固定小数点表示的形式被编码到所述NN表示(110)。
37.根据权利要求36所述的数字数据，其中所述精度参数(145)为2
t
，所述固定小数点表示的位长度被设置为对于所述NN为常数，或者被设置为对于所述NN为常数的基准位长度与t的和。38.根据前述权利要求23至37中任一项所述的数字数据，其中所述量化参数(142)被作为整数值的语法元素编码到所述NN表示(110)。39.根据前述权利要求23至38中任一项所述的数字数据，其中通过将表示所述精度参数(145)的位直接写入所述NN表示(110)中，或者通过经由上下文自适应二进制编码器的等概率旁路模式将表示所述精度参数(145)的位编码到所述NN表示(110)，而将所述精度参数(145)编码到所述NN表示(110)。40.根据前述权利要求23至39中任一项所述的数字数据，其中所述量化值(152)以固定小数点表示的形式被编码到所述NN表示(110)。41.根据前述权利要求23至40中任一项所述的数字数据，其中以根据二值化方案将所述量化值(152)二值化为二进制串并使用上下文自适应算术编码将所述二进制串的位编码到位流的形式而将所述量化值(152)编码到所述MN表示(110)。42.根据前述权利要求23至41中任一项所述的数字数据，其中以根据二值化方案将所述量化值(152)二值化到所述二进制串中，并且使用上下文自适应算术编码将所述二进制串的第一位编码到所述位流，使用等概率旁路模式将所述二进制串的第二位编码到所述位流的形式来而将所述量化值(152)编码到所述MN表示(110)。43.一种用于从NN表示(110)得出NN参数的装置，被配置为从所述NN表示(110)得出量化参数(142)，从所述NN表示(110)得出量化值(152)，以及从所述量化参数(142)，基于由所述量化参数(142)得出的被除数与由精度参数(145)得出的除数之间的除法的余数，得出乘数(144)，和基于所述除法的商的舍入，得出位移位数(146)，其中所述NN参数(130)对应于所述量化值(152)和取决于所述乘数(144)的因子(148)之间的乘积，所述乘积被位移多个位，所述多个位取决于所述位移位数(146)。44.根据权利要求43所述的装置，还被配置为从所述NN表示(110)中得出所述精度参数(145)。45.根据权利要求43或44所述的装置，其中所述NN参数(130)是以下中的一个：用于对神经元对(10)之间的神经元间激活前馈(12)进行加权的权重参数，用于参数化神经网络层的仿射变换的批标准化参数，和用于偏置预定神经网络神经元(10)的入站神经元间激活前馈(12)的总和的偏置。46.根据前述权利要求43至45中任一项所述的装置，其中所述NN参数(130)根据所述NN的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN，并且所述装置被配置为针对所述多个(122)神经元间激活前馈中的每个，从所述NN表示(110)得出相应的NN参数(130)，其中对于所述多个(122)神经元间激活前馈(12)中的每个，从所述NN表示(110)得出与所述相应的神经元间激活前馈(12)相关联的关联量化参数
(142)，从所述NN表示(110)得出与所述相应的神经元间激活前馈(12)相关联的关联量化值(152)，从所述关联量化参数(142)，基于由所述关联量化参数(142)得出的被除数和由与所述相应的神经元间激活前馈(12)相关联的关联精度参数(145)得出的除数之间的除法的余数，得出与所述相应的神经元间激活前馈(12)相关联的关联乘数(144)，和基于所述除法的所述商的舍入，得出与所述相应的神经元间激活前馈(12)相关联的关联位移位数(146)，其中用于所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)对应于所述关联量化值(152)和取决于所述关联乘数(144)的因子(148)之间的乘积，所述乘积被位移多个位，所述多个位取决于所述关联位移位数(146)。47.根据前述权利要求43至45中任一项所述的装置，其中所述装置被配置为将NN的多个(122)神经元间激活前馈细分为神经元间激活前馈的子组(122a、122b)，以使每个子组(122a、122b)与所述NN的关联NN层对相关联，并且包括所述关联NN层对之间的神经元间激活前馈，并且排除除了所述关联层对之外的另外的NN层对之间的神经元间激活前馈，并且多于一个子组(122a、122b)与预定NN层相关联，所述NN参数(130)根据所述NN的多个(122)神经元间激活前馈中的单个神经元间激活前馈(12)来参数化所述NN，并且所述装置被配置为针对所述多个(122)神经元间激活前馈中的每个，从用所述NN表示(110)得出对应的NN参数(130)，其中对于神经元间激活前馈的每个子组(122a、122b)，从所述NN表示(110)得出与所述相应子组(122a、122b)相关联的关联量化参数(142)，从所述关联量化参数(142)，基于由所述关联量化参数(142)得出的被除数和由与所述相应子组(122a、122b)相关联的关联精度参数(145)得出的除数之间的除法的余数，得出与所述相应子组(122a、122b)相关联的关联乘数(144)，和基于所述除法的商的舍入，得出与所述相应子组(122a、122b)相关联的关联位移位数(146)，对于所述多个(122)神经元间激活前馈中的每个，从所述NN表示(110)得出与所述相应的神经元间激活前馈(12)相关联的关联量化值(152)，其中所述相应的神经元间激活前馈(12)的所述对应的NN参数(130)对应于所述关联量化值(152)与因子(148)之间的乘积，所述因子取决于与包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)相关联的所述关联乘数(144)，所述乘积被位移多个位，所述多个位取决于其中包括所述相应的神经元间激活前馈(12)的所述子组(122a、122b)的所述关联位移位数(146)。48.根据前述权利要求46或47中任一项所述的装置，其中所述关联精度参数(145)在所述NN上或在每个NN层内全局相等地取值。49.根据前述权利要求46至48中任一项所述的装置，被配置为从所述NN表示(110)得出
所述关联精度参数(145)。50.根据前述权利要求46至49中任一项所述的装置，被配置为以与参考量化参数的差值的形式从所述NN表示(110)得出所述关联量化参数(142)。51.根据前述权利要求43至50中任一项所述的装置，被配置为根据下式从所述量化参数(142)得出所述乘数(144)和所述位移位数(146)mul＝k+QP％k其中mul是所述乘数(144)，shift是所述位移位数(146)，QP是所述量化参数(142)，k是所述精度参数(145)，是产生小于或等于其操作数的最大整数的向下取整运算符，并且％是产生用于x％y的的取模运算符，以使NN参数(130)是其中P是所述量化值(152)。52.根据前述权利要求43至51中任一项所述的装置，所述精度参数(145)是2的幂。53.根据前述权利要求43至52中任一项所述的装置，被配置为通过使用上下文自适应二进制算术解码或通过直接从所述NN表示(110)读取表示所述量化参数(142)的位，或通过经由所述装置的上下文自适应二进制解码器的等概率旁路模式从所述NN表示(110)得出表示所述量化参数(142)的位，而从所述NN表示(110)得出所述量化参数(142)。54.根据前述权利要求43至53中任一项所述的装置，被配置为通过使用二值化方案对二进制串进行解二值化来从所述NN表示(110)得出所述量化参数(142)。55.根据权利要求54所述的装置，其中所述二值化方案是指数哥伦布码。56.根据前述权利要求43至55中任一项所述的装置，被配置为以固定小数点表示的形式从所述NN表示(110)得出所述量化参数(142)。57.根据权利要求56所述的装置，其中所述精度参数(145)为2
t
，所述固定小数点表示的位长度被设置为对于所述NN为常数，或者被设置为对于所述NN为常数的基准位长度与t的和。58.根据前述权利要求43至57中任一项所述的装置，被配置为从所述NN表示(110)得出所述量化参数(142)作为整数值的语法元素。59.根据前述权利要求43至58中任一项所述的装置，被配置为通过直接从所述NN表示(110)读取表示所述精度参数(145)的位或通过经由所述装置的上下文自适应二进制解码器的等概率旁路模式从所述NN表示(110)得出表示所述精度参数(145)的位，而从所述NN表示(110)得出所述精度参数(145)。60.根据前述权利要求43至59中任一项所述的装置，被配置为以固定小数点表示的形式从所述NN表示(110)得出所述量化值(152)。61.根据前述权利要求43至60中任一项所述的装置，被配置为通过根据二值化方案从二进制串解二值化出所述量化值(152)，并且使用上下文自适应算术解码从所述NN表示(110)解码所述二进制串的位，而从所述NN表示(110)得出所述量化值(152)。
62.根据前述权利要求43至61中任一项所述的装置，被配置为通过根据二值化方案从二进制串解二值化出所述量化值(152)，并且使用上下文自适应算术解码从所述NN表示(110)解码所述二进制串的第...

【专利技术属性】
技术研发人员：西蒙，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：