人工神经网络处理方法和系统技术方案

本公开的各实施例涉及一种方法，包括：提供具有多个处理层的ANN处理级，处理层具有相应参数，相应参数包括至少一个权重参数集、至少一个输入/输出激活参数以及至少一个激活函数参数；将网格的维度参数设置为整数值，网格具有多个网格点并且由基矢量集来标识；选择相应处理层的权重参数集；将所选择的权重参数集矢量化，从而产生权重矢量集，权重矢量集被布置为权重矢量矩阵的项；将权重矢量矩阵归一化；对经归一化的权重矢量矩阵应用网格矢量量化LVQ处理，产生码字的码本；通过对码本的码字进行编码为网格的函数来进行索引，从而产生相应索引元组。归一化包括求解优化问题，优化问题具有第一项和正则化项Ω

【技术实现步骤摘要】
人工神经网络处理方法和系统


[0001]例如，本说明书涉及用于人工神经网络(ANN)处理(例如，诸 如卷积神经网络(CNN)处理)的方法和系统。
[0002]例如，一个或多个实施例可以被应用于被配置为执行ANN处理 的硬件加速器引擎(例如，诸如神经处理单元(NPU))。

技术介绍

[0003]卷积(人工)神经网络(简称为CNN)包括基于计算机的工具， 基于计算机的工具利用深度学习算法来执行图像处理任务。
[0004]将大型猫科动物的图像分类为豹或美洲虎可以作为这种处理的 示例被提及。
[0005]CNN包括多个层，例如多个(隐藏的)处理层，多个(隐藏的) 处理层被耦合到输入层，并且被配置为将数据处理应用于由其接收的 图像张量。处理层可以包括例如卷积和/或池化处理，并且CNN可以 包括经由隐藏层而被耦合到输入层的输出层。
[0006]卷积处理层使用过滤器(也被称为卷积内核)来执行输入图像数 据的卷积，并且将激活函数应用于卷积数据，从而产生特征集作为结 果。
[0007]池化处理层通过执行子采样(例如，诸如最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：实现具有多个处理层的人工神经网络(ANN)，所述多个处理层具有相应处理层参数，所述处理层参数包括至少一个权重参数集(w
i
)、至少一个输入激活参数(a
j
)、至少一个输出激活参数(b
j
)以及至少一个激活函数参数(ρ)；将网格的维度参数(d)设置为整数值，所述网格具有多个网格点，并且由基矢量集(b1，b2)来标识；选择所述ANN的所述多个处理层中的相应处理层的权重参数集(w
i
)；对所选择的所述权重参数集(w
i
)应用矢量化处理，产生权重矢量集(u1，u2，u3)，并且将所述权重矢量集(u1，u2，u3)布置为权重矢量矩阵(U)；执行所述权重矢量矩阵(U)的归一化处理，产生经归一化的权重矢量矩阵(U
’
)；对所述经归一化的权重矢量矩阵(U
’
)应用网格矢量量化(LVQ)处理，产生码字的码本；对所产生的所述码本应用索引处理，所述索引包括根据所述网格来对所述码本的码字进行编码，产生相应索引元组(i
s
，i
a
，i
aLUT
)；以及向所述ANN的神经处理电路提供所产生的索引元组(i
s
，i
a
，i
aLUT
)，其中执行所述权重矢量矩阵(U)的所述归一化处理包括：求解优化问题，所述优化问题具有：第一项，用于根据所述ANN的所述至少一个输入激活参数(a
j
)来提供经归一化的权重值，所述经归一化的权重值近似于所述ANN的所述至少一个输出激活参数(b
j
)；以及正则化项Ω
L
(u)，用于将与所选择的所述网格的所述网格点有距离的经归一化的权重值放大。2.根据权利要求1所述的方法，其中在与所述权重矢量矩阵(U)的项u
k
的所选择的所述网格的所述网格点的距离可忽略时，所述正则化项Ω
L
(u)达到最小值。3.根据权利要求1所述的方法，其中所述优化问题被表示为：其中S指示所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数，a
j
是所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数的所述输入激活参数，并且b
j
是所述输出激活参数，ρ是所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数的所述激活函数参数，u
k
是所述权重矢量矩阵的项，以及λ是缩放因子。4.根据权利要求3所述的方法，其中所述正则化项Ω
L
被表示为：其中
σ2是统计方差参数；并且cw是所述基矢量集中标识所述网格的基矢量。5.根据权利要求4所述的方法，其中求解所述优化问题包括：对所述经归一化的权重矢量矩阵(U)应用第二缩放因子。6.根据权利要求5所述的方法，其中所述第二缩放因子的值在0与1之间。7.根据权利要求1所述的方法，其中所述归一化处理包括：使用随机梯度下降(SGD)处理来求解所述优化问题。8.根据权利要求1所述的方法，其中执行权重值的所述矢量化包括：沿着维度的有序序列来处理所述至少一个权重参数集(w
i
)中的元素；沿着所述维度的有序序列，从所述至少一个权重参数集(w
i
)提取权重值；以及通过以下来提供权重矢量集(u1，u2，u3)：将所提取的所述权重值布置为所述矢量集(u1，u2，u3)中的相应矢量的元素，其中所述权重矢量集(u1，u2，u3)中的权重矢量具有相应矢量尺寸，所述相应矢量尺寸等于所述维度参数(d)的所述整数值。9.根据权利要求1所述的方法，其中所述LVQ处理包括：根据所述维度参数(d)的所述整数值，选择具有多个网格点和基矢量集的所述网格；以及使用所选择的所述网格的所述基矢量集，对所述权重矢量集(u1，u2，u3)应用量化。10.根据权利要求1所述的方法，所述ANN是卷积神经网络(CNN)。11.根据权利要求1所述的方法，包括：访问所述经归一化的权重矢量矩阵中的经归一化的权重值；解压缩所访问的所述经归一化的权重值，以产生经解压缩的权重值；以及使用所述ANN的硬件加速器引擎，根据所述经解压缩的权重值来执行操作。12.一种具有内容的非暂时性计算机可读介质，所述内容将计算设备配置为执行方法，所述方法包括：实现具有多个处理层的人工神经网络(ANN)，所述多个处理层具有相应处理层参数，所述处理层参数包括至少一个权重参数集(w
i
)、至少一个输入激活参数(a
j
)、至少一个输出激活参数(b
j
)以及至少一个激活函数参数(ρ)；将网格的维度参数(d)设置为整数值，所述网格具有多个网格点，并且由基矢量集(b1，b2)来标识；选择所述ANN的所述多个处理层中的相应处理层的权重参数集(w
i
)；对所选择的所述权重参数集(w
i
)应用矢量化处理，产生权重矢量集(u1，u2，u3)，并且将所述权重矢量集(u1，u2，u3)布置为权重矢量矩阵(U)；执行所述权重矢量矩阵(U)的归一化处理，产生经归一化的权重矢量矩阵(U
’
)；对所述经归一化的权重矢量矩阵(U
’
)应用网格矢量量化(LVQ)处理，产生码字的码本；对所产生的所述码本应用索引处理，所述索引包括根据所述网格来对所述码本的码字进行编码，产生相应索引元组(i
s
，i
a
，i
aLUT
)；以及向所述ANN的神经处理电路提供所产生的索引元组(i
s
，i
a
，i
aLUT
)，其中执行所述权重矢量矩阵(U)的所述归一化处理包括：求解优化问题，所述优化问题具有：
第一项，用于根据所述ANN的所述至少一个输入激活参数(a
j
)来提供经归一化的权重值，所述经归一化的权重值近似于所述ANN的所述至少一个输出激活参数(b
j
)；以及正则化项Ω
L
(u)，用于将与所选择的所述网格的所述网格点有距离的经归一化的权重值放大。13.根据权利要求12所述的非暂时性计算机可读介质，其中所述优化问题被表示为：其中S指示所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数，a
j
是所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数的所述输入激活参数，并且b
j
是所述输出激活参数，ρ是所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数的所述激活函数参数，u
k
是所述权重矢量矩阵的项，以及λ是缩放因子。14.根据权利要求12所述的非暂时性计算机可读介质，其中所述方法包括：访问所述经归一化的权重矢量矩阵中的经归一化的权重值；解压缩所访问的所述经归一化的权重值，以产生经解压缩的权重值；以及使用所述ANN的硬件加速器引擎，根据所述经解压缩的权重值来执行操作。15.根据权利要求12所述的非暂时性计算机可读介质，其中所述内容包括指令，所述指令在由所述计算系统执行时，使所述计算系统执行所述方法。16.一种设备，包括：存储器；以及处理电路系统，被耦合到所述存储器，其中所述处理电路系统在操作中：将网格的维度参数(d)设置为整数值，所述网格具有多个网格点，并且由基矢量集(b1，b2)来标识；选择人工神经网络(ANN)的多个处理层中的相应处理层的权重参数集(w
i
)，所述ANN具有多个处理层，所述多个处理层具有相应处理层参数，所述处理层参数包括至少一个权重参数集(w
i
)、至少一个输入激活参数(a
j
)、至少一个输出激活参数(b
j
)以及至少一个激活函数参数(ρ)；对所选择的所述权重参数集(w
i
)应用矢量化处理，产生权重矢量集(u1，u2，u3...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：意法半导体股份有限公司，
类型：发明
国别省市：