用于生成神经网络的二值权重的方法和系统技术方案

一种用于神经网络的处理器，包括：权重概率分析模块，配置为基于神经网络的一个或多个层的一组输入权重生成至少表示一组输入权重中的每个输入权重与二元值相关联的概率的数据；方案生成模块，配置为针对所述权重的至少一个选定分组，基于针对选定的所述权重确定的概率生成至少表示一个或多个潜在二值权重矩阵的数据；方案选择模块，配置为至少生成表示每个潜在二值权重矩阵的矩阵特定概率值的数据，根据预定编码方法生成用于表示每个潜在二值权重矩阵的数据比特数的数据，并且基于所述矩阵特定概率值和所述数据比特数对潜在二值权重矩阵进行选择；以及权重生成模块，配置为根据所述选定的潜在二值权重矩阵生成表示一个或多个二值权重的数据。个或多个二值权重的数据。个或多个二值权重的数据。

【技术实现步骤摘要】
用于生成神经网络的二值权重的方法和系统


[0001]本专利技术涉及一种用于生成神经网络的二值权重的改进的方法和系统，其中具体地，二值权重是基于概率因子及其压缩特性来生成的。

技术介绍

[0002]当前，已经针对不同的应用开发了不同的神经网络架构。对于使用相同架构的神经网络，具有更多层和更多参数的网络通常会在执行神经网络任务的过程中实现更高的准确性。例如，基于VCG-16的卷积神经网络(CNN)(具有16层，1.38亿个参数)通常可以实现比基于AlexNet的CNN(具有8层和6000万个参数)更高的准确性，而后者通常可以实现比基于LeNet-5(具有5层和60,000个参数)的CNN更高的准确性。同样的原则适用于更现代的架构，诸如ResNet和DenseNet。
[0003]神经网络、尤其是卷积神经网络的问题在于，这些网络所执行的运算通常会消耗大量的硬件资源，这阻碍了此类网络在资源受限的环境(例如，小型、电池供电的设备)中的应用。例如，对卷积层中的浮点权重执行的乘积累加(MAC)运算可能需要大量的数据处理和存储器资源。此外，同样需要大量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于神经网络的处理器，该处理器包括：权重概率分析模块，该权重概率分析模块被配置为基于神经网络的一个或多个层的一组输入权重生成至少表示一组输入权重中的每个所述输入权重与二元值相关联的概率的数据；方案生成模块，该方案生成模块被配置为针对所述权重的至少一个选定分组，基于针对选定的所述权重确定的概率生成至少表示一个或多个潜在二值权重矩阵的数据；方案选择模块，该方案选择模块被配置为至少：生成表示每个所述潜在二值权重矩阵的矩阵特定概率值的数据，根据预定编码方法生成用于表示每个所述潜在二值权重矩阵的数据比特数的数据，并且基于所述矩阵特定概率值和所述数据比特数对所述潜在二值权重矩阵进行选择；以及权重生成模块，该权重生成模块被配置为根据所述选定的潜在二值权重矩阵生成表示一个或多个二值权重的数据。2.根据权利要求1所述的处理器，其中，所述一组输入权重包括：选自至少一个所述层的所述输入权重中的一些输入权重；选自所有所述层的所述输入权重中的一些输入权重；至少一个所述层的所有所述输入权重；或所有所述层的所有所述输入权重。3.根据权利要求1所述的处理器，被配置为将所述输入权重转换为预定权重范围内的对应权重值，并将所述对应权重值用作输入权重。4.根据权利要求1所述的处理器，被配置为基于以下各项来生成表示每个所述输入权重的所述概率的所述数据：所述输入权重的不同潜在值与对应概率之间的预定关系；与所述输入权重相对应的权重的一个或多个先前确定的概率；或与所述输入权重相对应的权重的一个或多个先前确定的权重值。5.根据权利要求4所述的处理器，其中，权重的所述先前确定的概率和/或权重的所述先前确定的权重值是基于由神经网络执行的训练事件来确定的。6.根据权利要求1所述的处理器，被配置为基于预定选择标准来选择所述权重分组。7.根据权利要求6所述的处理器，其中，所述预定选择标准包括以下中的至少一项：来自卷积层的内核的选定行的一个或多个权重；来自卷积层的内核的选定列的一个或多个权重；来自与卷积层的同一通道相关联的不同内核的一个或多个权重；来自与卷积层的同一滤波器相关联的不同通道的不同内核的一个或多个权重；全连接层的一个或多个输入权重；以及全连接层的一个或多个输出权重。8.根据权利要求1所述的处理器，被配置为基于表示所述输入权重的概率的所述数据与预定概率阈值的比较来确定每个所述输入权重的二元权重值。9.根据权利要求8所述的处理器，其中，基于所述比较，将输入权重确定为：与第一二元值相关联；与第二二元值相关联；或
与所述第一二元值或所述第二二元值相关联。10.根据权利要求9所述的处理器，被配置为基于已确定为与所述第一二元值或所述第二二元值相关联的多个所述输入权重来生成多个所述潜在二值权重矩阵，其中，每个所述潜在二值权重矩阵包括与所述输入权重相关联的所述第一二元值或所述第二二元值的不同组合。11.根据权利要求1所述的处理器，被配置为基于每个所述潜在二值权重矩阵中的输入权重的概率，生成每个所述潜在二值权重矩阵的所述矩阵特定概率。12.根据权利要求1所述的处理器，其中，所述编码方法是广义游程长度编码和广义霍夫曼编码中的至少一种。13.根据权利要求1所述的处理器，被配置为：基于表示每个所述潜在二值权重矩阵的矩阵特定概率值的数据，选择所述潜在二值权重矩阵中的一个或多个；并且根据预定编码方法，基于表示每个所述潜在二值权重矩阵的数据比特数的所述数据，从选定的所述潜在二值权重矩阵中选择一个潜在二值权重矩阵。14.根据权利要求13所述的处理器，被配置为：选择所述对应的矩阵特定概率值高于特定值的一个或多个所述潜在二值权重矩阵；并且从选定的所述潜在二值权重矩阵中选择一个潜在二值权重矩阵，其所述对应的数据比特数最低。15.根据权利要求1所述的处理器，被配置为：根据预定编码方法，基于表示每个所述潜在二值权重矩阵的数据比特数的数据，从所述潜在二值权重矩阵中选择一个或多个；并且基于表示每个所述潜在二值权重矩阵的矩阵特定概率值的所述数据，从选定的所述潜在二值权重矩阵中选择一个潜在二值权重矩阵。16.根据权利要求15所述的处理器，被配置为：选择一个或多个所述潜在二值权重矩阵，其所述对应的数据比特数低于特...

【专利技术属性】
技术研发人员：焦玉中，雷源，霍晓，
申请(专利权)人：联合微电子中心有限责任公司，
类型：发明
国别省市：