压缩系数集以供随后在神经网络中使用制造技术

提供了一种压缩系数集以供随后在神经网络中使用的方法，该方法包括：将稀疏性应用于多个系数组，每一组包括预定义的多个系数；以及根据与系数组配准的压缩方案来压缩系数组，以便通过整数个一个或多个压缩值来表示每个系数组。系数组。系数组。

【技术实现步骤摘要】
压缩系数集以供随后在神经网络中使用


[0001]本公开涉及计算机实现的神经网络。具体地，本公开涉及在计算机实现的神经网络中应用稀疏性。

技术介绍

[0002]神经网络可用于机器学习应用程序。具体地，神经网络可用于信号处理应用程序，包括图像处理应用程序和计算机视觉应用程序。例如，卷积神经网络(CNN)是通常应用于分析图像数据的一类神经网络，例如用于图像分类应用程序、语义图像分割应用程序、超级解析应用程序、对象检测应用程序，等等。
[0003]在图像分类应用程序中，表示一个或多个图像的图像数据可以被输入到神经网络，并且所述神经网络的输出可以为指示这些图像中的每一个图像属于特定分类(或分类集合)的概率(或概率集合)的数据。神经网络通常包括输入层和输出层之间的多个层。在一个层中，系数集可以与所述层的数据输入进行组合。卷积层和全连接层为神经网络层的示例，其中系数集与这些层的数据输入进行组合。神经网络还可包括其他类型的层，这些层未被配置为将系数集与那些层(诸如激活层和对应元素层)的数据输入进行组合。在图像分类应用程序中，在层中执行的计算使得能够识别输入数据的特性特征，并且能够对输入数据所属的分类(或分类集合)进行预测。
[0004]通常对神经网络进行训练以通过使用训练数据来提高其输出的准确性。在图像分类示例中，训练数据可包括表示一个或多个图像的数据以及这些图像中的每一个图像的相应的预先确定的标签。训练神经网络可以包括使用未经训练或部分训练的系数集对训练输入数据操作神经网络，以便形成训练输出数据。例如，可以使用损失函数来评估训练输出数据的准确性。可以根据训练输出数据的准确性通过称为梯度下降和反向传播的过程来更新系数集。例如，可以根据使用损失函数确定的训练输出数据的损失来更新系数集。
[0005]在典型神经网络内使用的系数集可被高度参数化。也就是说，在典型神经网络内使用的系数集通常包括大量的非零系数。高度参数化的系数集可具有大的存储器占用。从存储器读取高度参数化的系数集所需的存储器带宽可能很大。高度参数化的系数集还可能使神经网络承受大量的计算需求，例如通过要求神经网络在系数和输入值之间执行大量的计算(例如，乘法)。因此，可能难以在具有有限的处理或存储器资源的装置上实现神经网络。

技术实现思路

[0006]提供本
技术实现思路
是为了以简化的形式介绍下文在具体实施方式中进一步描述的一系列概念。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
[0007]根据本专利技术的第一方面，提供了一种压缩系数集以供随后在神经网络中使用的方法，该方法包括：将稀疏性应用于多个系数组，每一组包括预定义的多个系数；以及根据与
系数组配准的压缩方案来压缩系数组，以便通过整数个一个或多个压缩值来表示每个系数组。
[0008]每一组可以包括系数集的一个或多个系数子集，每一组可以包括n个系数并且每个子集可以包括m个系数，其中m大于1并且n为m的整数倍，并且该方法还可以包括：通过压缩每一组所包括的一个或多个系数子集，根据压缩方案来压缩系数组，以便通过整数个一个或多个压缩值来表示每个系数子集。
[0009]n可大于m，并且可以通过压缩多个相邻或交织的系数子集来压缩每个系数组。
[0010]n可以等于可以等于2m。
[0011]每一组可以包括16个系数，并且每个子集可以包括8个系数，并且每一组可以通过压缩两个相邻或交织的系数子集来压缩。
[0012]n可以等于m。
[0013]向系数组应用稀疏性可包括将所述组中的每个系数设置为零。
[0014]可以根据稀疏性掩码将稀疏性应用于所述多个系数组，该稀疏性掩码限定要对系数集中的哪些系数应用稀疏性。
[0015]系数集可以为系数张量，稀疏性掩码可以为与系数张量具有相同维度的二进制张量，并且可以通过执行系数张量与稀疏性掩码张量的逐元素乘法来应用稀疏性。二进制张量可以是由二进制1和/或0组成的张量。
[0016]可以通过以下操作形成稀疏性掩码张量：生成具有一个或多个维度的归约张量，系数张量的维度为该一个或多个维度的整数倍，其中该整数大于1；确定待应用稀疏性的归约张量的元素，以便生成归约的稀疏性掩码张量；以及扩展归约的稀疏性掩码张量以便生成与系数张量相同维度的稀疏性掩码张量。
[0017]生成归约张量可以包括：将系数张量分成多个系数组，使得集中的每个系数仅分配给一个组，并且所有系数都分配给组；以及用所述组内的最大系数值表示系数张量的每个系数组。
[0018]该方法还可以包括通过执行最近邻上采样来扩展归约的稀疏性掩码张量，使得归约的稀疏性掩码张量中的每个值由包括稀疏性掩码张量中的多个相同值的组表示。
[0019]压缩每个系数子集可以包括：生成包括h位的标头数据和各自包括b位的多个主体部分，其中主体部分中的每一个主体部分对应于子集中的系数，其中b固定在子集内并且其中子集的标头数据包括所述子集的主体部分的b的指示；
[0020]该方法还可以包括：通过在子集中的所有系数中定位最高有效前导一的位位置来识别主体部分大小b；生成包括编码主体部分大小的位序列的标头数据；以及通过从每个系数中移除无、一个或多个前导零，为子集中的每个系数生成包括b位的主体部分。
[0021]可根据稀疏性参数来确定需要应用稀疏性的组的数量。
[0022]该方法还可以包括：将系数集分成多个系数组，使得集中的每个系数仅分配给一个组，并且所有系数分配给一个组；确定每个系数组的显著性；以及将稀疏性应用于具有低于阈值的显著性的系数组，根据稀疏性参数来确定阈值。
[0023]阈值可以为最大绝对系数值或平均绝对系数值。
[0024]该方法还可以包括将压缩的系数组存储到存储器以供随后在神经网络中使用。
[0025]该方法还可以包括使用神经网络中的压缩的系数组。
[0026]根据本专利技术的第二方面，提供了一种用于压缩系数集以供随后在神经网络中使用的数据处理系统，该数据处理系统包括：修剪逻辑，该修剪逻辑被配置为向系数组应用稀疏性，每一组包括预定义的多个系数；以及压缩引擎，该压缩引擎被配置为根据与系数组配准的压缩方案来压缩系数组，以便通过整数个一个或多个压缩值来表示每个系数组。
[0027]根据本专利技术的第三方面，提供了一种训练神经网络的计算机实现的方法，该神经网络包括多个层，每一层被配置为将相应的一组滤波器与对层的数据输入进行组合，以便形成层的输出数据，其中每一组滤波器包括多个系数信道，滤波器集合的每一个系数信道对应于对层的数据输入中的相应的数据信道，并且输出数据包括多个数据信道，每个数据信道对应于滤波器集合的相应的滤波器，该方法包括：识别层的滤波器集合的目标系数信道；识别对层的数据输入中的多个数据信道中的目标数据信道，目标数据信道对应于滤波器集合的目标系数信道；以及配置神经网络的运行时实现方式，其中前一层的滤波器集合不包括对应于目标数据信道的所述滤波器。
[0028]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种压缩系数集以供随后在神经网络中使用的计算机实现的方法，所述方法包括：向多个系数组应用稀疏性，每一组包括预定义的多个系数；以及根据与所述系数组配准的压缩方案来压缩所述系数组，以便通过整数个一个或多个压缩值来表示每个系数组。2.根据权利要求1所述的计算机实现的方法，其中每一组包括所述系数集的一个或多个系数子集，每一组包括n个系数并且每个子集包括m个系数，其中m大于1并且n为m的整数倍，所述方法还包括：通过压缩每一组所包括的所述一个或多个系数子集，根据所述压缩方案来压缩所述系数组，以便通过整数个一个或多个压缩值来表示每个系数子集。3.根据权利要求2所述的计算机实现的方法，其中n大于m，并且其中通过压缩多个相邻或交织的系数子集来压缩每个系数组。4.根据权利要求2或3所述的计算机实现的方法，其中n等于2m。5.根据权利要求4所述的计算机实现的方法，其中每一组包括16个系数，并且每个子集包括8个系数，并且其中通过压缩两个邻近或交织的系数子集来压缩每一组。6.根据权利要求2所述的计算机实现的方法，其中n等于m。7.根据权利要求1至3中任一项所述的计算机实现的方法，其中向系数组应用稀疏性包括将所述组中的所述系数中的每一个设置为零。8.根据权利要求1至3中任一项所述的计算机实现的方法，其中根据稀疏性掩码将稀疏性应用于所述多个系数组，所述稀疏性掩码限定要对所述系数集中的哪些系数应用稀疏性。9.根据权利要求8所述的计算机实现的方法，其中所述系数集合为系数张量，所述稀疏性掩码可以为与所述系数张量具有相同维度的二进制张量，并且通过执行所述系数张量与所述稀疏性掩码张量的逐元素乘法来应用稀疏性。10.根据权利要求9所述的计算机实现的方法，其中所述稀疏掩模张量通过以下方式形成：生成具有一个或多个维度的归约张量，系数张量的维度为所述一个或多个维度的整数倍，其中所述整数大于1；确定待应用稀疏性的所述归约张量的元素，以便生成归约的稀疏性掩码张量；以及扩展所述归约的稀疏性掩码张量以便生成与所述系数张量相同维度的稀疏性掩码张量。11.根据权利要求10所述的计算机实现的方法，其中生成所述减少的张量包括：将所述系数张量分成多个系数组，使得所述集中的每个系数仅分配给一个组，并且所有所述系数都分配给组；以及用所述组内的最大系数值表示所述系数张量的每个系数组。12.根据权利要求10所述的计算机实现的方法，还可...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：