神经网络权重参数的编码方法、编码器及神经网络处理器技术

本发明专利技术公开了一种神经网络权重参数的编码方法、编码器及神经网络处理器，所述编码方法包括：获取若干原始神经网络权重参数，并对各原始神经网络权重参数进行分组，获得若干参数组；将参数组内的参数划分为若干子向量，并将各子向量进行聚类，生成每一类子向量所对应原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子；将子向量所对应的原型向量的索引值以及缩放因子作为子向量的编码值，对各参数组内的子向量进行编码。通过实施本发明专利技术能够降低原始神经网络权重参数的数据量。参数的数据量。参数的数据量。

Coding method, encoder and neural network processor of neural network weight parameters

【技术实现步骤摘要】
神经网络权重参数的编码方法、编码器及神经网络处理器


[0001]本专利技术涉及计算机
，尤其涉及一种神经网络权重参数的编码方法、编码器及神经网络处理器。

技术介绍

[0002]深度神经网络(DNN)为机器学习(Meaching Learning,ML)领域带来了重要突破，通过引入DNN提高了大多数机器学习任务的最优性能。DNN显著的识别效果是以庞大的模型计算量和存储量为代价的，以CNN为例，用于目标检测任务的典型CNN模型(YOLOV3)需要高达320亿次浮点运算操作(Floating
‑
point Operations,FLOP)和60MB以上的模型参数，这使得它们难以部署到硬件资源有限，能量预算紧张的嵌入式设备中。许多为人工智能应用任务设计的专用处理器芯片(AI芯片)也涌现出来。AI芯片内部专门负责实现AI运算和AI应用的模块称为神经网络处理器(Neural
‑
network Processing Unit,NPU)。由于NPU访问存储器的速度无法跟上运算部件消耗数据的速度，再增加运算部件也无法得到充分利用，即形成“内存墙”问题。解决该问题的方向之一是减少访问存储器的数据量，而要减少访问存储器的数据量，就需要减少神经网络权重参数的数据量，因此如何减少神经网络权重参数的数据量是一个亟需解决的问题。

技术实现思路

[0003]本专利技术实施例提供一种神经网络权重参数的编码方法、编码器及神经网络处理器，能降低神经网络权重参数的数据量。
[0004]本专利技术一实施例提供了一种神经网络权重参数的编码方法，包括：获取若干原始神经网络权重参数，并对各原始神经网络权重参数进行分组，获得若干参数组；
[0005]将参数组内的参数划分为若干子向量，并将各子向量进行聚类，生成每一类子向量所对应原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子；
[0006]将子向量所对应的原型向量的索引值以及缩放因子作为子向量的编码值，对各参数组内的子向量进行编码。
[0007]进一步的，所述将参数组内的参数划分为若干子向量，并将各子向量进行学习聚类，生成每一类子向量所对应原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子，具体包括：
[0008]根据参数组内的参数生成一维向量；
[0009]初始化子向量的数目，根据子向量的数目将一维向量划分为若干子向量；
[0010]初始化若干初始原型向量、每一初始原型向量的索引值以及每一子向量的初始缩放因子，根据各初始原型向量、各初始原型向量的索引值以及各初始缩放因子构建子向量的初始拟合模型；
[0011]迭代调整子向量的数目、各初始原型向量、各索引值以及各初始缩放因子，以对初
始拟合模型进行迭代训练，直至预设损失函数的函数值最小，生成参数组中每一子向量所对应的原型向量、每一原型向量的索引值以及每一子向量所对应的缩放因子。
[0012]进一步的，所述对若干原始神经网络权重参数进行分组，具体包括：
[0013]根据各原始神经网络权重参数所属的卷积核，将同一卷积核的原始神经网络权重参数分为一组。
[0014]进一步的，还包括：根据各原型向量以及各原型向量的索引值生成原型向量查找表。
[0015]在上述方法项实施例的基础上，本专利技术另一实施例提供了一种编码器，所述编码器，用于获取若干原始神经网络权重参数，并对各原始神经网络权重参数进行分组，获得若干参数组；
[0016]将参数组内的参数划分为若干子向量，并将各子向量进行聚类，生成每一类子向量所对应原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子；
[0017]将子向量所对应的原型向量的索引值以及缩放因子作为子向量的编码值，对各参数组内的子向量进行编码。
[0018]进一步的，编码器将参数组内的参数划分为若干子向量，并将各子向量进行学习聚类，生成每一类子向量所对应原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子，具体包括：
[0019]根据参数组内的参数生成一维向量；
[0020]初始化子向量的数目，根据子向量的数目将一维向量划分为若干子向量；
[0021]初始化若干初始原型向量、每一初始原型向量的索引值以及每一子向量的初始缩放因子，根据各初始原型向量、各初始原型向量的索引值以及各初始缩放因子构建子向量的初始拟合模型；
[0022]迭代调整子向量的数目初始值、各初始原型向量、各索引值以及各初始缩放因子，以对初始拟合模型进行迭代训练，直至预设损失函数的函数值最小，生成参数组中每一子向量所对应的原型向量、每一原型向量的索引值以及每一子向量所对应的缩放因子。
[0023]进一步的，编码器对若干原始神经网络权重参数进行分组，具体包括：
[0024]根据各原始神经网络权重参数所属的卷积核，将同一卷积核的原始神经网络权重参数分为一组。
[0025]进一步的，所述编码器，还用于根据各原型向量以及各原型向量的索引值生成原型向量查找表。
[0026]在上述方法项实施例的基础上，本专利技术另一实施例提供了一种神经网络处理器，所述解码器，用于获取由上述神经网络权重参数的编码方法进行编码后的各编码值；
[0027]根据各编码值确定各编码值所对应的原型向量的索引值以及缩放因子；
[0028]根据各编码值的索引值以及原型向量查找表，提取各编码值所对应的原型向量，并根据各编码值所对应的缩放因子对所提取的原型向量进行缩放，获得各解码后的子向量。
[0029]通过实施本专利技术实施例具有如下有益效果：
[0030]本专利技术实施例提供了一种神经网络权重参数的编码方法、编码器及神经网络处理
器，所述编码方法，首先获取各原始神经网络权重参数，并对各神经网络权重参数进行分组，获得若干参数组；紧接着，将每个参数组中的参数划分为若干个子向量，并将子向量进行聚类，获得每一类子向量所对应的原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子；最后子向量所对应的原型向量的索引值以及缩放因子作为子向量的编码值，对各参数组内的子向量进行编码。本专利技术所公开的神经网络权重参数的编码方法，通过将子向量进行聚类，来生成一类子向量的原型向量，使得参数组中的同一类的多个子向量，可以通过一个原型向量以及各自对应的缩放因子来进行表征，大大降低了数据量，因此采用原型向量的索引值以及缩放因子作为子向量的编码值，对各参数组内的子向量进行编码后，原始神经网络权重参数就可以由各个编码值进行表征，编码后的数据量相对于原始数据量有显著压缩，从而大幅度降低了原始神经网络权重参数的数据量。
附图说明
[0031]图1是本专利技术一实施例提供的一种神经网络权重参数的编码方法的流程示意图。
[0032]图2是本专利技术一实施例所提供的原型向量查找表的示意图。
[0033]图3是本专利技术一实施例中对一参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络权重参数的编码方法，其特征在于，包括：获取若干原始神经网络权重参数，并对各原始神经网络权重参数进行分组，获得若干参数组；将参数组内的参数划分为若干子向量，并将各子向量进行聚类，生成每一类子向量所对应原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子；将子向量所对应的原型向量的索引值以及缩放因子作为子向量的编码值，对各参数组内的子向量进行编码。2.如权利要求1所述的神经网络权重参数的编码方法，其特征在于，所述将参数组内的参数划分为若干子向量，并将各子向量进行学习聚类，生成每一类子向量所对应原型向量、每一原型向量的索引值以及每一类子向量中各子向量所对应的缩放因子，具体包括：根据参数组内的参数生成一维向量；初始化子向量的数目，根据子向量的数目将一维向量划分为若干子向量；初始化若干初始原型向量、每一初始原型向量的索引值以及每一子向量的初始缩放因子，根据各初始原型向量、各初始原型向量的索引值以及各初始缩放因子构建子向量的初始拟合模型；迭代调整子向量的数目、各初始原型向量、各索引值以及各初始缩放因子，以对初始拟合模型进行迭代训练，直至预设损失函数的函数值最小，生成参数组中每一子向量所对应的原型向量、每一原型向量的索引值以及每一子向量所对应的缩放因子。3.如权利要求1所述的神经网络权重参数的编码方法，其特征在于，所述对若干原始神经网络权重参数进行分组，具体包括：根据各原始神经网络权重参数所属的卷积核，将同一卷积核的原始神经网络权重参数分为一组。4.如权利要求1
‑
3任意一项所述的神经网络权重参数的编码方法，其特征在于，还包括：根据各原型向量以及各原型向量的索引值生成原型向量查找表。5.一种编码器，其特征在于，所述编码器，用于获取若干原始神经网络权重参数，并对各原始神经网络权重参数进行分组，获得若干参数组；将参数组内的参数划分为若干子向量，并...

【专利技术属性】
技术研发人员：王彦飞，濮亚男，胡胜发，
申请(专利权)人：广州安凯微电子股份有限公司，
类型：发明
国别省市：