用于生成人工神经网络模型的内核的NPU及其方法技术

提供了一种神经处理单元(NPU)、驱动人工神经网络(ANN)模型的方法和ANN驱动装置。NPU包括半导体电路，该半导体电路包括被配置为处理人工神经网络(ANN)模型的操作的至少一个处理元件(PE)；以及至少一个可配置以存储第一内核和第一内核滤波器的存储器。NPU被配置为基于第一内核和第一内核滤波器生成第一调制内核，并且基于第一内核和通过将数学函数应用于第一内核滤波器生成的第二内核滤波器而生成第二调制内核。通过减少从单独的存储器读取到人工神经网络处理器的内核的数据大小和/或通过减少存储器读取请求的数量来减少功耗和存储器读取时间。储器读取时间。储器读取时间。

【技术实现步骤摘要】
用于生成人工神经网络模型的内核的NPU及其方法
相关申请的交叉引用本申请要求于2020年12月29日向韩国知识产权局提交的韩国专利申请 No.10
‑
2020
‑
0186375的优先权，其公开内容通过引用并入本文。


[0001]本公开内容涉及人工神经网络。

技术介绍

[0002]人类具备可以进行识别、分类、推理、预测和控制/决策的智 能。人工智能(AI)是指人工模仿人类智能。
[0003]人脑由称为神经元的大量神经细胞组成。每个神经元通过称为 突触的连接与数百到数千个其他神经元相连。对生物神经元的工作原理和神 经元之间的连接关系进行建模以模拟人类智能，并且被称为人工神经网络 (ANN)模型。换句话说，人工神经网络是一个系统，其中模拟神经元的节点 以层结构连接。
[0004]ANN模型根据层数分为单层神经网络和多层神经网络，一般的 多层神经网络由输入层、隐藏层和输出层组成。这里，输入层是接收外部数 据的层，其中输入层的神经元的数量与输入变量的数量相同；隐藏层位于输 入层和输出层之间，接收来自输入层的信号以提取特征并且将特征传输到输 出层；而输出层接收来自隐藏层的信号，并将接收到的信号输出到外部。神 经元之间的输入信号乘以值为零(0)到一(1)的每个连接强度，然后相加，如果 总和大于神经元的阈值，则神经元被激活并且通过激活函数被实现为输出 值。
[0005]同时，为了实现更高的人工智能，隐藏层数增加的人工神经网 络被称为深度神经网络(DNN)。
[0006]DNN有多种类型，但众所周知，卷积神经网络(CNN)易于从输 入数据中提取特征并识别特征模式。
[0007]卷积神经网络(CNN)是一种神经网络，其功能类似于人脑视觉 皮层中的图像处理。众所周知，卷积神经网络适用于图像处理。
[0008]参考图7，卷积神经网络以卷积通道和池化通道交替重复的形 式配置。在卷积神经网络中，大部分计算时间都被卷积运算占用。卷积神经 网络通过经由矩阵型内核提取每个通道的图像特征并且经由池化提供例如动 态或失真之类的动态平衡来识别对象。对于每个通道，通过输入数据和内核 的卷积得到特征图，并且应用例如修正线性单元(ReLU)之类的激活函数来生 成对应通道的激活图。然后可以应用池化。实际对模式进行分类的神经网络 位于特征提取神经网络的末端，并且称为全连接层。在卷积神经网络的计算 处理中，大部分计算都是通过卷积或矩阵乘法进行的。这时，从存储器中读 取必要内核的频率是相当频繁的。卷积神经网络的很大一部分操作需要时间 从存储器中读取与每个通道对应的内核。
[0009]存储器由多个存储单元组成，存储器的每个存储单元具有唯一 的存储地址。当人
工神经网络处理器生成存储在存储器中的内核读取命令 时，可能会出现几个时钟周期的延迟，直到访问与该存储器地址对应的存储 单元。
[0010]因此，存在一个问题，即从存储器中读取必要的内核并执行卷 积所消耗的时间和功率非常大。

技术实现思路

[0011]本公开的专利技术人已经认识到，在人工神经网络模型的推理操作 过程中，NPU会频繁地从单独的存储器读取人工神经网络模型各层的节点和/ 或内核的权重值。
[0012]本公开的专利技术人已经认识到，神经处理单元(NPU)从单独的存 储器读取人工神经网络模型的节点和/或内核的权重值的处理速度很慢并且消 耗大量能量。
[0013]本公开的专利技术人已经认识到，已经训练的人工神经网络模型的 内核彼此具有非常高的相似性。
[0014]本公开的专利技术人已经认识到，即使在一定范围内部分调整人工 神经网络模型的某些内核的权重值，人工神经网络模型的推理准确度也不会 大幅下降。
[0015]因此，本公开的专利技术人已经认识到，彼此具有非常高相似性的 内核可以利用参考内核通过简单等式来表达。
[0016]此外，本公开的专利技术人已经认识到，即使对模型进行训练或再 训练使得人工神经网络模型的内核之间的相似性很高，即内核之间的偏差很 小，人工神经网络模型的推理准确度也可以保持在商业上可用的水平。
[0017]因此，本公开的专利技术人已经认识到，可以通过在训练期间设置 成本函数来训练人工神经网络模型，以提高目标准确度并最小化人工神经网 络模型的参考内核与其他内核之间的最大偏差。
[0018]此外，本公开的专利技术人已经认识到，当最小化从单独的存储器 进行的节点和/或内核权重值的读取，并且使用神经处理单元(NPU)内的简单 操作来计算和使用靠近参考节点和/或内核的节点和/或内核的权重值时，可以 提高用于处理人工神经网络模型的系统的处理速度和/或降低其功耗。
[0019]因此，本公开的一个方面是提供一种能够以简单的算法生成调 制内核、减少存储器的读取操作次数、降低功耗的神经处理单元及其操作方 法。
[0020]然而，本公开不限于此，本领域技术人员将根据以下描述清楚 地理解其他方面。
[0021]根据本公开的实施方案，提供了一种包括电路的神经处理单元 (NPU)。所述电路可以包括：至少一个处理元件(PE)，其被配置为处理人工神 经网络(ANN)模型的操作；和至少一个存储器，其能配置为存储第一内核和 第一内核滤波器。所述NPU可以被配置为基于所述第一内核和所述第一内核 滤波器生成第一调制内核。
[0022]所述第一内核可以包括K
×
M矩阵，K和M是整数，并且所述 K
×
M矩阵可以包括适用于所述ANN模型的第一层的至少一个第一权重值或 多个权重值。
[0023]所述第一内核滤波器可以被配置为基于所述第一内核的至少一 个内核权重值与所述第一调制内核的至少一个调制内核权重值之间的差来生 成。
[0024]在所述ANN模型的训练过程期间设置所述第一内核滤波器。
[0025]所述电路可以被配置为基于所述第一内核和所述第一内核滤波 器生成所述第一
调制内核。
[0026]所述电路可以被配置为基于所述第一内核和第二内核滤波器生 成第二调制内核。所述第二内核滤波器可以被设置为通过将数学函数应用于 所述第一内核滤波器来生成，并且，所述数学函数可以包括delta函数、旋转 函数、转置函数、偏置函数(bias function)和全局权重函数中的至少一种。
[0027]所述电路可以被配置为基于所述第一内核、所述第一内核滤波 器、应用于所述第一内核或所述第一内核滤波器的所述数学函数、应用于所 述第一内核或所述第一内核滤波器的系数、以及应用于所述第一内核或所述 第一内核滤波器的偏移量中的一者。
[0028]所述至少一个存储器还可以配置为存储至少一个内核和至少一 个内核滤波器之间的映射信息，以生成至少一个调制内核。
[0029]所述ANN模型包括关于第一权重位的位分配的信息，所述第 一权重位包括在用于第一模式的第一内核滤波器中。
[0030]所述NPU可以以多种模式中的一种操作，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经处理单元(NPU)，其包括电路，所述电路包括：至少一个处理元件(PE)，其被配置为处理人工神经网络(ANN)模型的操作；和至少一个存储器，其能配置为存储第一内核和第一内核滤波器，其中，所述NPU被配置为基于所述第一内核和所述第一内核滤波器生成第一调制内核。2.根据权利要求1所述的NPU，其中所述第一内核包括K
×
M矩阵，K和M是整数，并且其中所述K
×
M矩阵包括适用于所述ANN模型的第一层的至少一个第一权重值或多个权重值。3.根据权利要求1所述的NPU，其中，所述第一内核滤波器被配置为基于所述第一内核的至少一个内核权重值与所述第一调制内核的至少一个调制内核权重值之间的差来生成。4.根据权利要求1所述的NPU，其中在所述ANN模型的训练过程期间设置所述第一内核滤波器。5.根据权利要求1所述的NPU，其中所述电路被配置为基于所述第一内核和所述第一内核滤波器生成所述第一调制内核。6.根据权利要求1所述的NPU，其中所述电路被配置为基于所述第一内核和第二内核滤波器生成第二调制内核。7.根据权利要求6所述的NPU，其中，所述第二内核滤波器被设置为通过将数学函数应用于所述第一内核滤波器来生成，并且其中，所述数学函数包括delta函数、旋转函数、转置函数、偏置函数和全局权重函数中的至少一种。8.根据权利要求1所述的NPU，其中，所述电路被配置为基于所述第一内核、所述第一内核滤波器、应用于所述第一内核或所述第一内核滤波器的所述数学函数、应用于所述第一内核或所述第一内核滤波器的系数、以及应用于所述第一内核或所述第一内核滤波器的偏移量中的一者。9.根据权利要求1所述的NPU，其中，所述至少一个存储器还能配置为存储至少一个内核和至少一个内核滤波器之间的映射信息，以生成至少一个调制内核。10.根据权利要求1所述的NPU，其中，所述ANN模型包括关于第一权重位的位分配的信息，所述第一权重位包括在用于第一模式的第一内核滤波器中。11.根据权利要求1所述的NPU，其中所述NPU以多种模式中的一种操作，所述多种模式包括：第一模式，其中将包括在所述第一内核中的多个权重位的第一部分应用于所述ANN模型；和第二模式，其中将所述第一内核中包括的多个权重位中的全部都应用于所述ANN模型。12.根据权利要求11所述的NPU，其中如果根据所述第一模式激活所述第一部分，则选择所述第一部分中的所述权重位。13.根据权利要求1所述的NPU，其中，所述第一内核包括被分组为第一部分和第二部分的多个权重位，以及其中，所述第一部分和所述第二部分被配置为选择...

【专利技术属性】
技术研发人员：金錄元，
申请(专利权)人：蒂普爱可斯有限公司，
类型：发明
国别省市：