用于生成人工神经网络模型的内核的NPU及其方法技术

提供了一种神经处理单元(NPU)、驱动人工神经网络(ANN)模型的方法和ANN驱动装置。NPU包括半导体电路，该半导体电路包括被配置为处理人工神经网络(ANN)模型的操作的至少一个处理元件(PE)；以及至少一个可配置以存储第一内核和第一内核滤波器的存储器。NPU被配置为基于第一内核和第一内核滤波器生成第一调制内核，并且基于第一内核和通过将数学函数应用于第一内核滤波器生成的第二内核滤波器而生成第二调制内核。通过减少从单独的存储器读取到人工神经网络处理器的内核的数据大小和/或通过减少存储器读取请求的数量来减少功耗和存储器读取时间。储器读取时间。储器读取时间。

【技术实现步骤摘要】
用于生成人工神经网络模型的内核的NPU及其方法
相关申请的交叉引用本申请要求于2020年12月29日向韩国知识产权局提交的韩国专利申请 No.10
‑
2020
‑
0186375的优先权，其公开内容通过引用并入本文。


[0001]本公开内容涉及人工神经网络。

技术介绍

[0002]人类具备可以进行识别、分类、推理、预测和控制/决策的智 能。人工智能(AI)是指人工模仿人类智能。
[0003]人脑由称为神经元的大量神经细胞组成。每个神经元通过称为 突触的连接与数百到数千个其他神经元相连。对生物神经元的工作原理和神 经元之间的连接关系进行建模以模拟人类智能，并且被称为人工神经网络 (ANN)模型。换句话说，人工神经网络是一个系统，其中模拟神经元的节点 以层结构连接。
[0004]ANN模型根据层数分为单层神经网络和多层神经网络，一般的 多层神经网络由输入层、隐藏层和输出层组成。这里，输入层是接收外部数 据的层，其中输入层的神经元的数量与输入变量的数量相同；隐藏层位于输 入层和输出层之间，接收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经处理单元(NPU)，其包括电路，所述电路包括：至少一个处理元件(PE)，其被配置为处理人工神经网络(ANN)模型的操作；和至少一个存储器，其能配置为存储第一内核和第一内核滤波器，其中，所述NPU被配置为基于所述第一内核和所述第一内核滤波器生成第一调制内核。2.根据权利要求1所述的NPU，其中所述第一内核包括K
×
M矩阵，K和M是整数，并且其中所述K
×
M矩阵包括适用于所述ANN模型的第一层的至少一个第一权重值或多个权重值。3.根据权利要求1所述的NPU，其中，所述第一内核滤波器被配置为基于所述第一内核的至少一个内核权重值与所述第一调制内核的至少一个调制内核权重值之间的差来生成。4.根据权利要求1所述的NPU，其中在所述ANN模型的训练过程期间设置所述第一内核滤波器。5.根据权利要求1所述的NPU，其中所述电路被配置为基于所述第一内核和所述第一内核滤波器生成所述第一调制内核。6.根据权利要求1所述的NPU，其中所述电路被配置为基于所述第一内核和第二内核滤波器生成第二调制内核。7.根据权利要求6所述的NPU，其中，所述第二内核滤波器被设置为通过将数学函数应用于所述第一内核滤波器来生成，并且其中，所述数学函数包括delta函数、旋转函数、转置函数、偏置函数和全局权重函数中的至少一种。8.根据权利要求1所述的NPU，其中，所述电路被配置为基于所述第一内核、所述第一内核滤波器、应用于所述第一内核或所述第一内核滤波器的所述数学函数、应用于所述第一内核或所述第一内核滤波器的系数、以及应用于所述第一内核或所述第一内核滤波器的偏移量中的一者。9.根据权利要求1所述的NPU，其中，所述至少一个存储器还能配置为存储至少一个内核和至少一个内核滤波器之间的映射信息，以生成至少一个调制内核。10.根据权利要求1所述的NPU，其中，所述ANN模型包括关于第一权重位的位分配的信息，所述第一权重位包括在用于第一模式的第一内核滤波器中。11.根据权利要求1所述的NPU，其中所述NPU以多种模式中的一种操作，所述多种模式包括：第一模式，其中将包括在所述第一内核中的多个权重位的第一部分应用于所述ANN模型；和第二模式，其中将所述第一内核中包括的多个权重位中的全部都应用于所述ANN模型。12.根据权利要求11所述的NPU，其中如果根据所述第一模式激活所述第一部分，则选择所述第一部分中的所述权重位。13.根据权利要求1所述的NPU，其中，所述第一内核包括被分组为第一部分和第二部分的多个权重位，以及其中，所述第一部分和所述第二部分被配置为选择...

【专利技术属性】
技术研发人员：金錄元，
申请(专利权)人：蒂普爱可斯有限公司，
类型：发明
国别省市：