基于人工神经网络数据局部性的人工神经网络存储器系统技术方案

一种人工神经网络(ANN)的存储器系统包括：处理器，其用于处理人工神经网络模型；以及ANN存储器控制器，其被配置为控制存储在存储器中的ANN模型的数据的重新排列并且基于ANN模型的ANN数据局部性信息以读取突发模式操作存储在存储器中的ANN模型的数据。ANN存储器控制器可以接收预先生成的ANN数据局部性信息，或者处理器可以按顺序生成多个数据访问请求，使得ANN存储器控制器可以通过监控多个数据访问请求来生成ANN数据局部性信息。ANN存储器控制器基于人工神经网络数据局部性在接收来自处理器的请求之前准备数据，以减少存储器向处理器提供数据的延迟。理器提供数据的延迟。理器提供数据的延迟。

【技术实现步骤摘要】
基于人工神经网络数据局部性的人工神经网络存储器系统
相关申请的交叉引用本申请要求于2020年11月2日提交的韩国专利申请No.10
‑
2020
‑
0144308和于2021年4月6日提交的韩国专利申请No.10
‑
2021
‑
0044772号在韩国知识产权局的优先权，其公开内容通过引用并入本文。


[0001]本公开内容涉及一种基于人工神经网络的数据局部性的人工神经网络存储器系统，更具体地，涉及一种能够基于人工神经网络数据局部性在接收来自处理器的请求之前准备数据的人工神经网络存储系统。

技术介绍

[0002]随着人工智能推理能力的发展，例如声音识别、语音识别、图像识别、物体检测、驾驶员睡意检测、危险时刻检测和手势检测之类的各种推理服务被搭载在例如人工智能扬声器、智能手机、智能冰箱、VR设备、AR设备、人工智能闭路电视、以及人工智能(AI)机器人清洁器、平板电脑、笔记本电脑、自动驾驶汽车、双足机器人、四足机器人和工业机器人之类的各种电子设备中。
[0003]最近，随着深度学习技术的发展，基于大数据学习的人工神经网络推理服务的性能得到了发展。人工神经网络的学习和推理服务以海量的学习数据反复训练人工神经网络，并借助训练好的人工神经网络模型对各种复杂的数据进行推理。因此，通过利用人工神经网络技术向上述电子设备提供各种服务。
[0004]然而，利用人工神经网络的推理服务所需的功能和精度正在逐渐增加。相应地，人工神经网络模型的大小、计算量和学习数据的大小呈指数增长。能够处理人工神经网络模型的推理操作的处理器和存储器所需的性能逐渐提高。此外，人工神经网络推理服务被主动提供给基于云计算的可以轻松处理大数据的服务器。
[0005]同时，正在积极研究利用人工神经网络模型技术的边缘计算。边缘计算是指进行计算的边缘或外围部分。边缘计算是指直接产生数据的终端或与终端相邻的各种电子设备。边缘计算也称为边缘设备。边缘设备可用于立即可靠地执行必要的任务，例如需要在1/100秒内处理大量数据的自动无人机、自动机器人或自动车辆的那些。因此，边缘设备适用的领域正在迅速增加。

技术实现思路

[0006]本公开的专利技术人已经认识到，传统的人工神经网络模型的操作存在功耗高、发热、以及由存储器带宽较低和存储器延迟导致的处理器操作的瓶颈现象等问题。因此，专利技术人还认识到提高人工神经网络模型的操作处理性能存在各种困难，以及需要开发一种能够改善这些问题的人工神经网络存储器系统。
[0007]因此，本公开的专利技术人研究了一种适用于服务器系统和/或边缘计算的人工神经
网络(ANN)存储器系统。此外，本公开的专利技术人还研究了一种神经处理单元(NPU)或神经网络处理单元，其是为处理人工神经网络(ANN)模型而优化的ANN存储器系统的处理器。
[0008]首先，本公开的专利技术人认识到，为了提高人工神经网络的计算处理速度，关键是在人工神经网络模型的计算过程中有效控制存储器。本公开的专利技术人已经认识到，当人工神经网络模型被训练或推理时，如果没有适当地控制存储器，则没有提前准备必要的数据，从而存储器有效带宽的降低和/或存储器的数据的供应延迟可能经常发生。进一步地，本公开的专利技术人已经认识到，在这种情况下，会造成没有向处理器提供待处理数据的饥饿(starvation)或空闲(idle)状态，使得无法执行实际操作，从而导致操作性能的下降。
[0009]其次，本公开的专利技术人已经认识到人工神经网络模型的操作处理方法在已知技术的算法层面上的局限性。例如，已知预取算法是一种以概念层单元分析人工神经网络模型以便处理器以每一层单元从存储器读取数据的技术。然而，预取算法无法识别存在于处理器
‑
存储器级别(即硬件级别)的人工神经网络模型的字单元(word unit)或存储器访问请求单元中的人工神经网络数据局部性。本公开的专利技术人已经认识到，仅通过预取技术难以在处理器
‑
存储器级别优化数据发送/接收操作。
[0010]第三，本公开的专利技术人已经认识到“人工神经网络数据局部性”，其是人工神经网络模型的独特特征。本公开的专利技术人已经认识到在处理器
‑
存储器级别的字单元或存储器访问请求单元中存在人工神经网络数据局部性，并且有效存储器带宽被最大化并且提供给处理器的数据的延迟通过利用人工神经网络数据局部性最小化，从而提高处理器的人工神经网络学习/推理操作处理性能。
[0011]具体地，本公开的专利技术人所认知的人工神经网络模型的“人工神经网络数据局部性”是指处理器对人工神经网络进行计算处理所需的数据的字单元的次序(sequence)信息，其是在处理器处理特定的人工神经网络模型时，按照人工神经网络模型的结构和操作算法执行。此外，本公开的专利技术人已经认识到，在人工神经网络模型的操作处理次序中，为被提供给处理器的人工神经网络模型的迭代学习和/或推理的操作保持人工神经网络数据局部性。相应地，本公开的专利技术人认识到，在保持人工神经网络数据局部性时，处理器处理的人工神经网络操作所需的数据的处理次序保持在字单元中，并且提供或分析待用于人工神经网络操作的信息。换言之，处理器的字单元可以指作为待由处理器处理的基本单元的元件单元。例如，当神经处理单元处理N位输入数据与M位核权重相乘时，处理器的输入数据字单元可以是N位，并且权重数据的字单元可以是M位。此外，本公开的专利技术人已经认识到，处理器的字单元可以根据人工神经网络模型的层、特征图、内核(kernel)、激活函数等分别设置为不同的。相应地，本公开的专利技术人也认识到精确的存储器控制技术对于以字单元进行的操作是必要的。
[0012]本公开的专利技术人注意到，当人工神经网络模型由编译器编译以在特定处理器中执行时，人工神经网络数据局部性被构建。此外，专利技术人已经认识到可以根据应用于编译器和人工神经网络模型以及处理器的架构的算法的操作特性来构建人工神经网络数据局部性。另外，本公开的专利技术人已经认识到，即使在相同的人工神经网络模型中，待处理的人工神经网络模型的人工神经网络数据局部性也可以以各种形式构建，具体取决于处理器的人工神经网络模型的计算方法，例如特征图平铺，处理元件的平稳技术，处理器的处理元件数量，处理器中的特征图，例如权重之类的高速缓冲存储器容量，处理器中的存储器分层结构，或
者确定处理器的计算操作的次序以计算人工神经网络模型的编译器的算法特征。这是因为即使计算相同的人工神经网络模型，由于上述因素，处理器也会确定时钟单元中每个时刻所需的数据次序是不同的。也就是说，本公开的专利技术人已经认识到，人工神经网络模型的计算所必需的数据的次序在概念上是人工神经网络的层、单元卷积和/或矩阵乘法的计算次序。而且，本公开的专利技术人已经认识到，在物理计算所需的数据次序中，人工神经网络模型的人工神经网络数据局部性是在处理器
‑
存储器级别(即硬件级别)以字单元构建的。此外，本公开的专利技术人已经认识到人工神经网络数据局部性取决于处理器和用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工神经网络(ANN)的存储器系统，所述存储器系统包括：处理器，其被配置成处理ANN模型；和ANN存储器控制器，其被配置为：控制存储在存储器中的所述ANN模型数据的重新排列，以及基于所述ANN模型的ANN数据局部性信息，以读取突发模式操作存储在所述存储器中的所述ANN模型的数据。2.根据权利要求1所述的存储器系统，其中所述ANN存储器控制器还被配置为接收预先生成的ANN数据局部性信息。3.根据权利要求1所述的存储器系统，其中，所述处理器还被配置为依次生成多个数据访问请求，以及其中，所述ANN存储器控制器还被配置为通过监控所述多个数据访问请求来生成所述ANN数据局部性信息。4.根据权利要求1所述的存储器系统，其中，所述ANN存储器控制器还被配置为控制所述处理器与存储所述ANN模型的所述数据的所述存储器之间的通信。5.根据权利要求1所述的存储器系统，其中，所述ANN存储器控制器还被配置为基于所述ANN数据局部性信息以正向方向重新排列存储在所述存储器中的所述ANN模型的所述数据。6.根据权利要求1所述的存储器系统，其中所述处理器还被配置为依次生成多个数据访问请求，所述多个数据访问请求中的每一个包括所述存储器的存储器地址，以及其中，所述ANN存储器控制器还被配置为通过监控所述多个数据访问请求的所述存储器地址来重新排列所述ANN模型的所述数据。7.一种人工神经网络(ANN)的存储器系统，所述存储器系统包括：处理器，其被配置为生成用于处理神经网络模型的数据访问请求；ANN存储器控制器，其被配置成基于所述ANN模型的ANN数据局部性信息生成与所述数据访问请求对应的存储器访问请求；以及存储器，其被配置为基于所述ANN数据局部性信息以读取突发模式向所述ANN控制器提供与所述存储器访问请求相对应的数据。8.根据权利要求7所述的存储器系统，其中，所述处理器还被配置为依次生成多个数据访问请求，以及其中，所述ANN存储器控制器还被配置为基于与所述多个数据访问请求对应的所述存储器的存储器地址来确定所述多个数据访问请求是否能在所述读取突发模式下操作。9.根据权利要求8所述的存储器系统，其中，如果确定所述存储器不能在所述读取突发模式下操作，则所述ANN存储器控制器还被配置为将与所述多个数据访问请求对应的数据存储在所述存储器的存储器地址中，所述存储器地址启用所述读取突发模式。10.根据权利要求8所述的存储器系统，其中，所述存储器的所述存储器地址包括与所述多个数据访问请求中的数据访问请求对应的第一存储器地址和启用所述读取突发模式的操作的第二...

【专利技术属性】
技术研发人员：金錄元，
申请(专利权)人：蒂普爱可斯有限公司，
类型：发明
国别省市：