基于NVM进行AI计算的芯片架构制造技术

本发明专利技术提供的一种基于NVM进行AI计算的芯片架构，包括通过总线通信连接的NVM阵列、外部接口模块、NPU和MCU；采用NPU和NVM相结合进行AI神经网络计算，神经网络的权重参数数字化存储在NVM阵列中，MCU接收外部的AI运算指令控制NPU及NVM阵列实现神经网络计算，MCU控制NVM阵列加载其内部存储的神经网络的权重参数，通过运行的程序和神经网络模型来进行AI计算，与现有各类采用NVM进行模拟运算的存算方案相比，数字存储与运算方式运算结构灵活，可靠性好、精度高、读取准确度高，故此本发明专利技术在突破采用片外NVM存储速度瓶颈以及降低外部输入功耗的同时，又具备高度的可实施性、灵活性以及可靠性。性。性。

【技术实现步骤摘要】
基于NVM进行AI计算的芯片架构


[0001]本专利技术涉及AI(Artificial Intelligence，人工智能)
，特别涉及一种基于NVM(non
‑
volatile memory，非易失性存储)进行AI计算的芯片架构。

技术介绍

[0002]AI的算法来源于人脑的结构的启示。人脑是一个由大量神经元复杂连接的网络，每个神经元通过大量的树突连接大量的其他神经元，接收信息，每一个连接点叫突触(Synapse)。在外部刺激积累到一定程度后，产生一个刺激信号，通过轴突传送出去。轴突有大量的末梢，通过突触，连接到大量其他神经元的树突。就是这样一个由简单功能的神经元组成的网络，实现了人类所有的智能活动。人的记忆和智能，普遍被认为存储在每一个突触的不同的耦合强度里。
[0003]从上世纪60年代兴起的神经网络算法，用一个函数来模仿神经元的功能。函数接受多个来自其他神经元的输入，每个输入有不同的权重，输出是每一个输入与相应的神经元连接权重相乘再求和。函数输出再输入到下一层其他的神经元，组成一个神经网络。
[0004]常见的AI芯片在算法上针对网络计算优化了矩阵并行计算，但因为AI计算需要极高的存储读取带宽，把处理器和内存、存储分离的架构遇到了读取速度的瓶颈，也受限于外部存储读取功耗。业界已经开始广泛研究存储内计算(in
‑
memory
‑
computing)的架构。
[0005]目前采用NVM的存储内计算的方案，都是利用NVM采用模拟信号的形式存储神经网络中的权重，把神经网络的计算通过模拟信号加乘的方法实现，具体范例参见公开号为CN109086249A的中国专利申请。这类方案已经有了不少科研成果，但实际应用仍有困难。因为实用的神经网络基本都有很多的层和非常复杂的连接结构，模拟信号在实现神经网络计算过程中在层间的传递、进行各种信号处理时非常不方便，模拟计算阵列结构僵化，不利于支持灵活的神经网络结构。另外，模拟信号的存储、读写与计算中各种噪音和误差会影响到存储的神经网络模型的可靠性和计算的准确性受限。

技术实现思路

[0006]本专利技术的目的是提供一种基于NVM进行AI计算的芯片架构，克服现有的存储内计算的方案利用NVM采用模拟信号的形式存储神经网络中的权重时，模拟信号在实现神经网络计算过程中在层间的传递、进行各种信号处理时非常不方便，模拟计算阵列结构僵化，不利于支持灵活的神经网络结构，以及模拟信号的存储、读写与计算中各种噪音和误差会影响到存储的神经网络模型的可靠性和计算的准确性受限的缺陷，提供一种在突破了外部存储的速度瓶颈及降低外部输入的功耗的同时又具有更好的灵活性、高度的可实施性以及可靠性的基于NVM进行AI计算的芯片架构。
[0007]为了达到上述目的，本专利技术提供一种基于NVM进行AI计算的芯片架构，包括通过总线通信连接的NVM阵列、外部接口模块、NPU(嵌入式神经网络处理器)和MCU(Microcontroller Unit，微控制单元)；
[0008]所述NVM阵列用于片内存储数字化的神经网络的权重参数、所述MCU运行的程序以及神经网络模型；
[0009]所述NPU用于神经网络的数字域加速计算；
[0010]所述外部接口模块用于接收外部的AI运算指令、输入数据以及向外输出AI计算的结果；
[0011]所述MCU用于基于所述AI运算指令执行所述程序，以控制所述NVM阵列和所述NPU对所述输入数据进行AI计算，以得到所述AI计算的结果。
[0012]本方案提供的芯片架构中NPU和NVM相结合进行AI神经网络计算，其中神经网络的权重参数数字化的存储在芯片内部的NVM阵列中，神经网络计算也是数字域计算，具体通过MCU基于外部的AI运算指令控制NPU及NVM阵列实现，MCU控制NVM阵列包括加载其内部存储的神经网络的权重参数、所述MCU运行的程序以及神经网络模型来进行AI计算，与现有各类采用NVM进行模拟运算的存算方案相比，数字存储与运算方式运算结构灵活，NVM存储的信息相比于模拟信号的多能级存储可靠性好、精度高、读取准确度高，故此本方案在突破采用片外NVM存储速度瓶颈以及降低外部输入功耗的同时，又具备高度的可实施性、灵活性以及可靠性。
[0013]进一步的，所述芯片架构还包括高速数据读取通道，所述NPU通过高速数据读取通道从所述NVM阵列读取所述权重参数。
[0014]本方案除了包括片内总线之外，在NPU和NVM阵列之间还设立高速数据读取通道，用于支持NPU进行数字域运算时对于神经网络的权重参数即权重数据的高速读取的带宽要求。
[0015]进一步的，所述NVM阵列设有读通道，所述读通道为N路，N为正整数，在一个读周期内所述读通道共读取N比特数据，所述NPU用于通过所述高速数据读取通道经所述读通道从所述NVM阵列读取所述权重参数。
[0016]本方案设立读通道，读通道为N路，优选的，N取128～512，一个读周期(通常30
‑
40纳秒)可以读取N比特的数据。NPU通过高速数据读取通道经读通道从NVM阵列读取神经网络的权重参数，此带宽远高于片外NVM可支持的读取速度，能够支持常用神经网络推理计算所需的参数读取速度需求。
[0017]进一步的，所述高速数据读取通道的位宽为m比特，m为正整数；所述芯片架构还包括数据转换单元，所述数据转换单元包括缓存模块和顺序读取模块，所述缓存模块用于按周期依次缓存经所述读通道输出的权重参数，所述缓存模块的容量为N*k比特，k表示周期数；所述顺序读取模块用于将所述缓存模块中的缓存数据转换成m比特位宽后经所述高速数据读取通道输出至所述NPU，其中N*k为m的整数倍。
[0018]本方案还包括一数据转换单元，针对读通道的数量同高速数据读取通道的位宽不一致和/或频率异步的情况，数据转换单元用于把数据转换成同高速数据读取通道相同比特宽度的数据的组合，通常为小宽度(例如32比特)的字的组合。NPU以自身的时钟频率(可达1GHz以上)经高速数据读取通道从数据转换单元读取数据。
[0019]本方案提供的数据转换单元包含一个含N*k比特的缓存和一个一次输出m比特的顺序读取器，N*k是m的整数倍；读通道连接NVM阵列，每个周期内可以输出N比特，缓存内可以存入k个周期数据；高速数据读取通道宽度是m比特。其中，高速数据读取通道可以包含读
写指令(CMD)和回复(ACK)信号，与NVM阵列读取控制电路连接。读操作完成后，ACK信号通知高速数据读取通道，还可以同时通知芯片内总线，高速数据读取通道通过顺序读取模块分多次异步把缓存中的数据输入NPU。
[0020]进一步的，所述芯片架构还包括SRAM(Static Random
‑
Access Memory，静态随机存取存储器)，所述SRAM通过所述总线与所述NVM阵列、所述外部接口模块、所述NPU以及所述MCU通信连接；所述SRAM用于缓存所述MCU执行所述程序过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NVM进行AI计算的芯片架构，其特征在于，包括通过总线通信连接的NVM阵列、外部接口模块、NPU和MCU；所述NVM阵列用于片内存储数字化的神经网络的权重参数、所述MCU运行的程序以及神经网络模型；所述NPU用于神经网络的数字域加速计算；所述外部接口模块用于接收外部的AI运算指令、输入数据以及向外输出AI计算的结果；所述MCU用于基于所述AI运算指令执行所述程序，以控制所述NVM阵列和所述NPU对所述输入数据进行AI计算，以得到所述AI计算的结果。2.如权利要求1所述的基于NVM进行AI计算的芯片架构，其特征在于，所述芯片架构还包括高速数据读取通道；所述NPU还用于通过所述高速数据读取通道从所述NVM阵列读取所述权重参数。3.如权利要求2所述的基于NVM进行AI计算的芯片架构，其特征在于，所述NVM阵列设有读通道，所述读通道为N路，N为正整数，在一个读周期内所述读通道共读取N比特数据，所述NPU用于通过所述高速数据读取通道经所述读通道从所述NVM阵列读取所述权重参数。4.如权利要求3所述的基于NVM进行AI计算的芯片架构，其特征在于，所述高速数据读取通道的位宽为m比特，m为正整数；所述芯片架构还包括数据转换单元，所述数据转换单元包括缓存模块和顺序读取模块，所述缓存模块用于按周期依次缓存经所述读通道输出的权重参数，所述缓存模块的容量为N*k比特，k表示周期数；所述顺序读取模块用于将所述缓存模块中的缓存数据转换成m比特位宽后经所述高速数据读取通道输出至所述NPU，其中N*k为m的整数倍。5.如权利要求1所述的基于NVM进行AI计算的芯片架构，其特征在于，所述芯片架构还包括SRAM，所述SRAM通过所述总线与所述NVM阵列、所述外部接口模...

【专利技术属性】
技术研发人员：丛维，林小峰，金生，
申请(专利权)人：南京优存科技有限公司，
类型：发明
国别省市：