神经网络计算装置及其快取管理方法制造方法及图纸

一种神经网络计算装置及其快取管理方法。神经网络计算装置包括计算电路、快取电路以及主存储器。计算电路进行包括第一层计算以及第二层计算的神经网络计算。在计算电路完成第一层计算而产生第二层计算所需的第一计算结果后，快取电路将第一计算结果保留于快取电路中直到第二层计算完成。在第二层计算完成后，快取电路将被保留于快取电路中的第一计算结果无效化，以避免第一计算结果被写入主存储器。

【技术实现步骤摘要】
神经网络计算装置及其快取管理方法
本专利技术涉及一种电子计算装置，且特别涉及一种神经网络(neuralnetwork)计算装置及其快取(Cache)管理方法。
技术介绍
快取(Cache)是可以和中央处理器(CentralProcessingUnit，CPU)进行高速数据交换的存储器。快取被配置于主存储器(mainmemory)和中央处理器之间。快取一般由静态随机存取存储器(staticrandomaccessmemory，SRAM)组成。SRAM结构较复杂。因成本考量，快取的容量是受到限制的。快取用以存放主存储器的少部分数据的复制品。当中央处理器处理数据时，中央处理器会先到快取中去寻找数据。如果数据已经被暂存于快取中，中央处理器就不需要从主存储器中读取数据。如果中央处理器到快取找不到数据，中央处理器需要到主存储器中找数据，这样系统的速率就会慢下来。随着时间的变化，最频繁存取的数据不是一成不变的。也就是说，刚才不频繁的数据，此时需要被频繁的存取；刚才还是频繁存取的数据，现在又不频繁了。所以快取中的数据要按照一定的算法来更换，这样才能保证本文档来自技高网...

【技术保护点】
1.一种神经网络计算装置，包括：/n一计算电路，适于进行一神经网络计算，其中该神经网络计算包括一第一层计算以及一第二层计算；/n一主存储器；以及/n一快取电路，耦接至该计算电路与该主存储器，其中/n在该计算电路完成该第一层计算而产生该第二层计算所需的一第一计算结果后，该快取电路将该第一计算结果保留于该快取电路中直到该第二层计算完成；以及/n在该第二层计算完成后，该快取电路将被保留于该快取电路中的该第一计算结果无效化，以避免该第一计算结果被写入该主存储器。/n

【技术特征摘要】
1.一种神经网络计算装置，包括：
一计算电路，适于进行一神经网络计算，其中该神经网络计算包括一第一层计算以及一第二层计算；
一主存储器；以及
一快取电路，耦接至该计算电路与该主存储器，其中
在该计算电路完成该第一层计算而产生该第二层计算所需的一第一计算结果后，该快取电路将该第一计算结果保留于该快取电路中直到该第二层计算完成；以及
在该第二层计算完成后，该快取电路将被保留于该快取电路中的该第一计算结果无效化，以避免该第一计算结果被写入该主存储器。


2.如权利要求1所述的神经网络计算装置，其中在该计算电路完成该第一层计算后并且在进行该第二层计算时，该快取电路将该第一计算结果提供给该计算电路以供该第二层计算使用。


3.如权利要求1所述的神经网络计算装置，其中该快取电路包括：
一快取存储器；以及
一快取控制电路，耦接至该计算电路与该快取存储器，其中
在该计算电路完成该第一层计算而产生该第二层计算所需的该第一计算结果后，该快取控制电路将该第一计算结果保留于该快取存储器中直到该第二层计算完成；
在该计算电路完成该第一层计算后并且在进行该第二层计算时，该快取控制电路将该第一计算结果从该快取存储器传输至该计算电路以供该第二层计算使用；以及
在该第二层计算完成后，该快取控制电路将被保留于该快取存储器中的该第一计算结果无效化，以避免该第一计算结果被写入该主存储器。


4.如权利要求1所述的神经网络计算装置，其中该快取电路将该神经网络计算的一数据定义为一权重类型、一来源类型、一目的类型、一来源锁定类型与一目的锁定类型其中一者，以及当该数据被定义为该来源锁定类型或该目的锁定类型时，该快取电路保证该数据不会被移出该快取电路。


5.如权利要求1所述的神经网络计算装置，其中
该快取电路将一权重数据与一来源数据提供给该计算电路，以供该第一层计算使用；以及
在该计算电路完成该第一层计算后，在该来源数据未被定义为一来源锁定类型的情况下，该快取电路将该来源数据无效化，以避免该来源数据被写入该主存储器。


6.如权利要求1所述的神经网络计算装置，其中
在该计算电路完成该第一层计算后，该快取电路将该第一计算结果定义为一目的类型；
在该第二层计算包括单一个计算操作的情况下，该快取电路将该第一计算结果维持为该目的类型；以及
在该第二层计算包括多个计算操作的情况下，该快取电路将该第一计算结果从该目的类型改定义为一目的锁定类型，以保证该第一计算结果不会被移出该快取电路。


7.如权利要求1所述的神经网络计算装置，其中
在该计算电路完成该第一层计算后，在该第二层计算包括单一个计算操作的情况下，该快取电路将该第一计算结果定义为一目的类型；以及
在该计算电路完成该第一层计算后，在该第二层计算包括多个计算操作的情况下，该快取电路将该第一计算结果定义为一目的锁定类型，以保证该第一计算结果不会被移出该快取电路。


8.如权利要求7所述的神经网络计算装置，其中
在该计算电路进行该单一个计算操作前，该快取电路将该第一计算结果从该目的类型改定义为一来源类型，以供该单一个计算操作使用；
该计算电路通过使用该第一计算结果去进行该单一个计算操作，以产生一第二计算结果；以及
在该单一个计算操作完成后，该快取电路将被定义为该来源类型的该第一计算结果无效化，以避免该第一计算结果被写入该主存储器。


9.如权利要求7所述的神经网络计算装置，其中
在该计算电路进行该多个计算操作前，该快取电路将该第一计算结果从该目的锁定类型改定义为一来源锁定类型以供该多个计算操作使用，并且保证该第一计算结果不会被移出...

【专利技术属性】
技术研发人员：顾德明，张炜，王渊峰，何贵翔，
申请(专利权)人：上海兆芯集成电路有限公司，
类型：发明
国别省市：上海;31