【技术实现步骤摘要】
缓存结构和电子设备
[0001]本公开的实施例涉及一种缓存结构和电子设备。
技术介绍
[0002]处理器的工作速度远高于内存,如果处理器直接访问内存读写数据,则需要等待一定的时间周期,因此访问内存的过程中通常采用高速缓冲存储装置(Cache)来提高系统效率以及处理器访问内存的速度。通常,处理器优先从Cache中查找数据,例如,若应用程序或软件请求的数据在Cache中存在,则称为缓存命中(Cache hit),反之称为缓存未命中(Cache miss)。
技术实现思路
[0003]本公开至少一实施例提供一种缓存结构,用于矩阵计算,其中,所述缓存结构包括N级缓存,所述N级缓存中的第i级缓存包括至少1个i级缓存节点,每个i级缓存节点包括具有只读权限的i级只读缓存区以及具有读写权限的i级读写缓存区;每多个i级缓存节点共享一个i+1级缓存节点,所有N
‑
1级缓存节点共享所述N级缓存中的第N级缓存包括的1个N级缓存节点,其中,所述N级缓存节点包括具有只读权限的N级只读缓存区以及具有读写权限的N级读写缓存区;所述第N级缓存与外部存储器电连接,每个1级缓存节点与对应的计算单元电连接;所述N级缓存中的具有只读权限的只读缓存区用于缓存所述矩阵计算中的作为计算输入参数的输入矩阵,以及在所述外部存储器和多个所述计算单元之间传输所述输入矩阵,所述N级缓存中的具有读写权限的读写缓存区用于缓存所述矩阵计算中的作为计算输出参数的输出矩阵,以及在所述外部存储器和多个所述计算单元之间传输所述输出矩阵,其中,N为大于1的 ...
【技术保护点】
【技术特征摘要】
1.一种缓存结构,用于矩阵计算,其中,所述缓存结构包括N级缓存,所述N级缓存中的第i级缓存包括至少1个i级缓存节点,每个i级缓存节点包括具有只读权限的i级只读缓存区以及具有读写权限的i级读写缓存区;每多个i级缓存节点共享一个i+1级缓存节点,所有N
‑
1级缓存节点共享所述N级缓存中的第N级缓存包括的1个N级缓存节点,其中,所述N级缓存节点包括具有只读权限的N级只读缓存区以及具有读写权限的N级读写缓存区;所述第N级缓存与外部存储器电连接,每个1级缓存节点与对应的计算单元电连接;所述N级缓存中的具有只读权限的只读缓存区用于缓存所述矩阵计算中的作为计算输入参数的输入矩阵,以及在所述外部存储器和多个所述计算单元之间传输所述输入矩阵,所述N级缓存中的具有读写权限的读写缓存区用于缓存所述矩阵计算中的作为计算输出参数的输出矩阵,以及在所述外部存储器和多个所述计算单元之间传输所述输出矩阵,其中,N为大于1的正整数,i为1至N
‑
1之间的任意正整数。2.根据权利要求1所述的缓存结构,其中,每个计算单元包括运算模块和寄存器阵列,每个计算单元的寄存器阵列用于存储所述输入矩阵中的部分参数,以及所述输出矩阵中的部分参数;每个计算单元的运算模块包括多个乘法器和/或乘加器,用于并行执行乘法计算和/或乘加计算。3.根据权利要求1所述的缓存结构,其中,所述矩阵计算包括矩阵乘法计算和/或矩阵乘加计算。4.根据权利要求1所述的缓存结构,其中,作为计算输入参数的输入矩阵的读取通过由所述N级缓存中的具有只读权限的只读缓存区组成的只读缓存通路读入相应计算单元中的寄存器阵列,作为计算输出参数的输出矩阵的读取通过由所述N级缓存中的具有读写权限的读写缓存区组成的读写缓存通路读入相应计算单元中的寄存器阵列,由所述相应计算单元中的运算模块进行计算后得到更新后的输出矩阵,所述更新后的输出矩阵通过所述读写缓存通路从所述相应计算单元写回至所述外部存储器或任一级缓存的读写缓存区。5.根据权利要求4所述的缓存结构,其中,响应于N为3,所述只读缓存通路包括所述相应计算单元对应的1级缓存节点中的只读缓存区,与所述1级缓存节点电连接的2级缓存节点中的只读缓存区,以及3级缓存节点中的只读缓存区;所述读写缓存通路包括所述相应计算单元对应的1级缓存节点中的读写缓存区,与所述1级缓存节点电连接的2级缓存节点中的读写缓存区,以及所述3级缓存节点中的读写缓存区。6.根据权利要求1
‑
5中任一项所述的缓存结构,其中,所述外部存储器为动态随机存储器。7.一种电子设备,包括如权利要求1
‑
6中任一项所述的缓存结构。8.根据权利要求7所述的电子设备,其中,所述电子设备包括与所述N级缓存一一对应的N级任务分发单元以及N个层级的线程组,每级任务分发单元包括至少一个任务分发单元,每个层级的线程组包括至少一个线程组,
所述N级任务分发单元中位于第j级的第j级任务分发单元的数量与所述N级缓存中对应的第j级缓存包括的j级缓存节点的数量相同且一一对应,所述N个层级的线程组中位于第j级的j级线程组的数量与所述N级缓存中对应的第j级缓存包括的j...
【专利技术属性】
技术研发人员:陈庆,袁庆,华芮,杨宇,容广健,刘洋,肖昊东,潘于,
申请(专利权)人:海光信息技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。