【技术实现步骤摘要】
一种神经网络张量处理器的数据流高速缓存
本专利技术涉及神经网络张量处理器领域，尤其涉及一种神经网络张量处理器的数据流高速缓存。
技术介绍
传统处理器(CPU、GPU、DSP)使用Cache高速缓存技术在片上存储器内缓存最近经常使用的指令和数据，从而解决芯片内部存储器与外部存储器在内存速度和内存带宽上的巨大鸿沟(芯片内部存储器的内存速度要远大于外部存储器）。在现代处理器系统中，计算性能远大于存储性能，因此处理器内存子系统对现代处理器系统性能的影响起着至关重要的作用。Cache高速缓存技术使用芯片内部的存储器保存最近使用的指令和数据，并使用指令和数据的内存地址作为索引地址来实现指令和数据的查找与匹配。处理器内核的每个指令和数据的请求都首先访问Cache高速缓存，如果地址命中，则意味着所需的指令和数据已经存储在cache存储器中，无需访问片外存储器便可立刻获得所需的指令和数据。Cache高速缓存使用指令和数据的内存地址来寻址，而该地址由传统处理器架构中的指令所决定。Cache是专为指令集架构所设计的高速缓存...
【技术保护点】
1.一种神经网络张量处理器的数据流高速缓存，其特征在于：包括数据地址映射模块、数据地址生成模块、特征数据SRAM存储器和参数数据SRAM存储器；/n所述数据流高速缓存外部连接一个大容量的片外存储器和一个神经网络计算模块，所述片外存储器保存所有的特征数据和参数数据，所述数据流高速缓存用于根据神经网络计算模块正在计算的输出张量的行地址，通过所述数据地址生成模块、所述数据地址映射模块生成的特征地址和参数地址，预取对应的特征数据和参数数据并缓存在小容量的所述特征数据SRAM存储器和所述参数数据SRAM存储器中。/n
【技术特征摘要】
1.一种神经网络张量处理器的数据流高速缓存，其特征在于：包括数据地址映射模块、数据地址生成模块、特征数据SRAM存储器和参数数据SRAM存储器；
所述数据流高速缓存外部连接一个大容量的片外存储器和一个神经网络计算模块，所述片外存储器保存所有的特征数据和参数数据，所述数据流高速缓存用于根据神经网络计算模块正在计算的输出张量的行地址，通过所述数据地址生成模块、所述数据地址映射模块生成的特征地址和参数地址，预取对应的特征数据和参数数据并缓存在小容量的所述特征数据SRAM存储器和所述参数数据SRAM存储器中。
2.如权利要求1所述的数据流高速缓存，其特征在于：所述数据地址生成模块用于接收来自神经网络计算模块的输出张量行地址；根据该行地址，所述数据地址生成模块将产生计算该输出张量行数据的所有特征输入数据和参数输入数据的地址，并按照顺序把生成的地址发送给所述数据地址映射模块；所述数据地址生成模块还接收来自外部其他控制模块的配置信息，该配置信息包括输入特征张量的尺寸、输入参数张量的尺寸、输出特征张量的尺寸以及计算模式；根据该配置信息，所述数据地址生成模块自动计算获得输出张量行与输入张量的对应关系，当计算某行输出张量时，按顺序产生计算所需的正确的输入张量数据的地址。
3.如权利要求1所述的数据流高速缓存，其特征在于：所述数据地址映射模块包括地址转换模块、特征数据SRAM存储器映射表、参数数据SRAM存储器映射表、映射匹配控制模块、数据预取写模块和数据读模块；
所述地址转换模块所述用于将特征地址转换为特征行h，将参数地址转换为参数n；其中，特征行h代表该特征地址所指定数据所属的特征行号，参数n代表该参数地址所指定数据所属的参数索引号；
所述特征数据SRAM存储器映射表用于存储所述特征数据SRAM存储器内所保存的特征张量行的行号；所述特征行h与所述特征数据SRAM存储器映射表的内容进行查询匹配，该匹配操作由所述映射匹配控制模块完成；如果匹配成功，则代表特征地址所对应的张量已存储于所述特征数据SRAM存储器中，该地址将通过所述数据读模块发送给所述特征数据SRAM存储器用于对应数据的读取；如果匹配不成功，则代表特征地址所对应的张量不存储于所述特征数据SRAM存储器中，该地址将发送给所述数据预取写模块；
所述参数数据SRAM存储器映射表存储所述参数数据SRAM存储器内所保存的参数张量的索引号；所述参数n与参...
【专利技术属性】
技术研发人员：罗闳訚，周志新，何日辉，
申请(专利权)人：厦门壹普智慧科技有限公司，
类型：发明
国别省市：福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。