缓存访问装置、协处理器、异构计算系统、以及缓存访问方法制造方法及图纸

技术编号:43808522 阅读:20 留言:0更新日期:2024-12-27 13:25
本发明专利技术实施例提供了一种缓存访问装置、协处理器、异构计算系统、以及缓存访问方法。所述缓存访问装置包括:第一缓存管理单元,根据协处理器发起的缓存请求,查询第一缓存管理表,得到第一缓存状态,第一缓存管理表指示内存空间的每个内存地址范围在主处理器中的第一缓存空间是否存在缓存数据的第一缓存状态;第二缓存管理单元,如果第一缓存状态指示第一缓存空间中不存在缓存数据,则第二缓存管理单元根据协处理器发起的缓存请求,查找第二缓存管理表,得到第二缓存状态,第二缓存管理表指示不同内存地址在协处理器中的多个第二缓存空间中是否存在缓存数据的第二缓存状态;缓存访问执行单元,根据第二缓存状态执行缓存请求的访问。

【技术实现步骤摘要】

本专利技术实施例涉及计算机,尤其涉及一种缓存访问装置、协处理器、异构计算系统、以及缓存访问方法


技术介绍

1、随着人工智能的迅速发展,诸如chat gpt,llama等语言类大模型对于底层芯片的算力需求越来越大。对于目前的主流gpu/ai芯片,ddr(double data rate dram,双倍数据速率同步动态随机存取内存)/hbm(high bandwidth memory,高带宽存储)的访问带宽是整个芯片的性能设计瓶颈。同时,随着gpu/ai芯片的发展,诸如cpu的主处理器和诸如gpu的协处理器之间的数据交互需求也日益增长。

2、在主处理器与协处理器之间交互的数据量比较小的时候,主处理器与协处理器之间具有共享内存空间,主处理器与协处理器可以不通过各自的缓存来访问共享内存空间(即,非缓存访问)来避免缓存数据一致性问题。

3、如果将主处理器与协处理器之间的非缓存访问变更为缓存访问,则可以提升主处理器与协处理器之间数据交互的效率,同时也会导致缓存数据一致性的问题。


技术实现思路b>

1本文档来自技高网...

【技术保护点】

1.一种缓存访问装置,包括:

2.根据权利要求1所述的缓存访问装置,其中,所述缓存访问装置还包括队列管理单元,所述队列管理单元管理针对目标内存地址的缓存请求队列,将所述目标内存地址对应的缓存状态指示存在所述缓存数据的处理器发起的缓存请求确定为从缓存请求队列中优先出队。

3.根据权利要求2所述的缓存访问装置,其中,所述队列管理单元具体用于:

4.根据权利要求1所述的缓存访问装置,其中,所述第一缓存管理表包括多个比特位,每个比特位指示不同的内存地址范围,每个比特位的比特值指示该比特位对应的内存地址范围的第一缓存状态。

5.根据权利要求1所述的缓...

【技术特征摘要】

1.一种缓存访问装置,包括:

2.根据权利要求1所述的缓存访问装置,其中,所述缓存访问装置还包括队列管理单元,所述队列管理单元管理针对目标内存地址的缓存请求队列,将所述目标内存地址对应的缓存状态指示存在所述缓存数据的处理器发起的缓存请求确定为从缓存请求队列中优先出队。

3.根据权利要求2所述的缓存访问装置,其中,所述队列管理单元具体用于:

4.根据权利要求1所述的缓存访问装置,其中,所述第一缓存管理表包括多个比特位,每个比特位指示不同的内存地址范围,每个比特位的比特值指示该比特位对应的内存地址范围的第一缓存状态。

5.根据权利要求1所述的缓存访问装置,其中,所述第二缓存管理表包括多个缓存行,每个...

【专利技术属性】
技术研发人员:李寅朱韵鹏陈洁君杜汉平涂家铭
申请(专利权)人:平头哥上海半导体技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1