【技术实现步骤摘要】
本专利技术实施例涉及计算机,尤其涉及一种缓存访问装置、协处理器、异构计算系统、以及缓存访问方法。
技术介绍
1、随着人工智能的迅速发展,诸如chat gpt,llama等语言类大模型对于底层芯片的算力需求越来越大。对于目前的主流gpu/ai芯片,ddr(double data rate dram,双倍数据速率同步动态随机存取内存)/hbm(high bandwidth memory,高带宽存储)的访问带宽是整个芯片的性能设计瓶颈。同时,随着gpu/ai芯片的发展,诸如cpu的主处理器和诸如gpu的协处理器之间的数据交互需求也日益增长。
2、在主处理器与协处理器之间交互的数据量比较小的时候,主处理器与协处理器之间具有共享内存空间,主处理器与协处理器可以不通过各自的缓存来访问共享内存空间(即,非缓存访问)来避免缓存数据一致性问题。
3、如果将主处理器与协处理器之间的非缓存访问变更为缓存访问,则可以提升主处理器与协处理器之间数据交互的效率,同时也会导致缓存数据一致性的问题。
技术实现思路
1本文档来自技高网...
【技术保护点】
1.一种缓存访问装置,包括:
2.根据权利要求1所述的缓存访问装置,其中,所述缓存访问装置还包括队列管理单元,所述队列管理单元管理针对目标内存地址的缓存请求队列,将所述目标内存地址对应的缓存状态指示存在所述缓存数据的处理器发起的缓存请求确定为从缓存请求队列中优先出队。
3.根据权利要求2所述的缓存访问装置,其中,所述队列管理单元具体用于:
4.根据权利要求1所述的缓存访问装置,其中,所述第一缓存管理表包括多个比特位,每个比特位指示不同的内存地址范围,每个比特位的比特值指示该比特位对应的内存地址范围的第一缓存状态。
5.根
...【技术特征摘要】
1.一种缓存访问装置,包括:
2.根据权利要求1所述的缓存访问装置,其中,所述缓存访问装置还包括队列管理单元,所述队列管理单元管理针对目标内存地址的缓存请求队列,将所述目标内存地址对应的缓存状态指示存在所述缓存数据的处理器发起的缓存请求确定为从缓存请求队列中优先出队。
3.根据权利要求2所述的缓存访问装置,其中,所述队列管理单元具体用于:
4.根据权利要求1所述的缓存访问装置,其中,所述第一缓存管理表包括多个比特位,每个比特位指示不同的内存地址范围,每个比特位的比特值指示该比特位对应的内存地址范围的第一缓存状态。
5.根据权利要求1所述的缓存访问装置,其中,所述第二缓存管理表包括多个缓存行,每个...
【专利技术属性】
技术研发人员:李寅,朱韵鹏,陈洁君,杜汉平,涂家铭,
申请(专利权)人:平头哥上海半导体技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。