一种基于通用加载加速器的推送式加载系统技术方案

技术编号:46313621 阅读:7 留言:0更新日期:2025-09-05 18:47
本申请涉及集成电路设计技术领域,特别是涉及一种基于通用加载加速器的推送式加载系统,该系统通过推送控制器主动向各个流处理器推送各个流处理器分别所需的参考子数据,能够避免现有技术中多个流处理器同时发起加载请求的情况,从而避免了数据拥堵的情况,提高了GPU芯片进行矩阵处理的整体效率和性能,而且,通过通用加载加速器能够使推送式加载应用任意数据地址分布具有可预测性的场景,提高推送式加载的灵活性和泛化性。

【技术实现步骤摘要】

本专利技术涉及集成电路设计,特别是涉及一种基于通用加载加速器的推送式加载系统


技术介绍

1、随着人工智能的快速发展,矩阵乘法计算在gpu(图形处理器)芯片的运算中占据较大比重,在现有技术中,通常由多个流处理器连接到缓存单元,缓存单元通过片上网络连接到内存控制器,流处理器在进行矩阵处理时,需要发送大量的加载请求到缓存单元,以从缓存单元中加载需要进行矩阵处理的数据。

2、然而,上述方法可能会遇到多个流处理器同时发起加载请求的情况,在此情况下,可能会因为流处理器到缓存单元的数据通路不足或者缓存单元数据积压而导致数据拥堵,流处理器只能等待拥堵消失,才能加载需要进行矩阵处理的数据进行下一步运算,造成了时钟周期的浪费,进而将了流处理器在进行矩阵处理时的性能。

3、有方法提出了基于中心张量加速器实现的用于矩阵处理的推送式加载系统,然而,数据地址分布具有可预测性的场景并非仅有矩阵处理场景,但因为中心张量加速器采用asic的定制化设计,使得中心张量加速器仅能够应用于矩阵地址计算,推送式加载难以应用在其他数据地址分布具有可预测性的场景,推送式加载的灵本文档来自技高网...

【技术保护点】

1.一种基于通用加载加速器的推送式加载系统,其特征在于,所述系统包括:N个流处理器、内存单元、目标缓存单元、部署于所述目标缓存单元侧的推送控制器和部署于所述目标缓存单元侧的通用加载加速器,其中,N为正整数;

2.根据权利要求1所述的基于通用加载加速器的推送式加载系统,其特征在于,所述通用加载加速器为可编程的,所述预设通用加载程序由用户自定义设置。

3.根据权利要求1所述的基于通用加载加速器的推送式加载系统,其特征在于,所述预设通用加载程序还包括推送子程序;

4.根据权利要求3所述的基于通用加载加速器的推送式加载系统,其特征在于,当所述预设加载程序仅包括...

【技术特征摘要】

1.一种基于通用加载加速器的推送式加载系统,其特征在于,所述系统包括:n个流处理器、内存单元、目标缓存单元、部署于所述目标缓存单元侧的推送控制器和部署于所述目标缓存单元侧的通用加载加速器,其中,n为正整数;

2.根据权利要求1所述的基于通用加载加速器的推送式加载系统,其特征在于,所述通用加载加速器为可编程的,所述预设通用加载程序由用户自定义设置。

3.根据权利要求1所述的基于通用加载加速器的推送式加载系统,其特征在于,所述预设通用加载程序还包括推送子程序;

4.根据权利要求3所述的基于通用加载加速器的推送式加载系统,其特征在于,当所述预设加载程序仅包括所述数据加载子程序和所述地址计算子程序时,针对任一参考子数据,所述推送控制...

【专利技术属性】
技术研发人员:王渝吴翔王庆成孟宾
申请(专利权)人:沐曦集成电路上海股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1