【技术实现步骤摘要】
高带宽存储器和系统
本文中所公开的主题涉及高带宽存储器(HBM)。更具体地,本文中所公开的主题涉及一种用于基于数据特征来减少内部和外部HBM访问从而改善HBM总体性能的系统和方法。
技术介绍
诸如深度神经网络的机器学习应用使用计算和存储器来训练不同的数据集以提供准确的推论。随着高性能计算(HPC)和图形算法变成进一步的数据和计算密集型,高带宽存储器需求将会变得更加重要,尤其是对于存储器引脚受限的如图形处理单元(GPU)的加速器而言。
技术实现思路
示例实施例提供了一种可以包括存储器和控制器的HBM。所述控制器可以从HBM外部的处理器接收数据写入请求,并且所述控制器可以被配置为:将对数据写入请求的数据的至少一个地址加以指示的条目存储在所述存储器中,其中对所述条目的存储基于数据写入请求可以包括稀疏数据或数据值相似度,其中稀疏数据包括数据写入请求的数据中的预定百分比的等于零的数据值,并且数据值相似度可以包括数据写入请求的数据中的数据值的预定量的空间值局部度;并且基于包括稀疏数据或数据值相似度的数据写入请求来生成数据总线在数据写入请求的周期时间期间可用于操作的指示。在一个实施例中,等于零的数据值的所述预定百分比可以基于预定数据粒度。在另一实施例中,空间值局部度的所述预定量可以基于预定数据粒度。另一示例实施例提供了一种可以包括处理器、HBM和控制器的系统。所述控制器可以包括存储器,并且可以被配置为:从所述处理器接收数据写入请求;基于可以包括稀疏数据的数据写入请求将对数据写入请求的数据的至少一个地址加 ...
【技术保护点】
1.一种高带宽存储器HBM,包括:/n存储器;以及/n控制器,从所述HBM外部的处理器接收数据写入请求,所述控制器被配置为:/n将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述存储器中,其中对所述条目的存储基于所述数据写入请求的数据,所述数据包括稀疏数据或数据值相似度,其中所述稀疏数据包括所述数据写入请求的数据中的预定百分比的等于零的数据值,并且所述数据值相似度包括所述数据写入请求的数据中的数据值的预定量的空间值局部度;以及/n基于包括所述稀疏数据或所述数据值相似度的所述数据写入请求,生成数据总线在所述数据写入请求的周期时间期间能够用于操作的指示。/n
【技术特征摘要】
20190501 US 62/841,815;20190912 US 16/569,6571.一种高带宽存储器HBM,包括:
存储器;以及
控制器,从所述HBM外部的处理器接收数据写入请求,所述控制器被配置为:
将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述存储器中,其中对所述条目的存储基于所述数据写入请求的数据,所述数据包括稀疏数据或数据值相似度,其中所述稀疏数据包括所述数据写入请求的数据中的预定百分比的等于零的数据值,并且所述数据值相似度包括所述数据写入请求的数据中的数据值的预定量的空间值局部度;以及
基于包括所述稀疏数据或所述数据值相似度的所述数据写入请求,生成数据总线在所述数据写入请求的周期时间期间能够用于操作的指示。
2.根据权利要求1所述的HBM,其中等于零的数据值的所述预定百分比基于预定数据粒度。
3.根据权利要求1所述的HBM,其中空间值局部度的所述预定量基于预定数据粒度。
4.根据权利要求1所述的HBM,其中所述控制器还被配置为从所述HBM外部的所述处理器接收针对所述HBM的读取访问的数据读取请求,以及
其中所述控制器还被配置为确定与所述数据读取请求相对应的地址是否被存储为所述存储器中的条目。
5.根据权利要求4所述的HBM,其中所述控制器还被配置为除并行存储器查找和HBM查找之外还执行边带访问。
6.根据权利要求1所述的HBM,其中所述条目包括与所述数据写入请求的数据的所述数据值相似度有关的信息,以及
其中所述控制器还被配置为压缩所述条目以减小数据宽度。
7.根据权利要求1所述的HBM,其中所述条目包括元数据,以及
其中所述控制器还被配置为将所述元数据压缩为所述存储器中的一系列块。
8.一种高带宽存储器HBM系统,包括:
处理器;
高带宽存储器HBM;以及
包括存储器的控制器,所述控制器被配置为:
从所述处理器接收数据写入请求,
基于所述数据写入请求的数据将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述控制器的所述存储器中,其中所述数据包括稀疏数据,所述稀疏数据包括所述数据写入请求的数据中的预定百分比的等于零的数据值,以及
基于包括所述稀疏数据的所述数据写入请求,生成数据总线在所述数据写入请求的周期时间期间能够用于操作的指示。
9.根据权利要求8所述的HBM系统,其中所述稀疏数据的等于零的数据值的所述预定百分比基于预定数据粒度。
10.根据权利要求8所述的HBM系统,其中所述控制器还被配置为:基于还包括数据值相似度的所述数据写入请求的数据,将对所述数据写入请求的数据的至少一个地址加以指示的条目存储在所述控制器的所述存储器中,以及
基于还包括所述数据值相似度的所述数据写入请求,生成数据总线在所述数据写入请求的周期时间期间能够用于操作的所述指示,并且
其中所述数据值相似度包括所述数据写入请求的数据中的数据值的预定量的空间值局部度,以及
其中所述数据值相似度的空间值局部度...
【专利技术属性】
技术研发人员:克里希纳·泰贾·马拉迪,牛迪民,郑宏忠,
申请(专利权)人:三星电子株式会社,
类型:发明
国别省市:韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。