用于改善能量效率的装置和方法制造方法及图纸

本公开涉及用于改善能量效率的装置和方法。关于访问模式的先验知识被利用来为一般矩阵操作改善能量耗散。这例如对于诸如图像处理、深度神经网络和科学计算工作负载之类的众多应用改善了存储器访问能量。在一些实施例中，关于访问模式的先验知识允许了突发读取和/或写入操作。这样，突发模式解决方案在读取(RD)和写入(WR)操作中都能提供能量节省。对于机器学习或推断，权重值是提前已知的(例如，推断操作)，并且因此缓存线中的未使用字节被利用来存储稀疏图谱，该稀疏图谱被用于禁止从缓存线的上半部或下半部的读取，从而节省了动态电容。电容。电容。

【技术实现步骤摘要】
用于改善能量效率的装置和方法


[0001]本公开涉及带有优化的突发读取和写入数据访问的节能存储器阵列，以及用于从/向其中未使用元数据被存储在稀疏图谱中的重布置存储器子阵列读取和写入数据的方案。

技术介绍

[0002]诸如图形、深度学习、机器学习、人工智能处理等等之类的许多应用使用静态随机访问存储器(SRAM)来保存供训练的权重和已训练权重。传统上，六管(six transistor，6T)SRAM是在没有关于访问模式的任何知识的情况下设计的，即，是针对随机访问模式设计的。另外，存储器读取对于矩阵向量乘法内核贡献了相当大量的动态电容(dynamic capacitance，Cdyn)，这种内核对于评估诸如卷积、完全连接或递归神经网络之类的各种深度神经网络(deep neural network，DNN)拓扑是关键的。

技术实现思路

[0003]根据本公开的一方面，提供了一种用于改善能量效率的装置，该装置包括：第一逻辑，用于确定对于从存储器读取和/或向存储器写入数据是否使能突发模式，其中所述存储器包括具有N个切片的部分；其中每个切片包括耦合到位线(BL)、位线的反相(BL#)、列写入选择器和读取选择器的M个比特单元；其中来自每个切片的比特单元可由字线控制；以及第二逻辑，用于在确定所述突发模式被使能之后对于所述N个切片生成一个预充电脉冲和一个字线脉冲以执行M个读取操作。
[0004]根据本公开的一方面，提供了一种用于改善能量效率的方法，该方法包括：确定对于从存储器读取和/或向存储器写入数据是否使能突发模式，其中所述存储器包括具有N个切片的部分，其中每个切片包括M列并且每一列包括耦合到位线(BL)、位线的反相(BL#)、列写入选择器和读取选择器的P个比特单元，其中来自每个切片的比特单元可由字线控制；并且在确定所述突发模式被使能之后对于所述N个切片生成一个预充电脉冲和一个字线脉冲以执行M个读取操作。
[0005]根据本公开的一方面，提供了一种系统，包括：存储器；耦合到所述存储器的处理器；耦合到所述存储器的存储器控制器，其中所述存储器控制器包括如上所述的装置；以及无线接口，用于允许所述处理器与另一装置通信。
[0006]根据本公开的一方面，提供了一种机器可读存储介质，具有机器可读指令，所述指令当被执行时使得一个或多个处理器执行如上所述的方法。
附图说明
[0007]通过以下给出的详细描述并且通过本公开的各种实施例的附图将更充分理解本公开的实施例，然而详细描述和附图不应当被理解为将本公开限制到特定实施例，而只是用于说明和理解的。
[0008]图1图示了基线SRAM阵列的4比特切片。
[0009]图2图示了基线SRAM阵列的读出放大器。
[0010]图3图示了示出在四个周期中完成四个读取操作的基线读取访问的定时图。
[0011]图4根据一些实施例图示了示出在四个周期中完成四个读取操作的4周期突发读取方案的定时图。
[0012]图5图示了示出在四个周期中完成四个写入操作的基线写入访问的定时图。
[0013]图6A根据一些实施例图示了示出没有均衡化的在四个周期中完成四个写入的4周期突发写入方案的定时图。
[0014]图6B根据一些实施例图示了示出具有均衡化的在四个周期中完成四个写入的4周期突发写入方案的定时图。
[0015]图6C根据一些实施例图示了只有一个WL脉冲的4周期突发写入方案的定时图。
[0016]图7根据一些实施例图示了示出作为突发的概率的函数的读取和写入能量改善的图线。
[0017]图8根据一些实施例图示了用于突发读取操作的方法的流程图。
[0018]图9根据一些实施例图示了用于突发写入操作的方法的流程图。
[0019]图10图示了具有64B/周期访问的存储器读取访问的基线体系结构。
[0020]图11根据一些实施例图示了具有到两个子阵列中的折叠64B缓存线的存储器体系结构，其中每个子阵列读取16B/周期，持续4个周期。
[0021]图12根据一些实施例图示了四个并行读取存储器访问的管线技术的存储器体系结构。
[0022]图13根据一些实施例图示了K＝2的写入和读取操作的定时图。
[0023]图14根据一些实施例图示了来自4个子阵列群组的四个并行突发读取和写入操作的定时图。
[0024]图15图示了比较压缩方案的图线。
[0025]图16图示了乘法的基线方案。
[0026]图17图示了用于存储压缩的数据(CL 1)和元数据(CL 2)的基线方案。
[0027]图18根据一些实施例图示了使用未使用元数据来存储稀疏图谱的低功率方案。
[0028]图19根据一些实施例图示了一种存储器体系结构，其中防止从子阵列的上半部和下半部的读取操作。
[0029]图20根据一些实施例图示了用于从其中未使用元数据被存储稀疏图谱的重布置存储器子阵列读取数据的方法的流程图。
[0030]图21根据一些实施例图示了用于向其中未使用元数据被存储稀疏图谱的存储器子阵列写入数据的方法的流程图。
[0031]图22根据本公开的一些实施例图示了具有带有优化的突发读取和写入数据访问的节能SRAM阵列和/或在压缩权重存储中使用保留的元数据比特的存储器功率节省方案的智能装置，或者计算机系统，或者SoC(片上系统)。
具体实施方式
[0032]如果存储器访问模式是已知的，则可针对更低功率来优化存储器(例如，SRAM)。已
知存储器访问模式的一个示例是从存储器访问连续的矩阵元素。各种实施例描述了6T SRAM体系结构，其利用关于访问模式的先验知识并且对于一般矩阵操作改善了能量耗散。该体系结构例如对于诸如图像处理、深度神经网络和科学计算工作负载之类的众多应用改善了存储器访问能量。在一些实施例中，关于访问模式的先验知识允许了突发读取和/或写入操作。这样，突发模式解决方案在读取(RD)和写入(WR)操作中都能提供能量节省。这里，术语“突发”一般指的是利用单一一个位线预充电和/或一个字线脉冲来读取或写入多个比特单元。
[0033]6T-SRAM的密度优点使得它们成为理想的用于存储大矩阵的片上存储器。SRAM一般采用列复用(muxing)，通过将读出放大器和/或写入驱动器开销分摊在多列上来改善面积，并从而改善了针对多比特软差错扰乱的弹性。虽然在给定的时钟周期(或者字线周期)读出或写入来自给定列的单个比特，但所有列被预充电并且同一字线上、但来自未选中列的相邻比特经历伪读取；浪费了能量。一些实施例利用了如下事实：未选中位线已经被预充电并且在给定的读取访问中利用一次字线(WL)发射在一系列接连的读取中将它们读出。对于写入操作遵循类似的方案，其中对于多个(例如，四个)连续的写入操作使能一次预充电操作。这与典型的矩阵访问模式匹配，其中遵循线性增大寻址方案来访问元素。各种实施例可不更改6T比特单元的设计、外围(IO)电路以及大部分关键读取(RD)和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于改善能量效率的装置，该装置包括：第一逻辑，用于确定对于从存储器读取和/或向存储器写入数据是否使能突发模式，其中所述存储器包括具有N个切片的部分；其中每个切片包括耦合到位线(BL)、位线的反相(BL#)、列写入选择器和读取选择器的M个比特单元；其中来自每个切片的比特单元可由字线控制；以及第二逻辑，用于在确定所述突发模式被使能之后对于所述N个切片生成一个预充电脉冲和一个字线脉冲以执行M个读取操作。2.如权利要求1所述的装置，其中所述第二逻辑用于在确定所述突发模式被禁用之后对于所述N个切片生成M个预充电脉冲以执行M个读取操作。3.如权利要求1所述的装置，包括第三逻辑，用于在向所述存储器写入数据之前确定均衡化模式是否被使能。4.如权利要求3所述的装置，包括第四逻辑，用于在所述均衡化模式被使能的情况下在向所述存储器写入数据之前均衡化位线。5.如权利要求1所述的装置，包括第五逻辑，用于对于到所述N个切片的M个写入操作生成一个预充电脉冲和一个字线脉冲。6.如权利要求1所述的装置，包括第六逻辑，用于生成到所述N个切片的M个写入操作。7.如权利要求1至6的任何一项所述的装置，其中N等于64，并且M等于4。8.一种用于改善能量效率的方法，该方法包括：确定对于从存储器读取和/或向存储器写入数据是否使能突发模式，其中所述存储器包括具有N个切片的部分，其中每个切片包括M列并且每一列包括耦合到位线(BL)、位线的反...

【专利技术属性】
技术研发人员：查尔斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：