使用存储器内运算的卷积加速器制造技术

本发明专利技术公开了一种用于加速核矩阵在输入矩阵上的卷积，以用于使用存储器内运算来计算输出矩阵的方法，上述方法涉及在存储单元阵列中的不同存储单元集合中储存核矩阵或多个核矩阵的元素的相应组合。为了执行卷积，将来自输入矩阵的输入向量的序列施加至阵列。将输入向量中的每一者并行施加至不同存储单元集合以在相同时间间隔期间进行计算。感测因应于每个输入向量而产生的来自不同存储单元集合中的每一者的输出，以产生表示所述输入向量对输出矩阵的多个元素的贡献的数据集合。使用在所述输入矩阵上产生的数据集合来产生输出矩阵。

Convolution accelerator using in memory operations

【技术实现步骤摘要】
使用存储器内运算的卷积加速器本申请主张于2018年11月30日提出申请的美国临时专利申请案第62/773,194号的权益，所述美国临时专利申请案并入本案供参考。
本专利技术是有关于存储器内运算装置(in-memorycomputingdevice)，且更具体而言，是有关于被安排用于执行卷积的存储器内运算装置。
技术介绍
一种类型的神经网络被称为卷积神经网络(convolutionalneuralnetwork，CNN)。在卷积神经网络中，网络的一或多个层使用核矩阵(kernelmatrix)在输入矩阵(inputmatrix)上的卷积来生成输出矩阵(outputmatrix)。输入矩阵可包括高度为H、宽度为W且深度为C的图像文件案或特征图。此输入矩阵可被表征为在H-W平面中具有坐标的多个C位向量(C-bitvector)。核可包括具有与输入矩阵不同尺寸(高度R、宽度S、深度C)的滤波器的元素。输出矩阵可表示滤波后的影像或输出的特征图。输出矩阵也可具有与输入矩阵不同的尺寸(高度E、宽度F、深度M)。在一些系统中，将单个输入矩阵与不同的核(例如，M个滤波器)进行卷积以产生深度输出矩阵。卷积是一种需要大量计算机资源及数据移动的密集运算。参见陈(Chen)等人所作的「Eyeriss：一种用于深度卷积神经网络的节能可重新配置加速器(Eyeriss：AnEnergy-EfficientReconfigurableAcceleratorforDeepConvolutionalNeuralNetworks)」国际固态电路会议(IEEEISSCC)，2016年1月31日至2月4日。期望提供能够降低计算卷积(包括卷积神经网络中的卷积)所需的成本及计算资源的技术。
技术实现思路
阐述了一种技术，在所述技术中部署存储器内运算以支持卷积(包括作为卷积神经网络的一部分的卷积)的执行，藉此显著减少所需的数据移动量及计算机资源。存储器内运算是一种组织在存储器内运算装置中的存储器存储单元可用于计算及储存的方式。举例而言，乘积和函数(sum-of-productsfunction)的权重可储存在存储器内运算装置的存储器存储单元中。阵列的存储器存储单元的电性特性使乘积和函数得以实现。参见例如在2018年12月18日提出申请的共同未决美国专利申请案第16/224,602号(MXIC2266-1)，所述美国专利申请案如同在本文中完全阐述一般并入本文供参考。本文中所述的技术包括一种支持核矩阵在输入矩阵上的卷积以使用存储器内运算来计算输出矩阵的方法，以及一种可用于所述目的的装置。在典型的卷积中，来自输入矩阵的输入向量与核矩阵的元素的不同组合(例如，不同的核向量)组合，用于计算输出矩阵的元素。在一些实施例中，给定的输入矩阵可与多个核矩阵进行卷积。本文中所述的方法包括将核矩阵或多个核矩阵的元素的相应组合储存在存储器内运算存储单元阵列中的不同存储单元集合中。对于给定的输入向量，一种方法包括将多个组合中的核矩阵的元素的组合储存在存储单元阵列中的相应存储单元集合中，例如储存在阵列的相应行中。然后，例如通过将输入向量的元素施加至阵列的列而将来自输入矩阵的输入向量的元素施加至储存核矩阵的元素的组合的存储单元集合。所述方法包括感测因应于输入向量的元素自存储单元集合(例如，每一行)的输出，以产生表示输入向量对输出矩阵的多个元素的贡献的数据。通过将来自包括所述首先提及的输入向量的序列中的输入矩阵的输入向量施加至储存核矩阵的元素的组合的存储单元集合、并且对于序列中的每个输入向量感测自存储单元集合的输出以产生表示对输出矩阵的贡献的输出数据，可将所述方法扩展为遍历全部或部分输入矩阵。可组合每个输入向量的输出数据以产生输出矩阵。因此，在本文中所述的实施例中，为了执行卷积，将来自输入矩阵的输入向量的序列施加至存储器内运算阵列。将输入向量中的每一者并行(例如，在阵列的相应列上)施加至不同存储单元集合(例如，阵列中的多个行)以在相同时间间隔期间进行计算。感测因应于每个输入向量而生成的输出以产生表示所述输入向量对输出矩阵的多个元素的贡献的数据集合。可将针对输入矩阵上的输入向量的序列而生成的数据集合进行组合以产生输出矩阵。本文中描述一种装置的实施例，所述装置包括被配置成进行存储器内运算的存储器存储单元阵列。所述阵列中的多个存储器存储单元集合(例如，多个行)储存核矩阵或多个核矩阵的元素的相应组合。所述相应组合可对应于在卷积的多个跨步(stride)中施加至输入向量的核矩阵的不同元素集合。在一些实施例中，包括第一存取线集合。每一第一存取线可操作地耦合至不同存储器存储单元集合(例如，沿着一列)中的每一者中的对应存储器存储单元，使得可并行地将输入电压施加至不同存储器存储单元集合(例如，不同行)中的存储单元。包括第二存取线集合。每一第二存取线可操作地耦合至不同存储器存储单元集合中的对应存储器存储单元集合(例如，在单个行中)。驱动器电路电性耦合至第一存取线集合，且被配置成断言表示在对应的第一存取在线的输入向量的元素的信号。此使得能够将输入向量并行地施加至多个不同存储器存储单元集合中的每一者。感测电路电性耦合至第二存取线集合。在所述集合中的第二存取线中的每一者上，感测电路感测对应存储器存储单元集合的输出的组合，以产生表示每一输入向量对输出矩阵的元素的贡献的数据集合。在所述实施例中，存储器存储单元阵列包括多行存储单元，例如沿位线排列的存储单元。不同存储单元集合中的每个存储单元集合可由单行中的存储单元构成。感测电路可被设置成感测表示存储单元集合中的存储单元的组合电导的电流。可包括逻辑电路，所述逻辑电路组合在输入矩阵上生成的数据集合以产生输出矩阵。描述了一种用于在输入矩阵上卷积核矩阵的装置，其中将来自输入矩阵的输入向量与核矩阵的元素的多个组合进行组合，以计算输出矩阵。所述装置包括：存储器存储单元阵列，包括多个列及多个行，将核矩阵的多个元素的组合中的元素的组合储存在所述多个行中的相应行中；驱动器电路，被配置成将来自输入矩阵的输入向量的元素施加至所述多个列中的相应列；以及感测电路，用于感测来自相应行的输出数据，以产生表示所述输入向量对输出矩阵的元素的贡献的输出数据。逻辑可耦合至所述驱动器电路及所述感测电路，以将包括所述输入向量的所述输入矩阵的输入向量的序列施加至所述驱动器电路，并产生表示包括所述输入向量的所述序列中的输入向量对所述输出矩阵的元素的贡献的输出数据。逻辑可耦合至所述感测电路以组合输入向量的序列的输出数据，以产生所述输出矩阵的元素。在各种实施例中，所使用的存储器存储单元可包括两端存储单元(two-terminalcell)，所述两端存储单元包括可编程电阻存储器存储单元。在一些实施例中，所使用的存储器存储单元可包括三端存储单元(three-terminalcell)，例如电荷俘获存储器存储单元。在本文中所述的系统中，存储单元阵列设置在第一集成电路上，所述第一集成电路可使用适于形成存储单元阵列的工艺来制造。本文档来自技高网...

【技术保护点】
1.一种用于加速核矩阵在输入矩阵上的卷积的方法，包括：/n将所述核矩阵的元素的组合储存在一存储单元阵列中的相应一存储单元集合中；/n将来自所述输入矩阵的一输入向量的元素施加至储存所述核矩阵的所述元素的组合的所述存储单元集合；以及/n感测因应于所述输入向量的所述元素自所述存储单元集合的输出，以产生表示所述输入向量对所述输出矩阵的多个元素的贡献的数据。/n

【技术特征摘要】
20181130 US 62/773,194;20190624 US 16/450,3341.一种用于加速核矩阵在输入矩阵上的卷积的方法，包括：
将所述核矩阵的元素的组合储存在一存储单元阵列中的相应一存储单元集合中；
将来自所述输入矩阵的一输入向量的元素施加至储存所述核矩阵的所述元素的组合的所述存储单元集合；以及
感测因应于所述输入向量的所述元素自所述存储单元集合的输出，以产生表示所述输入向量对所述输出矩阵的多个元素的贡献的数据。


2.如权利要求1所述的方法，包括将来自包括所述首次提及的输入向量的序列中的所述输入矩阵的输入向量施加至储存所述核矩阵的所述元素的组合的所述存储单元集合，以及针对所述序列中的每个输入向量，感测来自所述存储单元集合的输出以产生表示对所述输出矩阵的贡献的输出数据，并且对表示所述序列中的所述输入向量中的每一者对所述输出矩阵的贡献的所述输出数据进行组合以产生所述输出矩阵。


3.如权利要求1所述的方法，其中所述存储单元集合设置在包括多行存储单元的存储单元阵列中，并且其中每一存储单元集合由所述多行中的单个行中的存储单元构成。


4.如权利要求1所述的方法，其中所述存储单元集合包括可编程电阻存储器存储单元。


5.如权利要求1所述的方法，其中所述存储单元集合包括电荷俘获存储器存储单元。


6.如权利...

【专利技术属性】
技术研发人员：林昱佑，李峰旻，
申请(专利权)人：旺宏电子股份有限公司，
类型：发明
国别省市：中国台湾;71