用于卷积运算的存储器内处理方法技术

本公开涉及用于配置成执行点积计算的存储器内处理装置的系统和方法。序列控制件可用于根据分配模式将数据存储于存储器阵列中。所述存储器阵列的单元可对应于所述数据的阵列元素。所述序列控制件可使用所述分配模式将另一数据阵列应用于所述存储器阵列内的元素群组以执行点积计算。所述点积计算可例如用于实施卷积神经网络中的层。施卷积神经网络中的层。施卷积神经网络中的层。

【技术实现步骤摘要】
【国外来华专利技术】用于卷积运算的存储器内处理方法
[0001]相关申请
[0002]本申请主张于2020年3月19日提交的标题为“用于卷积运算的存储器内处理方法(PROCESSING IN MEMORY METHODS FOR CONVOLUTIONAL OPERATIONS)”的第16/824,620号美国专利申请的优先权，其全部公开内容特此以引用的方式并入本文中。

技术介绍

[0003]通用处理器可与存储器组件和高速缓存器介接以对所存储数据执行重复计算。数据可加载到高速缓存器中，处理器可随后存取数据，处理器可计算结果，且接着结果可存储于存储器中。处理器可通过操作矩阵元素来执行重复或密集的线性代数运算。举例来说，处理器可执行读取/写入操作以提取数据、处理数据且将其存储于存储器中。这些通用处理器可用于实施卷积运算。
附图说明
[0004]参考附图可更好地理解本公开的许多方面。图式中的组件不一定按比例绘制，而是将重点放在清楚地说明本公开的原理上。此外，在图式中，相同的参考标号在若干视图中表示对应的部分。
[0005]图1为根据各种实施例的存储器内处理(PIM)装置的图式。
[0006]图2为根据各种实施例的配置成使用分配模式将滤波器数据应用到存储器阵列的PIM装置的图式。
[0007]图3为根据各种实施例的配置成使用分配模式将数据对象阵列应用到存储器阵列103的PIM装置100的图式。
[0008]图4为用于组织PIM装置的存储器阵列中的数据的位串行分配模式的实例的图式。
[0009]图5是用于组织PIM装置的存储器阵列中的数据的位并行分配模式的实例的图式。
[0010]图6为用于组织PIM装置的存储器阵列中的数据的串并行分配模式的实例的图式。
[0011]图7为示出根据各种实施例的PIM装置的功能的不同实例的流程图。
[0012]图8示出根据本公开的一些实施例的包含PIM装置的实例联网系统。
具体实施方式
[0013]在存储器内处理(PIM)装置为半导体装置，其包括一或多个存储器阵列和耦合到这些存储器内阵列的PIM处理器。PIM处理器配置成使用存储于存储器阵列的单元中的数据执行操作而无需经由存储器总线执行时间密集型输入/输出操作、提取操作或加载/存储操作。就此而言，PIM处理器可在无缓冲存储器或高速缓存器或总线的情况下存取至少一些数据以执行数据和计算操作。相比而言，主机处理器经由存储器总线或其它链路与一或多个PIM装置耦合。主机处理器可为安装于PIM装置外部的装置或系统中的中央处理单元(CPU)、数字信号处理器、图形处理单元、专用处理器或通用处理器。主机处理器可安装在计算装置、膝上型计算机、移动装置、服务器、专用计算机、通用计算机中。
[0014]本公开的实施例针对序列控制件，其可为配置成通过将第一阵列的数据组织为多个群组而在PIM装置的存储器阵列中存储第一数据阵列的PIM处理器的一部分。根据分配模式在存储器阵列中构造群组。序列控制件接收第二数据阵列，且将元素中的至少一些转换为用于执行的序列。序列控制件根据第一阵列的分配模式将序列应用于存储器阵列中的群组集合。应用序列直到存储器阵列中不存在应寻址的其余群组或直到序列结束为止。PIM装置的融合乘积累加(FMA)单元为PIM处理器的主要计算元件。当第二阵列应用于群组时，所述单元可配置成产生数据的点积阵列。因此，序列控制件可配置成跨越存储器阵列有效地铺设或以其它方式卷积数据阵列以产生多个点积计算及其结果。
[0015]在一些实施例中，存储于存储器阵列中的数据为其中特征待检测的数据对象的数据。举例来说，数据对象可为图像。另外，应用于存储器阵列的第二阵列可为设计成检测或识别数据对象中的特征的滤波器。
[0016]在一些实施例中，存储于存储器阵列中的数据是设计成检测或识别特征的滤波器数据。另外，应用于存储器阵列的第二阵列可为应用于滤波器以便检测或识别特征的数据对象的至少一部分。
[0017]在一些实施例中，PIM装置为用以实施卷积神经网络的专用装置。PIM装置可用于实施卷积神经网络中的一或多个层。卷积神经网络可设计成用于检测：图像数据中的图像特征、视频流中的运动特征、文本数据中的文本模式、多维复杂数据中的统计特征、科学过程和模拟中的科学特征、来自太空的天文数据中的天文特征、世界天气数据中的天气条件以及基于其的预测、语音音频数据中的话语。卷积神经网络可用于检测计算机产生的图形、虚拟现实数据和增强现实数据中的特征或特性。可针对卫星影像、长期曝光产生的图形、时差视频、缓慢运动视频检测特征。卷积神经网络可配置成对从例如数据存储库或数据库等多种来源收集的数据的图形或视觉表示执行特征检测。经受特征检测的数据可为结构化数据、半结构化数据、从机器产生的数据对象、数据记录、从远程源产生的实时数据、从多个源聚集的数据、经由网络接收的数据、已由外部系统预处理的数据、已经受视觉滤波的数据或至少部分由外部计算系统产生的数据。在数据内搜索的特征包含视觉图案、水平线、边缘、竖直线、各种形状、曲线、角度、特定颜色、定向。另外，可组合简单特征以制定较复杂特征，例如复杂对象。
[0018]图1为根据各种实施例的存储器内处理(PIM)装置100的图式。PIM装置100为集成电路。PIM装置100可为半导体芯片或裸片或裸片堆叠。PIM装置100可包含一或多个存储器阵列103。存储器阵列103包括多个行和列并且可在行
‑
列大小方面进行限定。图1的实例示出存储器阵列103具有标记为r1
‑
rn的行和标记为c1
‑
cn的列。配置成存储数据阵列的元素的存储器单元在每一行与列的相交处。举例来说，数据阵列可为含有如下四个元素的单维阵列：[A，B，C，D]，其中第一元素为A，第二元素为B，第三元素为C，且第四元素为D。数据阵列[A，B，C，D]可存储于存储器阵列103中以使得数据阵列的每一元素存储于对应存储器单元中。举例来说，元素A可存储于单元(r1，c1)中，元素B可存储于单元(r1，c2)中，元素C可存储于单元(r1，c3)中，且元素D可存储于单元(r1，c4)中。因此，在此实例中，数据阵列[A，B，C，D]沿着第一行存储且占据前四列。作为另一实例，可沿着占据前四行的第一列存储数据阵列[A，B，C，D]。此处，元素A可存储在单元(r1，c1)中，元素B可存储在单元(r2，c1)中，元素C可存储在单元(r3，c1)中，且元素D可存储在单元(r4，c1)中。因此，存储器阵列103为用于将
数据存储为可由行和列寻址的多个阵列元素的硬件组件。尽管图1的PIM装置100中仅描绘一个存储器阵列103，但PIM装置100可包含遍及PIM装置100组织的若干存储器阵列103。一些实施例针对使用多个阵列103的并行处理。
[0019]数据阵列元素可为二进制位(可具有两个值的位，例如编码为存储器单元的低或高值的“0”或“1”)、多状态位(例如，可具有多个值的位，例如，QCL NAND快闪存储器可具有编本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，其包括：存储器内处理(PIM)装置的存储器阵列，其配置成将第一数据阵列存储在所述存储器阵列内的多个群组中，所述存储器阵列包括多个存储器单元、多个列和多个行；所述PIM装置的序列控制件，其配置成接收第二数据阵列；以及所述PIM装置的融合乘积累加(FMA)单元，其配置成通过根据应用于所述第一数据阵列的分配模式将所述第二阵列应用于所述多个群组来产生数据的点积阵列；其中所述多个群组中的每一群组包括存储在存储器阵列的对应于行和列中的位置的存储器单元处的元素。2.根据权利要求1所述的系统，其中所述第一数据阵列包括经受特征识别的数据，且其中所述第二数据阵列包括至少一个卷积滤波器的元素。3.根据权利要求1所述的系统，其中所述第一数据阵列包括至少一个卷积滤波器的元素，且其中所述第二数据阵列包括经受特征识别的数据。4.根据权利要求1所述的系统，其中所述第一数据阵列或所述第二数据阵列中的至少一个是从至少一个多维阵列导出的。5.根据权利要求1所述的系统，其中所述第一数据阵列或所述第二数据阵列中的至少一个包括用于神经网络的卷积滤波器，且其中所述数据的点积阵列为特征映射的一部分。6.根据权利要求1所述的系统，其中应用于所述第一数据阵列的所述分配模式为位串行分配模式，其中沿所述存储器阵列的所述列构造每一群组。7.根据权利要求1所述的系统，其中应用于所述第一数据阵列的所述分配模式是位并行分配模式，其中沿所述存储器阵列的所述行构造每一群组。8.根据权利要求1所述的方法，其中所述存储器阵列配置成将至少一个额外数据阵列存储于所述存储器阵列内的多个群组中；且其中所述FMA单元配置成通过将所述第二阵列或第三阵列中的至少一个应用于所述至少一个额外阵列的所述多个群组来产生第二数据的点积阵列。9.一种方法，其包括：以预定义格式接收数据对象；通过将所述数据对象布置到所述存储器阵列内的包括多个群组的数据对象阵列中来将所述数据对象存储到存储器内处理(PIM)装置的存储器阵列中，所述存储器阵列包括多个存储器单元、多个列和多个行；从所述PIM装置的序列控制件接收滤波器数据，其中所述滤波器数据组织在滤波器阵列中；使用所述PIM装置的融合乘积累加(FMA)单元，通过根据应用于所述数据对象阵列的分配模式将所述滤波器数据应用于所述多个群组来产生数据的点积阵列；其中所述多个群组中的每一群组包括存储在存储器阵列的对应于行和列中的位置的存储器单元处的元素。10.根据权利要求9所述的方法，其中所述数据对象包括经受特征识别的数据，且其中所述滤波器阵列包括至少一个卷积...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：