用于执行卷积运算的存储器装置制造方法及图纸

本公开涉及一种执行卷积运算的存储器装置。存储器装置包括第一至第N处理元件(PE)、第一模数转换器(ADC)、第一移位加法器和第一累加器。第一至第N PE(其中N是等于或大于2的自然数)分别与权重特征图中包括的至少一个权重数据相关联，并且被配置为通过输入特征图中包括的至少一个输入数据来执行部分卷积运算。第一ADC被配置为从第一至第N PE接收第一部分卷积运算结果。第一移位加法器对第一ADC的输出进行移位。第一累加器对来自第一移位加法器的输出进行累加。输出进行累加。输出进行累加。

【技术实现步骤摘要】
用于执行卷积运算的存储器装置
[0001]相关申请的交叉引用
[0002]本申请要求于2021年8月3日提交的、申请号为10
‑
2021
‑
0102202的韩国专利申请的优先权，该韩国专利申请通过引用整体并入本文。


[0003]本公开涉及一种电子装置，并且更特别地，涉及一种用于执行卷积运算(convolution operation)的存储器装置。

技术介绍

[0004]仅由全连接层配置的人工神经网络的输入数据被限制为一维(布置)形式。另一方面，一张彩色图片是三维数据，批模式下使用的几张图片是4D数据。当需要用图片数据学习全连接(FC)神经网络时，需要将三维图片数据展平为一维。在展平图片数据的过程中会丢失空间信息。因此，人工神经网络由于图像空间信息的丢失导致信息缺失而使特征提取和学习效率低下，并且提高精度有限。一种能够在保持图像空间信息的同时进行学习的模型是卷积神经网络(CNN)。

技术实现思路

[0005]本公开的实施例提供了一种能够降低制造成本的、执行卷积运算的存储器装置。
[0006]根据本公开的实施例，一种存储器装置执行卷积运算。存储器装置包括第一至第N处理元件(PE)、第一模数转换器(ADC)、第一移位加法器和第一累加器。第一至第N PE分别与权重特征图中包括的至少一个权重数据片段相关联，并且被配置为通过输入特征图中包括的至少一个输入数据片段来执行部分卷积运算。第一ADC被配置为从第一至第N PE接收部分卷积运算的第一结果。第一移位加法器对第一ADC的输出进行移位并相加。第一累加器对来自第一移位加法器的输出进行累加。此处，N可以是等于或大于2的自然数。
[0007]在本公开的实施例中，第一至第N PE中的每一个可以包括第一至第k突触阵列(synaptic array)。此处，k可以是等于或大于2的自然数。
[0008]在本公开的实施例中，第一ADC可以接收第一至第N PE中的每一个的第一突触阵列的输出作为第一结果。
[0009]在本公开的实施例中，第一ADC可以接收第一至第N PE中的每一个的第一突触阵列的输出电流之和。
[0010]在本公开的实施例中，存储器装置可以进一步包括：第二ADC，被配置为从第一至第N PE接收部分卷积运算的第二结果；第二移位加法器，被配置为对第二ADC的输出进行移位；以及第二累加器，被配置为对来自第二移位加法器的输出进行累加。
[0011]在本公开的实施例中，第二ADC可以接收第一至第N PE中的每一个的第二突触阵列的输出作为第二结果。
[0012]在本公开的实施例中，第二ADC可以接收第一至第N PE中的每一个的第二突触阵
列的输出电流之和。
[0013]在本公开的实施例中，第一至第k突触阵列中的每一个可以包括多个忆阻器(memristor)。
[0014]根据本公开的另一实施例，一种基于忆阻器的深度学习加速器中包括的卷积运算设备包括多个处理元件(PE)和数字运算电路。多个处理元件(PE)被配置为通过模拟MAC运算，利用权重特征图对输入特征图的部分图执行等式2的运算以产生各自的电流。数字运算电路被配置为将电流综合转换为各自的二进制值并执行等式1的运算。
[0015][等式1][0016][0017][等式2][0018]C
LK
＝V
IL(2)
*V
WLK(2)
[0019]此处，“PR
RiCj”是移位加法器的运算结果，是部分图，是权重特征图，是卷积算子，“I
L”是部分图的元素，“W
L”是权重特征图的元素并对应于一个PE，“V
IL(2)”是部分图的元素的二进制值，“V
WLK(2)”是权重特征图的元素内第K位的二进制值，“C
LK”是电流，“N”是部分图和权重特征图中的每一个中的行数，“M”是部分图或权重特征图中的列数，“P”是部分图和权重特征图中的每一个的元素的位数。本技术可以提供可以降低制造成本的、执行卷积运算的存储器装置。
附图说明
[0020]图1是根据本公开的实施例的存储器装置的芯片级示图。
[0021]图2是示出根据本公开的实施例的图1中包括的区块(tile)的结构的框图。
[0022]图3是示出根据本公开的实施例的图2所示的处理元件(PE)的结构的示图。
[0023]图4是示出根据本公开的实施例的图3所示的突触阵列的结构的示图。
[0024]图5是示出根据本公开的实施例的通过输入特征图和权重特征图的卷积运算的示图。
[0025]图6A至图6C是示出根据本公开的实施例的输入特征图IFM和权重特征图WFM的卷积运算的示图。
[0026]图7A至图7D是示出根据本公开的实施例的存储器装置的卷积运算的示图。
[0027]图8是示出根据本公开的实施例的存储器装置的PE和PE累加器的框图。
[0028]图9是示出根据本公开的另一实施例的存储器装置的PE和PE累加器的框图。
[0029]图10是示出根据本公开的实施例的图9所示的存储器装置的卷积运算的示图。
具体实施方式
[0030]示出根据本说明书公开的构思的实施例的特定结构或功能描述仅仅是为了描述根据本公开的构思的实施例。根据本公开的构思的实施例可以以各种形式来执行，并且不应被解释为限于本说明书中描述的实施例。
[0031]图1是根据本公开的实施例的存储器装置的芯片级示图。
[0032]参照图1，存储器装置100可以包括多个区块110和外围电路101。外围电路101可以包括池化(pooling)组件130、累加器150、激活器170和全局缓冲器190。
[0033]在卷积神经网络中，输入数据可以被传输到多个区块110。此时，通过将滑动窗口应用于原始形式的输入数据而生成的数据的分割片段可以被传输到各个区块。
[0034]在实施例中，池化组件130通过调整卷积层的大小来生成新层，该卷积层配置通过卷积运算生成的激活图。在另一实施例中，池化组件130可以为属于预定范围内的像素数据生成一组特征值。例如，池化组件130可以执行输出属于预定范围内的像素数据之中的最大值作为特征值的最大池化操作。在另一示例中，池化组件130可以执行输出属于预定范围内的像素数据的平均值作为特征值的平均池化操作。另外，池化组件130可以执行随机池化或跨通道池化。通过池化操作，参数可以减小，从而抑制相应网络的过拟合。另外，通过执行池化操作，后续操作的负担可以减小，可以节省硬件资源，并且可以提高卷积运算的速度。
[0035]激活器170可以激活区块110中的每一个的操作，并且全局缓冲器190可以缓冲输入数据和输出数据。
[0036]参照图1，从激活器170连接到区块110中的每一个的线结构105可以被实施为H树结构。由于H树结构，可以均匀地控制从激活器170到区块110中的每一个的数据输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储器装置，所述存储器装置执行卷积运算，所述存储器装置包括：第一至第N处理元件即第一至第N PE，其中N是大于或等于2的自然数，所述第一至第N PE分别与权重特征图中包括的至少一个权重数据片段相关联，并且通过输入特征图中包括的至少一个输入数据片段来执行部分卷积运算；第一模数转换器即第一ADC，从所述第一至第N PE接收所述部分卷积运算的第一结果；第一移位加法器，对所述第一ADC的输出进行移位并相加；以及第一累加器，对来自所述第一移位加法器的输出进行累加。2.根据权利要求1所述的存储器装置，其中所述第一至第N PE中的每一个包括第一至第k突触阵列，其中k是等于或大于2的自然数。3.根据权利要求2所述的存储器装置，其中所述第一ADC接收所述第一至第N PE中的每一个的第一突触阵列的输出作为所述第一结果。4.根据权利要求3所述的存储器装置，其中所述第一ADC接收所述第一至第N PE中的每一个的第一突触阵列的输出电流之和。5.根据权利要求2所述的存储器装置，进一步包括：第二ADC，从所述第一至第N PE接收所述部分卷积运算的第二结果；第二移位加法器，对所述第二ADC的输出进行移位；以及第二累加器，对来自所述第二移位加法器的输出进行累加。6.根据权利要求5所述的存储器装置，其中所述第二ADC接收所述第一至第N PE中的每一个的第二突触阵列的输出作为所述第二结果。7....

【专利技术属性】
技术研发人员：陈永栽，金基荣，诸相殷，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：