乘法-累加设备制造技术

本公开涉及乘法

【技术实现步骤摘要】
乘法
‑
累加设备


[0001]本公开总体上涉及存储器内计算或存储器中计算(“CIM”)，并且进一步涉及用于CIM的乘法
‑
累加“MAC”运算。

技术介绍

[0002]存储器中计算或存储器内计算系统将信息存储在计算机的主随机存取存储器(RAM)中，并且以存储器单元级别执行计算，而不是对于每个计算步骤在主RAM和数据存储装置之间移动大量数据。由于当数据存储在RAM中时所存储的数据能被更快速地访问，因此存储器中计算允许数据被实时分析，从而在业务和机器学习应用中实现更快的报告和决策。目前正在努力提高存储器中计算系统的性能。

技术实现思路

[0003]根据本公开的一个方面，提供了一种用于存储器中计算CIM的乘法
‑
累加MAC设备，包括：输入驱动器，被配置为提供包括第一输入信号和第二输入信号的多个输入信号；以及查找表LUT，存储包括第一CIM权重信号和第二CIM权重信号的多个CIM权重信号，所述LUT被配置为接收所述第一输入信号和第二输入信号，并且基于所述第一输入信号和第二输入信号以及所述第一CIM权重信号和第二CIM权重信号提供和输出。
[0004]根据本公开的另一方面，提供了一种用于存储器中计算CIM的乘法
‑
累加MAC设备，包括：第一MAC级，包括第一查找表LUT和第一加法器，并且所述第一MAC级被配置为：接收第一CIM权重信号和第二CIM权重信号，并且基于第一输入信号和第二输入信号提供所述第一加法器的输出或第一静态数据信号中的一者作为第一MAC级第一和输出；所述第一MAC级包括第二LUT和第二加法器，并且所述第一MAC级被配置为接收第三CIM权重信号和第四CIM权重信号，所述第一MAC级的第二LUT被配置为基于第三输入信号和第四输入信号，提供所述第二加法器的输出或第二静态数据信号中的一者作为第一MAC级第二和输出；以及第二MAC级，包括被配置为接收所述第一MAC级第一和输出和所述第一MAC级第二和输出的LUT，所述第二MAC级的LUT包括第三加法器并且被配置为基于所述第一输入信号、所述第二输入信号、所述第三输入信号和所述第四输入信号提供所述第三加法器的输出或第三静态数据信号中的一者作为第二MAC级和输出。
[0005]根据本公开的又一方面，提供了一种用于存储器中计算CIM的方法，包括：通过查找表LUT接收第一输入信号；通过所述LUT接收第二输入信号；通过所述LUT接收第一CIM权重信号；通过所述LUT接收第二CIM权重信号；通过加法器确定所述第一CIM权重信号和所述第二CIM权重信号的和；响应于所述第一输入信号和所述第二输入信号，输出所述第一CIM权重信号和所述第二CIM权重信号的和、或静态数据信号中的一者。
附图说明
[0006]在结合附图阅读时，可以通过下面的具体实施方式来最佳地理解本公开的各方
面。要注意的是，根据行业的标准惯例，各种特征并未按比例绘制。事实上，为了讨论的清楚，各种特征的尺寸可能被任意地增大或减小。此外，作为本专利技术的实施例的示例的附图是说明性的，并不旨在限制。
[0007]图1是示出根据一些实施例的存储器中计算(CIM)系统的示例的框图。
[0008]图2是示出根据一些实施例的查找表(LUT)的示例的框图。
[0009]图3是根据一些实施例的图2中所示的LUT的示例真值表。
[0010]图4是示出根据一些实施例的示例LUT电路的示意图。
[0011]图5是示出根据一些实施例的另一示例LUT电路的示意图。
[0012]图6是示出根据一些实施例的另一示例LUT电路的示意图。
[0013]图7是示出根据一些实施例的用于CIM的第一乘法
‑
累积(MAC)级和第二MAC级的示例的框图。
[0014]图8是示出根据一些实施例的图7中所示的第一MAC级和第二MAC级的LUT的示例的框图。
[0015]图9是根据一些实施例的第二MAC级LUT的示例真值表。
[0016]图10是示出根据一些实施例的示例第二MAC级LUT电路的示意图。
[0017]图11是示出根据所公开的实施例的方法的流程图。
具体实施方式
[0018]下面的公开内容提供了用于实现所提供的主题的不同特征的许多不同的实施例或示例。以下描述了组件和布置的特定示例以简化本公开。当然，这些只是示例，并不旨在进行限制。例如，在下面的描述中在第二特征之上或上形成第一特征可以包括其中第一特征和第二特征以直接接触方式形成的实施例，还可以包括可以在第一特征和第二特征之间形成附加特征，使得第一特征和第二特征可以不直接接触的实施例。此外，本公开可以在各个示例中重复附图标记和/或字母。这种重复是为了简单和清楚的目的，并且其本身并不指示所讨论的各个实施例和/或配置之间的关系。
[0019]此外，本文中可以使用空间相关术语(例如，“之下”、“下方”、“下”、“上方”、“上”等)，以易于描述图中所示的一个要素或特征相对于另外(一个或多个)要素或(一个或多个)特征的关系。这些空间相关术语旨在涵盖设备在使用或工作中除了图中所示朝向之外的不同朝向。装置可能以其他方式定向(旋转90度或处于其他朝向)，并且本文中所用的空间相关描述符同样可能被相应地解释。
[0020]本公开总体上涉及存储器中计算(“CIM”)。应用CIM的示例是乘法
‑
累加(“MAC”)运算。计算机人工智能“AI”使用深度学习技术，其中计算系统可以被组织为神经网络。神经网络涉及例如能够分析数据的多个互连的处理节点。神经网络计算“权重”以对新的输入数据执行计算。神经网络使用多层的计算节点，其中较深层基于由较高层执行的计算的结果来执行计算。
[0021]机器学习(ML)涉及可以通过经验并借助于数据的使用而自动改进的计算机算法。机器学习被视为人工智能的一部分。机器学习算法基于样本数据(称为“训练数据”)构建模型，以便做出预测或决策，而无需对其进行明确编程。
[0022]神经网络可以包括多个互连的处理节点，这些互连的处理节点能够分析数据以将
输入与这样的“经训练的”数据进行比较。经训练的数据涉及对已知数据的属性进行计算分析，以开发用于比较输入数据的模型。应用AI和数据训练的一个示例是在对象识别中，其中系统分析许多(例如，数千或更多)图像的属性，以确定可用于执行统计分析以识别输入对象的模式。
[0023]如上所述，神经网络计算权重以对输入数据执行计算。神经网络使用多层的计算节点，其中较深层基于由较高层执行的计算的结果来执行计算。机器学习目前依赖于对点积和向量绝对差的计算，通常通过对参数、输入数据和权重执行MAC运算来计算。大型和深度神经网络的计算通常涉及如此多的数据元素，以致于将它们存储在处理器缓存中是不实际的，因此它们通常被存储在存储器中。
[0024]因此，机器学习是计算密集型的，需要对许多不同的数据元素进行计算和比较。处理器内的运算的计算速本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于存储器中计算CIM的乘法
‑
累加MAC设备，包括：输入驱动器，被配置为提供包括第一输入信号和第二输入信号的多个输入信号；以及查找表LUT，存储包括第一CIM权重信号和第二CIM权重信号的多个CIM权重信号，所述LUT被配置为接收所述第一输入信号和第二输入信号，并且基于所述第一输入信号和第二输入信号以及所述第一CIM权重信号和第二CIM权重信号提供和输出。2.根据权利要求1所述的设备，其中，所述多个输入信号是根据应用的类型来确定的，并且其中，所述多个权重信号是根据训练结果或用户的配置来确定的。3.根据权利要求1所述的设备，其中，所述LUT包括加法器，所述加法器被配置为将所述第一CIM权重信号和第二CIM权重信号相加，其中，所述LUT被配置为基于所述第一输入信号和第二输入信号提供所述加法器的输出或静态数据信号中的一者作为所述和输出。4.根据权利要求1所述的设备，其中，所述LUT包括加法器，所述加法器配置为将所述第一CIM权重信号和第二CIM权重信号相加，其中，所述LUT被配置为：基于所述第一输入信号和所述第二输入信号的第一状态，提供所述加法器的输出作为所述和输出；基于所述第一输入信号和所述第二输入信号的第二状态，提供所述第一CIM权重信号作为所述和输出；基于所述第一输入信号和所述第二输入信号的第三状态，提供所述第二CIM权重信号作为所述和输出；以及基于所述第一输入信号和所述第二输入信号的第四状态，提供预定信号作为所述和输出。5.根据权利要求4所述的设备，其中，所述LUT还包括：多路复用器MUX，包括：第一输入端子，被连接以接收所述加法器的输出；第二输入端子，被连接以接收所述第一CIM权重信号；第三输入端子，被连接以接收所述第二CIM权重信号；第四输入端子，被连接以接收所述预定信号；输出端子，被配置为输出所述和输出；其中，所述MUX被配置为响应于所述第一输入信号和所述第二输入信号，在所述输出端子处输出所述加法器的输出、所述第一CIM权重信号、所述第二CIM权重信号或所述预定信号中的一者。6.根据权利要求1所述的设备，其中，所述LUT被配置为存储包括所述第一CIM权重信号的第一组CIM权重信号和包括所述第二CIM权重信号的第二...

【专利技术属性】
技术研发人员：李嘉富，李伯浩，史毅骏，池育德，
申请(专利权)人：台湾积体电路制造股份有限公司，
类型：发明
国别省市：