用于机器学习的基于电荷泵的电流模式神经元制造技术

提供了一种存储器内计算阵列，其中每个神经元包括电容器和输出晶体管。在评估阶段期间，滤波器权重电压和输入位的二进制状态控制输出晶体管是导通还是被关断，以影响连接到输出晶体管的读取位线的电压。出晶体管的读取位线的电压。出晶体管的读取位线的电压。

【技术实现步骤摘要】
【国外来华专利技术】用于机器学习的基于电荷泵的电流模式神经元
[0001]相关申请的交叉引用
[0002]本申请要求2021年06月21日提交的、美国非临时专利申请号17/353,564的优先权，该申请又要求2020年06月22日提交的美国临时申请号63/042,537的权益，其内容通过引用以其整体并入于此。


[0003]本申请涉及存储器内计算，并且更具体地涉及用于机器学习应用的基于电荷泵的电流模式存储器内计算位单元(神经元)。

技术介绍

[0004]数据的计算机处理通常使用冯诺依曼架构，其中从存储器中检索数据以在算术和逻辑单元中进行处理。在诸如机器学习的计算密集型应用中，去往和来自存储器的数据流成为处理速度的瓶颈。为了解决这种数据移动瓶颈，已经开发了存储器内计算架构，其中数据处理硬件跨位单元分布。

技术实现思路

[0005]根据本公开的一个方面，提供了一种用于机器学习的存储器，包括：偏置电路、位线和神经元，神经元包括：具有连接到位线的漏极的输出晶体管；滤波器权重电容器；数模转换器；耦合在偏置电路和滤波器权重电容器之间的第一开关；耦合在数模转换器和滤波器权重电容器之间的第二开关；以及耦合在滤波器权重电容器和输出晶体管的栅极之间的第三开关。
[0006]根据本公开的另一方面，提供了一种用于机器学习的存储器，包括：读取位线；具有连接到读取位线的漏极的输出晶体管；电荷泵电容器；滤波器权重电容器；电压源；以及开关的集合，开关的集合具有第一开关配置，在第一开关配置中，滤波器权重电容器由电压源充电，并且开关的集合具有第二开关配置，在第二开关配置中，滤波器权重电容器被耦合到电荷泵电容器，以将升压电压提供到输出晶体管的栅极。
[0007]根据本公开的又一方面，提供了一种用于机器学习的存储器，包括：多个神经元，每个神经元包括：位线、位线开关，以及具有通过位线开关连接到位线的端子的输出晶体管；以及偏置电路，包括：电荷源和开关矩阵，开关矩阵被配置为将电荷源耦合到神经元中的一个选中神经元，以用升压电压对神经元中的一个选中神经元的输出晶体管中的栅极电容进行充电。
[0008]最后，根据本公开的另一方面，提供了一种针对神经元的操作的方法，包括：驱动电流通过二极管接法晶体管，以将电荷泵电容器充电至电荷泵电压；响应于训练数据集，调整电压数模转换器(VDAC)以用VDAC电压对滤波器权重电容器进行充电；响应于输入位的第一二进制值，将电荷泵电容器和滤波器权重电容器串联耦合，以将输出晶体管的栅极充电至VDAC电压和电荷泵电压之和；以及响应于输出晶体管的栅极的充电，通过输出晶体管传
导电流的镜像版本。
[0009]通过以下详细描述可以更好地理解这些和其他有利特征。
附图说明
[0010]图1A图示了根据本公开的方面的基于电荷泵的电流模式神经元和偏置电路。
[0011]图1B图示了根据本公开的方面的、在训练阶段的充电级期间以及在计算阶段的刷新级期间针对图1A的神经元的开关配置。
[0012]图1C图示了根据本公开的方面的、在响应于输入位的第一二进制值的训练阶段或计算阶段的评估级期间针对图1A的神经元的开关配置。
[0013]图1D图示了根据本公开的方面的、在响应于输入位的第二二进制值的训练阶段或计算阶段的评估级期间针对图1A的神经元的开关配置。
[0014]图2图示了根据本公开的方面的、在训练阶段期间或在计算阶段期间针对图1A的神经元的一些操作波形。
[0015]图3图示了根据本公开的方面的由公共偏置电路偏置的基于电荷泵的电流模式神经元的阵列。
[0016]图4图示了根据本公开的方面的被布置以形成滤波器的多个基于电荷泵的电流模式神经元。
[0017]图5图示了根据本公开的方面的包括用于存储滤波器权重电压的可变电容器的基于电荷泵的电流模式神经元。
[0018]图6图示了根据本公开的方面的图5的神经元的修改，以包括电压
‑
数模转换器。
[0019]图7图示了根据本公开的方面的具有滤波器权重电容器的基于电荷泵的电流模式神经元，该滤波器权重电容器由电流数模转换器用滤波器权重电压进行充电。
[0020]图8图示了根据本公开的方面的基于电荷泵的电流模式神经元和偏置电路，其中输出晶体管是PMOS晶体管。
[0021]图9图示了根据本公开的方面的基于电荷泵的电流模式神经元的阵列和公共偏置电路，其中每个神经元中的输出晶体管的栅极电容被配置为用作滤波器权重电容器并且其中偏置电路包括VDAC。
[0022]图10图示了根据本公开的方面的基于电荷泵的电流模式神经元的阵列和公共偏置电路，其中每个神经元中的输出晶体管的栅极电容被配置为用作滤波器权重电容器，并且其中偏置电路包括IDAC。
[0023]图11图示了根据本公开的方面的电流模式神经元的阵列和公共偏置电路，其中每个神经元中的输出晶体管的栅极电容被配置为用作滤波器权重电容器，并且其中偏置电路仅包括VDAC和开关矩阵。
[0024]图12是根据本公开的方面的基于电荷泵的电流模式电路的操作的示例方法的流程图。
[0025]本公开的实施方式及其优点通过参考下面的详细描述得到最好的理解。应当理解，相同的附图标记用于标识图中的一个或多个图中图示的相同元件。
具体实施方式
[0026]将传统的冯诺依曼架构用于机器学习应用是麻烦的，因为去往和来自存储器的数据流成为增加处理速度的瓶颈。因此已经开发了存储器内计算架构，其中数据处理硬件跨位单元或神经元分布。例如，机器学习应用的每个层通常实现一个或多个滤波器。滤波器是乘法和累加电路，它将多个滤波器权重与对应的多个输入位相乘并且对乘法的结果求和(累加)。每个滤波器权重由存储器内计算神经元存储，该神经元还用于将存储的滤波器权重与来自输入矢量的输入位相乘。公开了一种特别有利的存储器内计算神经元，该神经元包括用于存储滤波器权重的滤波器权重电容器。在一些实施方式中，在训练阶段期间，滤波器权重电容器的第一极板被充电至模拟滤波器权重电压，而滤波器权重电容器的第二极板被放电至地。根据训练，模拟滤波器权重被调整为适当的值。例如，诸如电压数模转换器(VDAC)的电压源可以生成模拟滤波器权重电压。然后，验证阶段可以跟随训练阶段，在验证阶段中，模拟滤波器权重电压不被进一步改变。
[0027]随着神经元被训练和验证，使得每个神经元的滤波器权重电容器被充电到适当的滤波器权重电压，神经网络然后可以在通常被表示为计算或预测的阶段中处理数据。为了向层中的每个神经元提供偏置，电荷泵电容器可以耦合到滤波器权重电容器的第二极板，而滤波器权重电容器的上极板耦合到输出电容器的栅极，输出电容器具有耦合到读取位线的漏极端子或源极端子。电荷泵电容器可以是偏置电路的一部分，该偏置电路也可以偏置其他神经元。因此，偏置电路在本文中也可以被表示为公共偏置电路，因为它跨多个神经元被共享。在训练阶段的充电级中，公共偏置块中的电流源将电流驱动到二极管接法晶体管的漏极中。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于机器学习的存储器，包括：偏置电路；位线；以及神经元，包括：输出晶体管，具有连接到所述位线的漏极；滤波器权重电容器；数模转换器；第一开关，耦合在所述偏置电路和所述滤波器权重电容器之间；第二开关，耦合在所述数模转换器和所述滤波器权重电容器之间；以及第三开关，耦合在所述滤波器权重电容器和所述输出晶体管的栅极之间。2.根据权利要求1所述的存储器，其中所述神经元还包括：第四开关，耦合在地和所述滤波器权重电容器之间。3.根据权利要求2所述的存储器，其中所述神经元还包括：第五开关，耦合在地和所述输出晶体管的所述栅极之间。4.根据权利要求1所述的存储器，其中输出晶体管是n型金属氧化物半导体(NMOS)晶体管。5.根据权利要求1所述的存储器，其中所述偏置电路包括：二极管接法晶体管；电荷泵电容器，耦合到所述二极管接法晶体管的栅极；以及电流源，耦合到所述二极管接法晶体管的漏极。6.根据权利要求5所述的存储器，其中所述二极管接法晶体管包括NMOS二极管接法晶体管。7.根据权利要求1所述的存储器，其中所述滤波器权重电容器包括第一极板和第二极板，所述第一开关被耦合在所述第二极板和所述偏置电路之间，并且所述第二开关被耦合在所述第一极板和所述数模转换器之间，并且所述第三开关被耦合在所述第一极板和所述输出晶体管的所述栅极之间。8.根据权利要求1所述的存储器，其中所述滤波器权重电容器包括电容性数模转换器。9.根据权利要求8所述的存储器，其中所述电容性数模转换器包括第一极板和第二极板，并且其中所述第一开关被耦合在所述第一极板和所述偏置电路之间，所述第二开关被耦合在所述第二极板和所述数模转换器之间，并且所述第三开关被耦合在所述第一极板和所述输出晶体管的所述栅极之间。10.根据权利要求1所述的存储器，其中所述输出晶体管包括p型金属氧化物半导体(PMOS)输出晶体管。11.根据权利要求10所述的存储器，其中所述滤波器权重电容器包括第一极板和第二极板，所述第一开关被耦合在所述第二极板和所述偏置电路之间，所述第二开关被耦合在所述第二极板和所述数模转换器之间，并且所述第三开关被耦合在所述第一极板和所述输出晶体管的所述栅极之间，所述神经元还包括：第四开关，耦合在所述第一极板和地之间；以及第五开关，耦合在所述输出晶体管的所述栅极和用于电源电压的节点之间。
12.一种用于机器学习应用的存储器，包括：读取位线；输出晶体管，具有连接到所述读取位线的漏极；电荷泵电容器；滤波器权重电容器；电压源；以及开关的集合，具有第一开关配置，在所述第一开关配置中，所述滤波器权重电容器由所述电压源充电，并且所述开关的集合具有第二开关配置，在所述第二开关配置中，所述滤波器权重电容器被耦合到所述电荷泵电容器，以将升压电压提供到所述输出晶体管的栅极。13.根据权利要求12所述的存储器，还包括：偏置电路，包括所述电荷泵电容器和电流源，其中所述电流源被配置为将所述电荷泵电容器充电至偏置电压，并且其中所述电压源包括电压数模转换器。14.根据权利要求13所述的存储器，其中所述开关的集合还包括第三开关配置，在所述第三开关配置中，所述输出晶体管被关断。15.根据权利要...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：