神经网络单元制造技术

本发明专利技术提供了一种神经网络单元。所述神经网络单元包括：主突触数组，其具有在数组的行和列中的多个主突触，其分别连接至与神经网络单元相关联的一个或多个位线；主突触驱动器，用以施加输入至行中的一个或多个主突触；参考突触，用以产生特定输出至选定的一个或多个相关联的位线；以及，感测电路，用以控制参考突触以在主突触数组的选定列中产生输出，其中感测电路适于通过以下方式推断选定列中的一个或多个主突触的输出：定义欲通过参考突触产生输出的参考范围；由参考范围设定参考位准；启动选定的参考突触以实现经设定或调整的参考位准；以及将来自主突触且与选定列中的启动的参考突触的输出相加的输出与预定的阈值进行比较。较。较。

【技术实现步骤摘要】
【国外来华专利技术】神经网络单元
[0001]相关申请
[0002]本申请根据35U.S.C.
§
119要求于2020年2月3日所提交名称为“BINARY SEARCH READ METHOD”的美国临时申请62/969,579的优先权，其内容通过引用方式全部纳入本文。


[0003]本专利技术涉及一种神经网络单元以及用于执行二进制搜寻读取方法以感测使用多电压控制的电流源及单位元感测放大电路的位线电流位准(BL_CUR)。所提供的读取方式可以通过N个步骤的二进制搜寻以N位分辨率(N＝1,2,3,4
…
)感测位线电流位准。

技术介绍

[0004]神经网络单元(Neural Network Unit)为人工智能及机器学习装置的关键构件。乘积累加运算(Multiply
‑
and
‑
accumulate，MAC)为神经网络单元的关键操作之一。名称为“MULTIPLY
‑
ACCUMULATOR CIRCUITS”的美国专利申请17/022,137描述了如何使用内存内计算机(computer
‑
in
‑
memory)架构有效地执行此类的MAC操作，其中计算在储存有数据的位置执行。名称为“SERIALIZED NEURAL NETWORK COMPUTING UNIT)”的美国专利申请17/109,114公开了一种串行化神经网络计算单元，其使用位串行化控制电路以执行此类MAC操作。然而，先前的计算单元需要2^N<br/>‑
1个步骤以进行N位的感测。举例来说，此单元需要7(＝2^(3)
‑
1)个步骤以进行3位的感测，并且此单元需要15(＝2^(4)
‑
1)个步骤进行4位的感测。因此，使用先前的神经网络单元时，由于步骤数随着分辨率的增加呈指数增加，其读取时间将随着分辨率的增加呈指数增加。

技术实现思路

[0005]本专利技术提供了一种二进制搜寻读取方法以感测使用一个或多个多电压控制电流源及单位元感测放大电路的位线电流位准(BL_CUR)。所提供的读取方式可以通过N个步骤的二进制搜寻以N位分辨率(N＝1,2,3,4
…
)感测位线电流位准。因此，由于步骤数随着分辨率增加而线性增加，读取时间也将随着更高分辨率而线性增加。
[0006]本专利技术的实施方式提供了一种神经网络单元(neural network unit)，包括：主突触数组(main synapse array)，在主突触数组的行和列中具有多个主突触(main synapses)，其各自连接至与神经网络单元相关联的一个或多个位线(bit lines)；主突触驱动器(main synapse driver)，用以施加输入至行中的一个或多个主突触；参考突触(reference synapse)，用以产生特定输出至选定的一个或多个相关联的位线；以及感测电路(sensing circuit)，用以控制参考突触以在主突触数组的选定列中产生输出(output)，其中感测电路适于通过以下方式推断选定列中的一个或多个主突触的输出：定义欲通过参考突触产生输出的参考范围(reference range)；通过参考范围设定参考位准(reference level)；启动选定的参考突触以实现经设定或调整的参考位准；以及将来自所述主突触且与选定列中的启动的参考突触的输出相加的输出与预定的阈值(threshold value)进行比
较。
[0007]在一种实施方式中，感测电路进一步配置为执行以下步骤：(a)根据比较结果调整参考范围为子范围；(b)调整参考位准为经调整的参考范围的近似中间值；(c)将包括对应于选定的参考突触的经调整的参考位准的总输出与阈值进行比较；以及(d)根据指定的次数重复步骤(a)至(c)，或者通过所述重复步骤以改善所推断的输出，直到达成指定的目标分辨率。
[0008]在一种实施方式中，感测电路进一步配置为如果总输出等于或大于阈值，则调整参考范围为较低的子范围，或者反之则调整参考范围为较高的子范围，以及，主突触驱动器进一步配置为依序施加对应于输入数据的多个电压输入序列至行中的一个或多个主突触。
[0009]在一种实施方式中，感测电路进一步配置为：通过选定列中的连接的位线从一个或多个主突触接收输出电流；设定欲应用二进制搜寻方式的参考突触所产生的输出电流的参考范围；通过参考范围定义参考位准；在选定的参考突触中设定无、一个或多个电流源以产生对应于参考位准的输出电流；将来自主突触且与列中的选定的参考突触的输出电流相加的输出电流与指定的阈值进行比较；以及转换比较结果为对应的二进制信号。
[0010]在一种实施方式中，感测电路进一步配置为执行以下步骤：(a)根据比较结果调整参考范围为子范围；(b)调整参考位准为经调整的参考范围的近似中间值；(c)将包括对应于选定的参考突触的经调整的参考位准的输出电流的总输出电流与阈值进行比较；以及(d)根据指定的次数重复步骤(a)至(c)，或者通过所述重复步骤以改善所推断的输出，直到达成指定的目标分辨率。
[0011]根据本专利技术的一种实施方式提供了一种神经网络单元，包括：主突触数组，在主突触数组的行及列中具有多个主突触，用以产生差分输出对的各主突触连接至与神经网络单元相关联的一对或多对位线；主突触驱动器，用以施加一对输入至行中的一个或多个主突触；参考突触，用以产生一对特定的输出至选定的一对或多对相关联的位线；以及感测电路，用以控制参考突触以产生对特定的输出：定义欲通过参考突触产生输出的参考范围；通过参考范围设定一对参考位准；启动选定的参考突触以实现经设定或调整的参考位准；以及比较差分输出对的第一输出及第二输出，其中各累加的输出包括主突触对应的输出以及选定的参考突触的输出。
[0012]在一种实施方式中，感测电路进一步配置为实施以下步骤：(a)根据比较结果调整参考范围为子范围；(b)调整参考位准为经调整的参考范围的近似中间值；(c)比较差分输出对的第一输出及第二输出，通过主突触产生的各输出与对应于经调整的参考位准的输出相加；以及(d)根据指定的次数重复步骤(a)至(c)，或者通过所述重复步骤以改善所推断的输出，直到达成指定的目标分辨率。
[0013]在一种实施方式中，感测电路进一步配置为执行以下步骤：如果第一输出等于或大于第二输出，则适于通过进一步实施调整参考范围为较低的子范围的步骤以推断一对输出的差异，或者反之则调整参考范围为较高的子范围。以及，主突触驱动器进一步配置为依序施加对应于多个输入数据的多个电压输入序列至行中的一个或多个主突触。
[0014]在一种实施方式中，感测电路进一步配置为：通过选定列中的相关联的位线从一个或多个主突触接收输出电流；设定施加二进制搜寻方式的参考突触所产生的输出电流的参考范围；通过参考范围定义参考位准；在选定的参考突触中设定无、一个或多个电流源以
产生对应参考位准的输出电流；将来自主突触且与选定的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种神经网络单元，包括：主突触数组，具有在其行和列中的多个主突触，其各自连接至与所述神经网络单元相关联的一个或多个位线；主突触驱动器，用以将输入施加至行中的一个或多个所述主突触；参考突触，用以产生特定输出至选定的一个或多个相关联的所述位线；以及感测电路，用以控制所述参考突触以在所述主突触数组的选定列中产生输出，其中所述感测电路适于通过以下方式推断选定列中的一个或多个所述主突触的输出：定义欲通过所述参考突触产生输出的参考范围；通过所述参考范围设定参考位准；启动选定的所述参考突触以实现经设定或调整的所述参考位准；以及将来自所述主突触且与选定列中启动的所述参考突触的输出相加的输出与预定的阈值进行比较。2.根据权利要求1所述的神经网络单元，其中所述感测电路进一步配置为执行以下步骤：(a)根据比较结果调整所述参考范围为子范围；(b)调整所述参考位准为经调整的所述参考范围的近似中间值；(c)将包括来自选定的所述参考突触的对应于经调整的所述参考位准之输出的总输出与所述阈值进行比较；以及(d)根据指定的次数重复步骤(a)至步骤(c)，或者通过所述重复步骤以改善所推断的输出，直到达成指定的目标分辨率。3.根据权利要求2所述的神经网络单元，其中所述感测电路进一步配置为如果所述总输出等于或大于所述阈值，则调整所述参考范围为较低的子范围，或者反之则调整所述参考范围为较高的子范围。4.根据权利要求1所述的神经网络单元，其中所述主突触驱动器进一步配置为依序施加对应于输入数据的多个电压输入序列至行中的一个或多个所述主突触。5.根据权利要求4所述的神经网络单元，其中所述感测电路进一步配置为：通过选定列中的连接的位线从一个或多个所述主突触接收输出电流；设定欲应用在二进制搜寻方式的所述参考突触所产生的所述输出电流的参考范围；通过所述参考范围定义参考位准；在选定的所述参考突触中设定无、一个或多个电流源以产生对应于所述参考位准的输出电流；将来自所述主突触且与选定列中选定的所述参考突触的所述输出电流相加的输出电流与指定的阈值相比较；以及将比较结果转换为对应的二进制信号。6.根据权利要求5所述的神经网络单元，其中所述感测电路进一步配置为执行以下步骤：(a)根据所述比较结果调整所述参考范围为子范围；(b)调整所述参考位准为经调整的所述参考范围的近似中间值；(c)将包括来自选定的所述参考突触的对应于经调整的所述参考位准的输出电流的总
输出电流与所述阈值进行比较；以及(d)根据指定的次数重复步骤(a)至步骤(c)，或者通过所述重复步骤以改善所推断的输出，直到达成指定的目标分辨率。7.一种神经网络单元，包括：主突触数组，在所述主突触数组的行及列中具有多个主突触，用以产生差分输出对的各所述主突触连接至与所述神经网络单元相关联的一对或多对位线；主突触驱动器，用以施加一对输入至行中的一个或多个所述主突触；参考突触，用以产生一对特定的输出至选定的一对或多对相关联的所述位线；以及感测电路，用以控制所述参考突触以产生所述一对特定的输出，其包括：定义欲通过所述参考突触产生输出的参考范围；通过所述参考范围设定一对参考位准；启动选定的所述参考突触以实现经设定或调整的所述参考位准；以及比较所述差分输出对的第一输出及第二输出，其中各累加的输出包括所述主突触对应的输出以及选定的所述参考突触的输出。8.根据权利要求7所述的神经网络单元，其中所述感测电路适于通过进一步实施以下步骤以推断一对输出的差异：(a)根据比较结果调整所述参考范围为子范围；(b)调整所述参考位准为经调整的所述参考范围的近似中间值；(c)比较所述差分输出对的第一输出及第二输出，通过所述主突触产生的各输出与对应于经调整的所述参考位准的输出相加；以及(d)根据指定的次数重复步骤(a)至步骤(c)，或者...

【专利技术属性】
技术研发人员：承桓，
申请(专利权)人：安纳富来希股份有限公司，
类型：发明
国别省市：