作为具有记忆的神经元的混合增量调制器制造技术

公开了作为具有记忆的神经元的混合增量调制器。描述了可以用作神经网络中的可变阈值神经元的混合增量调制器。类似于增量调制器，混合增量调制器表现出对调制器的先前状态的记忆，并且从加权电路接收乘积和信号并生成表示乘积和信号的经量化的输出流，该乘积和信号潜在地包括激活函数和偏移。利用适当选择的部件，混合增量调制器将反馈的积分函数与增益函数分离。此外，可以选择增益，并且输出模式的特性可以被调整成包括输入和输入变化率的任意组合。与许多现有技术的神经元相比，本方法的混合增量调制器的使用提供了更简单的解决方案和更好的性能。

【技术实现步骤摘要】
作为具有记忆的神经元的混合增量调制器相关申请的交叉引用本申请要求于2019年3月18日提交的临时申请第62/819,868号的优先权，其全部内容通过引用并入本文。
本专利技术一般涉及人工智能(AI)网络，并且更特别地涉及这样的AI网络中的具有先前状态的记忆的神经元。
技术介绍
神经网络(NN)是对诸如手写识别、图像识别和语音分析的问题的人工智能(AI)解决方案的基础。某些形式的AI例如，语音或话音分析要求AI系统对跨时间分布的信号具有一定的了解。因此，话音分析要求AI系统能够将音频信号在时间上的演变与某些学习的模板进行比较。本领域中已知的一类神经网络——通常被称为循环神经网络(RNN)——通过在神经网络的一层或更多层中提供反馈来产生分析随时间的演变的能力。图1示出了一种类型的AI网络的实现，如现有技术中已知的规范ElmanRNN。如本领域技术人员所知，在诸如Elman或Jordan网络的RNN的某些实现中，隐含层h的状态取决于该隐含层的先前状态，即，其具有其上次值的记忆。例如，在图1的网络100中，可以看到，除了来自神经元X1至XL的当前输入之外，神经元Y1还接收来自依赖于神经元Y1的先前状态的来自神经元U1的输入。如在图1中看到的，神经元Y2到YL中的每个神经元(Y神经元通常被称为“隐含层”)也分别从神经元U2到UL接收关于其自身的先前状态的输入。描述网络的等式使用离散延迟算子z-1通过对当前状态的z域运算引入了这样的先前状态变量。该时间依赖性足以允许网络识别信号随时间的演变，使得例如，网络可以识别话音或手写，或者检测网络流量或入侵检测系统(IDS)中的异常。其他方法包括：时延神经网络(TimeDelayNeuralNetwork)，其也提供了延迟版本的神经网络的输入；以及长短期记忆网络(LSTM)，其是深度学习领域中使用的RNN架构。近来，另一种方法已被证实起作用。除了明确地将神经元的先前状态反馈给自身之外，神经元的阈值可以不是恒定的，而是可以取决于神经元输出而改变，并且在信号移除之后恢复回稳定态。这有时被称为“脉冲神经网络”，其中神经元阈值随输入而升高，并且然后以一定的时间常数衰减回基线水平。期望具有一种实现在神经网络中例如在脉冲神经网络中的变化阈值的神经元的简单方法。
技术实现思路
本文中描述了可以在神经网络中的可变阈值神经元中使用的混合增量调制器。一个实施方式描述了一种用在神经网络中的神经元，该神经元包括：加权电路，其被配置成接收多个输入信号，并且通过对输入信号中的每个输入信号进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及调制器电路，其被配置成接收乘积和信号并且产生表示乘积和信号的经量化的输出信号。在另一实施方式中，调制器电路还包括：差分元件，其被配置成确定乘积和信号与经滤波的经量化输出信号之间的差；量化器，其被配置成基于乘积和信号与经量化的输出信号之间的差来产生经量化的输出信号；以及滤波器网络，其被配置成接收经量化的输出信号并产生经滤波的经量化输出信号。在又一实施方式中，滤波器网络还包括：电阻器，其在第一端处耦接至经量化的输出信号，并且在第二端处耦接至差分元件的输入端；以及电容器，其在第一端处耦接至电阻器的第二端，并且在第二端处耦接至地。在又一实施方式中，量化器还被配置成产生作为经量化的输出信号的逆的输出，并且其中，滤波器网络还包括：第一电阻器，其具有第二端和连接至经逆量化的输出信号的第一端；电容器，其具有连接至第一电阻器的第二端的第一端以及连接至差分元件的输入端的第二端；第二电阻器，其具有连接至第一电阻器的第二端的第一端以及连接至电容器的第二端的第二端；以及运算放大器，其具有连接至第一电阻器的第二端的第一输入端、连接至地的第二输入端以及连接至电容器的第二端的输出端。在又一个实施方式中，其中，量化器还被配置成产生作为经量化的输出信号的逆的输出，并且其中，滤波器网络还包括：第一电阻器，其具有第二端和连接至经逆量化的输出信号的第一端；第一电容器，其具有连接至第一电阻器的第二端的第一端以及连接至差分元件的输入端的第二端；第二电阻器，其具有连接至第一电阻器的第二端的第一端以及连接至第一电容器的第二端的第二端；运算放大器，其具有连接至第一电阻器的第二端的第一输入端、第二输入端以及连接至第一电容器的第二端的输出端；第三电阻器，其具有连接至经量化的输出信号的第一端以及连接至运算放大器的第二输入端的第二端；以及第二电容器，其具有连接至第三电阻器的第二端的第一端以及连接至地的第二端。附图说明图1是现有技术中已知的规范ElmanAI网络的实现方式的图。图2是根据现有技术的增量调制器的图。图3是根据本方法的一个实施方式的可以在AI网络的层中的神经元中使用的经修改的增量调制器的图。图4示出了图3的电路中的信号的曲线图。图5是根据本方法的另一实施方式的可以在AI网络的层中的神经元中使用的经修改的增量调制器的图。图6示出了图5的电路中的信号的曲线图。图7是根据本方法的又一实施方式的可以在AI网络的层中的神经元中使用的经修改的增量调制器的图。图8是根据本方法的一个实施方式的可以在神经网络中使用的神经元的图。具体实施方式本文中描述了可以在神经网络中的可变阈值神经元中使用的混合增量调制器。类似于增量调制器，混合增量调制器表现出对调制器的先前状态的记忆，并且从加权电路接收乘积和信号并生成表示乘积和信号的经量化的输出流，所述乘积和信号潜在地包括激活函数和偏移。利用适当选择的部件和用于提供乘积和信号的加权电路，混合增量调制器将反馈的积分函数与增益函数分离。此外，可以选择增益，并且输出模式的特性可以被调整成包括输入和输入变化率的任意组合。如本领域中已知的，增量调制器是特定形式的调制器，其具有在少至一个比特上表达的离散输出集，具有被施加在这些离散的输出上的表现出噪声整形的信号。例如，单比特增量调制器接受在例如-1至1的范围内的标称连续输入，并且输出可以表示为-1或1的两个状态的经量化的信号。-1或1的平均出现使得输出状态的平均值表示输入信号的导数。(在一些情况下，经量化的信号可以被限制为0和1，而不是-1和1。)如本领域中还已知的，增量调制器类似于西格玛增量(ΣΔ)调制器；然而，虽然西格玛增量调制器也输出经量化的信号，但是西格玛增量调制器的平均输出表示输入信号本身，而不是输入信号的导数。区别还在于调制器的结构；其中，西格玛增量调制器在对积分进行量化之前对环路差分元件的输出进行积分，在增量调制器中，顺序被重新布置以在环路中的积分之前对环路差分元件的输出进行量化。图2是已知技术的增量调制器200的图；然而，虽然已知增量调制器200，但是认为它先前尚未在神经网络的神经元中使用。差分元件202将输入信号Ain与来自量化器204的Q输出的经积分的经量化反馈信号进行比较；量化器204可以例如是D型触发器(DFF)。积分器206对量化器2本文档来自技高网...

【技术保护点】
1.一种用在神经网络中的神经元，包括：/n加权电路，其被配置成接收多个输入信号，并且通过对所述输入信号中的每个输入信号进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及/n调制器电路，其被配置成接收所述乘积和信号并且产生表示所述乘积和信号的经量化的输出信号。/n

【技术特征摘要】
20190318 US 62/819,868;20200316 US 16/820,7041.一种用在神经网络中的神经元，包括：
加权电路，其被配置成接收多个输入信号，并且通过对所述输入信号中的每个输入信号进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及
调制器电路，其被配置成接收所述乘积和信号并且产生表示所述乘积和信号的经量化的输出信号。


2.根据权利要求1所述的神经元，其中，所述调制器电路还包括：
差分元件，其被配置成确定所述乘积和信号与经滤波的经量化输出信号之间的差；
量化器，其被配置成基于所述乘积和信号与所述经滤波的经量化输出信号之间的差来产生所述经量化的输出信号；以及
滤波器网络，其被配置成接收所述经量化的输出信号并产生所述经滤波的经量化输出信号。


3.根据权利要求2所述的神经元，其中，所述滤波器网络包括：
电阻器，其在第一端处耦接至所述经量化的输出信号，并且在第二端处耦接至所述差分元件的输入端；以及
电容器，其在第一端处耦接至所述电阻器的第二端，并且在第二端处耦接至地。


4.根据权利要求2所述的神经元，其中，所述量化器还被配置成产生作为所述经量化的输出信号的逆的输出，并且其中，所述滤波器网络还包括：
第一电阻器，其具有第二端和连接至所述经量化的输出信号的逆的第一端；
电容器，其具有连接至所述第一电阻器的第二端的第一端以及连接至所述差分元件的输入端的第二端；
第二电阻器，其具有连接至所述第一电阻器的第二端的第一端以及连接至所述电容器的第二端的第二端；以及
运算放大器，其具有连接至所述第一电阻器的第二端的第一输入端、连接至地的第二输入端以及连接至所述电容器的第二端的...

【专利技术属性】
技术研发人员：A·马丁·马林森，
申请(专利权)人：硅谷介入有限公司，
类型：发明
国别省市：加拿大;CA